Mitä tapahtuu liiketoiminta-analytiikan, tietovarastoinnin ja raportoinnin saralla vuonna 2015? Heitetään villi arvaus, jossa on taustalla vähän faktaa, paljon markkinatuntemusta ja ripaus markkinointiakin.
Ennakoiva-analytiikka: tasaista kasvua sitä myöten kun hyödyt kirkastuvat
Ennakoiva analytiikka, tarkoittaen tilastollisen mallintamisen ja algoritmien hyödyntämistä esimerkiksi liiketoimintatiedon ennustamisessa tai syy-seuraussuhteiden etsimisessä, ei ole vielä lyönyt isosti itseään läpi Suomessa. Maturiteetti ei ole ollut riittävän korkealla ja vuonna 2014 nähtiin lähinnä ”early adaptors” tyyppisten toimijoiden aktivoitumista.
Uusien projektien määrä tuplaantui kuitenkin vuodesta 2013, alalla on nähty paljon rekrytointeja ja headhunterit ovat soitelleet allekirjoittaneellekin yllättävistä yrityksistä. Toisin sanoen DW/BI-alan ulkopuolellakin toimivat yritykset ovat alkaneet rakentaa analytiikkaosaamistaan. Positiivista pöhinää on siis ollut ja tämä tulee konkretisoitumaan vuonna 2015.
Kasvu analytiikan osalta tulee olemaan DW/BI-alaan verrattuna selvästi suurempaa mutta silti mitään rakettimaista nousua ei nähdä, puhutaan kaksinumeroista kasvuluvuista. Itse näen, että täsmällisiin liiketoimintaongelmiin kohdistetut tuotteet, kuten asiakaspoistumamallinnus tai ristiinmyynti, ovat ratkaisuja, joilla analytiikan hyödyt konkretisoidaan asiakkaille ja tehdään ostaminen myös helpoksi.
Teknologia edellä ei ala lyö itseään läpi ja pelkkää analytiikkakonsultointia tai softaa tarjoavat yritykset tulevat lyömään (edelleen) kirveensä kiveen.
Yllättävää kyllä, julkisen sektorin hankkeita oli meillä useampia ja voisi sanoakin, että monessa mielessä julkisen puolen toimijoilla on sekä visiot että käytännön toimet analytiikan hyödyntämisessä paljon pidemmällä kuin yksityisellä puolella.
Mielenkiintoista on myös se, että kaikki julkisen sektorin analytiikkahankkeet joissa olemme olleet mukana, näkevät ykkösprioriteettina ja analytiikan tärkeimpänä hyötynä paremman asiakaspalvelun sekä resurssien paremman kohdistamisen. Ylipäätään terminä asiakas + palvelu ovat nousseet keskiöön monessa julkishallinnon organisaatiossa. Mistä tämä kertoo? En tiedä mutta toivoisin saman näkyvän yksityisellä puolella koska siellä varsinkin asiakas on se joka sen palkan viime kädessä maksaa.
Self-service analytics – Analytiikkaa itsepalveluna
Louhian vuonna 2014 lanseeraama käsite, joka tarkoittaa ennakoivan analytiikan menetelmien ja työvälineiden tuomista lähemmäksi liiketoiminnan käyttäjää. Käytännössä tämä tarkoittaa analytiikka-algoritmien käskyttämistä esimerkiksi raportointityövälineen kuten QlikView:n kautta tai CRM:stä käsin. Näin liiketoiminnan asiantuntija voi tehdä itse ad hoc analyysejä ilman tilastotieteen osaamista ja raskaita ohjelmistoasennuksia.
Uskomme, että itsepalveluanalytiikka tulee olemaan tuotteistuksen rinnalla yksi merkittävä tekijä joka helpottaa analytiikan käyttöönottoa vuonna 2015. Tästä kuulette lisää vielä tammikuussa.
Alla pari kuvaa itsepalveluanalytiikasta, jossa QlikView:llä kutsutaan saumattomasti joko R:ää tai Azure Machine Learningissä sijaitsevia algoritmeja. N. 100 000 tuotteelle tehdyn 12kk aikasarjaennusteen mallintaminen R:llä tai Azurella ja tulosten visualisointi takaisin Qlikiin kestää n. 2 sekuntia. 10 000 asiakkaalle tehty asiakaspoistumamallinnus ja tulosten vienti call centerille vie n. 15 sekuntia.
Ja tässä ei siis vain ajeta uutta dataa ennalta tehdyn mallin läpi vaan tehdään konepellin alla älykkäiden algoritmien avulla datan muokkaus, siivous, mallinnus, eri mallien tarkkuuden vertailu, parhaimman valinta, siirto takaisin QlikViewiin ja tulosten visualisointi. Vertailukohtana voi pitää 2-3kk projektia, vaatien etl-tekijän, data scientistin ja raporttiexpertin, joilla olen nähnyt päästävän samaan tulokseen. Okei, me tehdään se 2-3 viikossa mutta nyt tämä saatiin puristettua 15 sekuntiin ja tulokset ovat tuotannossa, ei tilastonikkarin koneella. Aika kova. Voitte olla siis varma, että kuulette tästä vielä.
Pilvee, pilvee
Juice lauloi poliiseista, jotka tahtoivat vain pilvee. Nyt sitä on tarjolla myös tietovarastoinnissa kuten myös analytiikassa mutta se ei näytä vielä kelpaavan markkinoille. Erilaisia kokeiluja on tehty vuoden 2014 aikana mutta suuri yleisö on pitäytynyt on site-palveluissa eli softat omilla palvelimilla. Nyt tehdyt pilvikokeilut ovat lähinnä teini-iän ensimmäisiä pössöttelyjä. Todella isot lastit ja kunnon kama antavat odotuttaa itseään rajan takana.
Vuonna 2014 pilveen on mennyt CRM:t (esim. Salesforce), tuntikirjanpidot (mainio Harvest), projektihallinta (mainio Basecamp) ja sähköpostit ja toimisto-ohjelmat (Office 365). BI menee sinne kyllä kuten ERP:itkin aikanaan mutta ei vielä isosti vuonna 2015. Siirto tehdään pikkuhiljaa ja jokin tietty osa-alue kerrallaan (esim. raskaan lokidatan käsittely ja analysointi).
BI-softapuolella pilvipalvelua tarjoavat ainakin Tableau ja Micosoftin Power BI. Birst tarjoaa koko BI-putken pilvessä, sisältäen ETL:n, DW:n ja raportoinnin. Saattaa olla, että Birst nousee Gartnerin analyysissä leaders-kategoriaan uusimmassa katsauksessa. Uskon, että tällä alalla ensimmäisenä pilveen siirtyy käyttöliittymä eli raportointityövälineet. Vasta tämän jälkeen sinne menee datat eli tietovaraston sisältö ja etl.
Lue alkutalven katsauksemme BI-pilvipalveluista.
Analytiikan osalta oikeasti relevantteja ja mielenkiintoisia vaihtoehtoja ainakin meidän näkökulmasta ovat RapidMinerin Cloud -palvelu sekä Azure Machine Learning. Pilvialusta yhdistettynä edellä mainittuun self-service analytics -konseptiin, mahdollistaa tehokkaan suurten tietomassojen todella ketterän ja nopean analysoinnin – murto-osalla kustannuksista mitä vastaava vaatisi onsite lisenssihankintoineen.
Analytiikan pilvipalveluista ja itsepalveluanalytiikasta kuulette lisää esimerkiksi Louhian avoimissa ovissa perjantaina 6.2.2014 klo 14.00. Tästäkin lisää myöhemmin.
Big data, hadoop – Talk the talk but do ya walk the walk?
Big data ja hadoop odottavat itseään ainakin vuoteen 2016 asti. Tiedän, että alan evankelistat ovat eri mieltä.
Yhdeksi haasteeksi big data –ratkaisuiden leviämisessä näenkin juuri niitä levittävät ilon airueet. Aihepiiriä myydään puhtaasti teknologisena ratkaisuna. Sitä perustellaan sillä, että näin isot toimijat tekevät ameeriikoissa. Suomalaista syyllistetään hitaaksi hämäläiseksi ja vedotaan pelkoon jäädä jalkoihin. Osta nyt tai muuten kilpailija menee ohitse vasemmalta ja oikealta. Näillä keinoin ei liikahda kuin hölmöläiset.
Olemme tehneet muutamille isoille yrityksille big data -selvityksiä eli kartoitettaneet mikä on heidän tarpeensa esimerkiksi hadoopille. Sitä ei ole. Business casea ei ole. Datamassat ovat joko pieniä tai kohtuullisia ja data on lähinnä tai ainoastaan rakenteellista eli se sulahtaa normaaliin relaatiotietokantaan. Tähän evankelistat ja myyntimiesmynttiset vastaavat, että aina sitä voi maailmalta löytyä isoja tietomassoja strukturoimatonta tietoa – mutta entä sitten? Jos yritys ei sitä tarvitse niin se ei sitä tarvitse. Ei sitä dataa kannata väkisin lähteä maailmalta haalimaan.
Mutta hadoopille on paikkansa ja aikansa. Ja se koittaa vuonna 2016-2017 kun yritysten liiketoimintatarpeet ja maturiteetti on valmiina. Ja kun IT-talot oppivat myymään näitä ratkaisuja oikeasti asiakashyötyjen kautta eikä vain toitota samaa hypelaulua yhteen ääneen kuin känniset ääliöt.
Itse näen ketteryyden ja pienellä investoinnilla testaamisen olevan avainasemassa. Tässä Azure HD on mielenkiintoinen vaihtoehto. Käytännössä Azuren kautta yritys saa käyttöön hadoop-klusterin, jos sellaista todella tarvitsee. Oman palvelinfarmin rakentaminen konesaliin, ilman että on selvää liiketoimintatarvetta kun datamassatkaan eivät ole niin isoja, ei kuulosta hyvälle yhdistelmälle. Tähän Azuren tarjoaa nähdäkseni ketterän vaihtoehdon, kortti joka kannattaa ainakin katsoa ennen kuin laittaa luottokortin vinkumaan.
Data discovery – Qlik Sense, Tableau, PowerBI
Qlik julkaisi 2014 uuden tuotteen, Qlik Sensen. Se vie Qlikiä lähemmäksi Tableauta ja tavoittelee samaa sulavaa, helppoa käytettävyyttä. Sinänsä kumma juttu sillä lähtökohtaisesti ainakin Oracleen, Cognokseen ja Microsoftiin tottuneena QlikView itsessään edusti jo äärimmäistä helppokäyttöisyyttä.
QlikView:n suurin haaste on ollut keskitetyn metatiedonhallinnan lisäksi (vrt. Cognos Framework Manager, SAP Universe) vakioraportoinnin puuttuminen. Jos heillä olisi käytössä edes kohtuullinen raportointisofta ns. pixel-perfect vakioraportointiin ja raporttien ison mittakaavan jakeluun (sisältäen paremman portaalin ja jakelumahdollisuuden), olisi kombo aivan ylivoimainen. Siksi olinkin yllättynyt, että tuotekehitys ohjattiinkin aivan päinvastaiseen suuntaan – lähemmäksi vielä puhtaampaa self-serviceä.
Ja hei, hyvä näin. Kerrankin joku pitää päänsä, keskittyy vahvuuksiinsa eikä lähde tarjoamaan kaikille kaikkea ja tee sitä puolivillaisesti. Lue kun Yritykset ovat hukassa IBM Cognoksen kanssa.
Cognos, SAP ja Oracle, muutamia mainitakseni, eivät vain pärjää Qlikille ja Tableaulle heidän vahvuuksilla, data discovery ja visualisointi osastolla. Microsoft yrittää kovasti ja on lähimpänä tätä poppoota.
Jos ketteryys, visuaalisuus, nopeus (=muistinvaraisuus) ja helppokäyttöisyys on valttia, käydään kamppailu Qlikin ja Tableaun välillä vuonna 2015. Tableau kiinnostaa asiakkaita mutta markkinaosuus ei tee suuria hyppäyksiä ja vaikka jenkeissä tuote onkin supersuosittu, Suomessa se jää tänäkin vuonna sivusta seuraajaksi kun Qlik vie potin.
Tietovarastointi – puheet kuolemasta ovat suuresti liioiteltuja
Tietovarastojen merkitys kasvaa entisestään tiedon määrän kasvaessa. Tiedon mallintamisen merkitys tulee kasvamaan. Hadoop, big data, pilvipalvelut, analytiikka… eivät tule poistamaan tietovaraston tarvetta vaan vahvistavat sitä. Kaikki ne tietovarastointiin liittyvät tekijät, joista tuomiopäivän pasuunat ovat väittäneet turhaksi, tulevat olemaan entistä suuremmassa roolissa jatkossa.
Näen kolmenlaista kehityskaarta tietovarastoinnissa. Kaikista näistä nähtiin merkkejä 2014 ja nämä tulevat vahvistumaan vuonna 2015.
- Old-school DW:den modernisointi
Vuosituhannen alussa tehtiin isolla kädellä tietovarastoja ympäri härmää. Suurin osa meni pieleen. Tuolloin ala oli vielä nuorta, vauhti oli kovaa ja osaaminen ei aina riittävää, rekryjä tehtiin vähän etunojassa, annettiin junnujen oppia tehdessä virheitä. Tietovarastot tehtiin pääasiallisesti vesiputousmallilla. Joitain vuosia sitten näin tilaston, että 7/10 tietovarastoprojektista meni pieleen. Tuolloin se oli pahasti alakanttiin.
Lopputuloksena oli törkyisen kalliita EDW-viritelmiä, jotka a.) jäivät kokonaan kesken, b.) muodostuivat korttitaloksi josta ei uskalla liikauttaa pientä palastakaan koska koko homma saattaisi hajota ja ylläpito maksaa maltaita tai c.) tehtiin tukku siilomaisia ratkaisuja jotka eivät ole koskaan palvelleet kokonaiskuvan saamista ja nykypäivän tietotarpeita.
Teimme me pari hyvääkin tietovarastoa mutta sitten joku keksi, että tehdäänkin nekin uudestaan ja uudestaan…
Nyt näitä rakennetaan uudestaan ja tällä kertaa ihan syystä. Osa on hylännyt DW-maailman (hetkellisesti) ja siirtyneet listani kakkososaan (QlikView viritelmät). Osa taas rakentaa modernia uuden sukupolven tietovarastoa. Modernit DW:t tehdään järjestään ketterän kehittämisen periaattein, vesiputous on passe.
Keskeistä moderneissa tietovarastoissa on siirtyminen pois siilomaisuudesta, parhaiden käytäntöjen hyödyntäminen (juniorit ovat nyt senioreita ja tietovarastojen laatu on teknisesti parempaa kuin aikanaan) ja asiakastiedon rikastaminen ja korostaminen raportoinnissa.
Tietomallinnuksessa data vault on saanut jalansijaa menetelmänä mutta edelleen konsulttitalot vielä harjoittelevat sen kanssa. Menetelmänä se on kallis. Erään sertifoituneen Data vault -mallintajan mukaan Suomesta löytyy kourallinen yrityksiä joille on järkevää tehdä tietovarasto data vaultille. Kourallinen. Sitten on tuhat muuta. Tästä myöhemmin lisää pidemmän tarinan muodossa. Tunnen jo kuinka konsulttitaloissa korvat kuumenevat ja näppäimistöt sauhuavat. Bring it on!
- QliKView viritelmien uudelleenrakentaminen järkevälle pohjalle (QlikView-tietovarasto hybridiratkaisu)
Ne yritykset ketkä eivät lähteneet aikoinaan isoihin tietovarastohankkeisiin mukaan ja varsinkin ne jotka lähtivät ja maksoivat kovan hinnan, innostuivat kun QlikView ilmestyi markkinoille. Nyt voitiin unohtaa kaikki se ikävä työnteko kuten tiedon mallintaminen ja keskittyä kaikkeen hauskaan kuten visualisointiin.
Ja näitä on nyt tehty sellaiset 3-5 vuotta. Ja nyt ympyrä sulkeutuu. Keskustelin viime vuonna lähes kymmenen yrityksen kanssa siitä, miten heidän QlikView on pelkkää spagettikoodia, arkkitehtuuri on hutera kuin korttitalo ja suorituskyky takkuaa. Uutta tietoa ei osata/uskalleta/pystytä lisäämään. Eli oltiin tehty liian nopeasti, liian halvalla, unohtaen olennaisen. Ja lopuksi asiakkailta tulee se kysymys: voitaisiinko tehdä tämä kaikki uudestaan mutta nyt tietovaraston kanssa? Niin kuin olisi pitänyt tehdä alunperin.
Voit lukea lisää QlikView:n sudenkuopista, Usain Bolt Jukolan viestissä, QlikView ilman tietovarastoa ja Mä haluun sen kaiken.
- Lähdetään tyhjältä pöydältä
Edelleen löytyy yrityksiä, joilla ei ole varsinaista tietovarastoa tai QlikView-tyyppistä ratkaisua. Ja silti ne porskuttavat mainiosti, kannattavuus on mainiolla tasolla ja liikevaihto kasvaa markkinaosuuden lomassa.
Ja en puhu nyt pienistä nyrkkipajoista vaan keskisuurista ja julkishallinnon puolella erittäin suurista toimijoista. Eli miljoonan kaataminen tietovarastoon tai toinen raportointiin, big sitäjatätähypeen, ei tarkoita että maailma muuttuisi auvoiseksi.
Joka tapauksessa tänä vuonna olemme mukana ainakin kahdessa tai kolmessa miljoonaluokan tietovarastohankkeessa ja kourallisessa pienemmissä. Töitä tällä “perinteisellä” puolella riittää siis vuosiksi eteenpäin.
Yhtenä trendinä tietovarastoinnissa näen tuotteistuksen ja etl-prosessien automatisoinnin. DW:n rakentamisessa on paljon usein toistuvia manuaalisia työvaiheita, jotka voidaan automatisoida, nopeuttaa kehitystyötä ja säästää kustannuksia.
Isojen megaluokan hankkeiden lisäksi on paljon pieniä pk-sektorin yrityksiä, jotka haluavat parantaa raportointia ja tiedolla johtamista. Haasteena on, että jo 20 000€ investointi on heille liian suuri. Pienenkin tietovaraston rakentaminen maksaa tuon 20 000€, siihen päälle lisenssikustannukset, palvelimet, ylläpito. Miten rakentaa siis parilla kympillä eheä raportointiympäristö? Ja onko siitä todella niin paljon liiketoimintahyötyjä vai pärjäisikö yritys pelkällä ERP:in raportoinnilla ja Excelillä? Näitä haasteita tulemme käsittelemään myös vuonna 2015 ja tähän BI-pilvipalvelut ovat etenkin kustannustehokas ja varteenotettava vaihtoehto.
Muistinvaraiset tietokannat, muistinvaraiset ERP:it
Tarvitaanko tietovarastoa kun ERP on muistinvarainen? Miksi ei kysellä suoraan ERP:in tietokannasta, vaikkapa SAP HANA:sta? Tai jos DW laitetaan muistinvaraiseen kantaan (Esim. IBM DB2 BLU, SQL Server 2014, Netezza…), voidaanko unohtaa olap-kuutiot? Voisiko joku teknologinen ratkaisu tehdä kaiken työn tarpeettomaksi ja minä voisin keskittyä surffaamiseen?
Lyhyt vastaus: muistinvaraisuus ei ole hopealuoti. Se, kuten mikään yksittäinen teknologinen innovaatio, ei ratkaise haasteita mitä liittyy tiedolla johtamiseen ja raportointiin. Tiedon laatu ei parane, tieto ei yllättäen ole yhteneväisessä muodossa. Et voi hylätä kunnollista arkkitehtuuria, tietomallintamista, vaatimusmäärittelyä, et voi hylätä tietovarastoa.
Et voi, tai sinun ei kannata, välttämättä hylätä edes OLAP-kuutioita vaikka koko tietovarasto olisi muistissa. Olap-kuutio ei ole vain suorituskykyä. Se on myös tietomalli, tapa järjestää tieto liiketoiminnan, raportoinnin ja johtamisen kannalta järkevään muotoon. Sinne on määritelty valmiit porautumiset (drill down/up), data summaamiset ja muut aggregoinnit, laskettu valmiiksi aikaan liittyviä lukuarvoja (YTD, MTD, QTD, vertailut edelliseen vuoteen)…
Jos sinulla ei ole OLAP-kuutiota, joudut joka kerta raporttia tehdessä miettimään nämä asiat uudestaan. Sillä et voi tehdä niitä tietovarastoosi. Etkä varsinkaan ERP:iisi.
Muistinvaraisuus tuo helpotusta. Esimerkiksi jonkun yksittäisen jättimäisen taulun, johon kohdistuu paljon kyselyitä, vieminen muistiin, voi helpottaa suunnattomasti raportointia. Muistinvarainen teknologia tulee helpottamaan raportointia, se mahdollistaa myös oikopolkujen käyttämisen. Mutta samalla se tuo lisävaatimuksia fiksuun arkkitehtuurisuunnitteluun: ennen toteutusta pitää miettiä mitä toteutetaan tietokannassa ja mitä kuutioissa/metamalleissa/raporteilla.
Mistä on hyvä tulevaisuus tehty?
Uudet innovaatiot tuovat kuitenkin helpotuksia. Pieninä erinä annosteltuna, kun ne suunnitellaan fiksusti, ketterästi käyttöönottaen, yhdistäen vähän vanhaa, vähän uuttaa ja paljon uudenlaista tekemisen meininkiä.
Toistan vielä: avainasemassa on pienellä riskillä ja investoinnilla mutta ketterästi ja rohkeasti toteutetut kokeilut. Kokeilut, jotka testataan asiakkailla (=loppukäyttäjillä) ja päätetään nopeasti edetäänkö tuotantoon vai tehdäänkö jotain muuta. Trendikkäästi start-up yrittämisen ja lean-filosofian hengessä.
Olemme olleet mukana kun pörssiyritys on tehnyt tuotekehitystä tällä tavalla ja tuupannut parissa kuukaudessa uutta tuotetta tuutista ulos. Oma missioni tulevana vuonna on tuoda tuota tekemisen meininkiä tietovarastointiin, raportointiin ja analytiikkaan.
Kaikkia tässä kirjoituksessa lueteltuja asioita pitäisi lähestyä samalla tavoin, oli se sitten hadoop, muistinvaraiset tietokannat, ennakoiva analytiikka, pilvipalvelut tai konsernitason EDW-ratkaisut. Näitä ei pidä nähdä mammuttihankintoina ja big bang -hankkeina. Ylätasolla tehdään kyllä abstrakti suunnitelma tai roadmap, joka ohjaa konkreettisen tason ketterää tekemistä, jossa yritys, erehdys ja oppiminen ovat parhaita neuvonantajia.
Mitä Louhia tekee vuonna 2015?
Ante up. Siinä kiteytettynä tulevan vuoden strategia. Lisäämme panoksia, nostamme hikeä niin itsellä kuin kilpailijoilla. Blogi tulee sisältämään vähän enemmän, vähän rohkeammin ja haastavammin kaikkea sitä mikä lukijoita kiinnostaa.
Tuomme asiakkaillemme tarjolle uusia mielenkiintoisia analytiikkatuotteita ja iskemme ne tiiviisti perinteisten business intelligence tai esimerkiksi CRM-tuotteiden kylkeen – tarjoten itsepalveluanalytiikkaa ensimmäisenä markkinoilla. Ja varmistamme, että ne tuottavat asiakkaillemme pätäkkää, tai sitten heitämme ne romukoppaan ja teemme jotain muuta.
Katsomme myös korttimme Azure Machine Learningin kanssa. Emme unohda myöskään vahvaa RapidMiner ja R osaamistamme, jota tulemme jakamaan säännöllisten analytiikkakoulutusten muodossa pitkin vuotta.
Ja siinä sivussa toteutamme muutaman maan parhaimman tietovaraston ja saatamme pari megahanketta liikkeelle.
Tuplaamme liikevaihtomme parantaen kannattavuutta. Vedämme kesällä vuosittaisen triathlonin ja ne työntekijät ketkä eivät pääse maaliin, saa palkanalennuksen. Vietämme aikaa enemmän perheen kanssa. Matkustamme.
Siinä nyt alkajaiseksi jotain pientä.
