Analytiikan menestyksekkäässä käytössä liiketoiminnan ohjaajana piilee lukuisia haasteita, joista yllättävän harva liittyy itse analytiikan tekniseen toteuttamiseen. Analyyttiselle tekemiselle esitetyt kunnianhimoiset ROI-laskelmat eivät toteudu, koska analytiikkaa hyödyntävien organisaatioiden toiminta ja koordinointi on puutteellisesta. Tässä käydään läpi top 6 isointa sudenkuoppaa karkeassa tärkeysjärjestyksessä. Esimerkkinä käytetään pankkialaa, mutta haasteet ovat toimialasta riippumattomia.
1) Liiketoiminnallinen tavoite puuttuu
Analytiikkaa tehtäessä on aina pidettävä mielessä, mitä liiketoiminnallista tavoitetta ollaan ratkaisemassa. Miksi? Koska tämä tavoite ohjaa kaikkea analyyttistä tekemistä ja ratkaisee viime kädessä sen, miten eteen tulevat pulmatilanteet ratkotaan tai ovatko ne pulmatilanteita ollenkaan. Hyvä liiketoiminnallinen tavoite on
• selkeä; ei vieraita termejä
• yhteisesti sovittu ja hyväksytty.
Jos tätä projektin suunnanosoittajaa ei ole määritelty tai se on tehty liian ylimalkaisesti, on tiedossa lukuisia ongelmia, joihin puhtaasti tilastotieteelliset mittarit eivät voi tuoda vastausta. Tähän kategoriaan kuuluvat mm. loppumattomat kädenväännöt riittävästä ennustetarkkuudesta: jos liiketoiminnallinen tavoite täyttyy, on malli riittävän hyvä. Jos ei liiketoiminnallista tavoitetta ole määritelty, ei kysymykseen voida edes vastata.
Oma ongelmansa on se, että miten projekti voidaan määritellä, jos ei tiedetä mihin kysymykseen sen on määrä vastata? Vastaavasti miten projekti voidaan hyväksyä, jos ei tiedetä mihin kysymykseen se vastasi?
Monesti projektin alussa on hirveä kiusaus päästä tekemään. Projektiryhmän tunnelmat tiivistyvät ajatukseen ”Tehdään nyt vain äkkiä jotain, mitä me tässä odotetaan”. Kuitenkin on hyvä pysähtyä miettimään, että mihin viime kädessä tähdätään: tehdäänkö lopulta parempia päätöksiä, tuleeko myyntiä enemmän, pienenevätkö kustannukset, nouseeko asiakastyytyväisyys… Projektin alussa tähän käytetty aika ja vaiva maksavat itsensä moninkertaisesti takaisin. Ja usein liiketoiminnallisen tavoitteen saavuttaminen tarkoittaa myös tyytyväistä asiakasta.
2) Analytiikan tulokset ovat vajaakäytössä
Hämmästyttävästi analytiikan toiseksi suurin sudenkuoppa ei suinkaan liity itse analytiikkaan vaan se on analytiikan tulosten unohtaminen analyytikon koneelle. Kuitenkin kun hänen työnsä on tehty, on analytiikasta oikeastaan toteutunut vasta kustannuksia. Suurimmat analytiikan hyödyt – tavoitellut säästöt tai lisäansiot – puolestaan toteutuvat kun sen tulokset otetaan yrityksessä laajamittaiseen käyttöön tuotantoympäristössä ja niillä aletaan ohjata yrityksen liiketoimintaa.
Esimerkiksi pankit ennustavat analytiikalla mm. uusien asiakkaidensa riskiä jättää laina lyhentämättä (niin sanottu PD eli probabilty of default –tunnusluku). Tässä tapauksessa pankki ohjaa analytiikalla liiketoimintaansa siten, että se jättää liian riskialttiin lainan myöntämättä tai marginaalia voidaan korottaa kattamaan isompi riski.
3) Mallien osumatarkkuutta ei seurata
Analytiikan sudenkuoppa numero kolme on se, että vaikka analyyttisia malleja olisi otettu ohjaamaan liiketoimintaa, ei seurata miten osuvia mallit ovat –analyyttinen mallihan alkaa vanhentua niin pian kuin se on saatu valmiiksi. Tällöin yritys joutuu arvailemaan asiaa ja esimerkiksi tekemään mallinnuksen määrävälein kalliilla uusiksi, ihan vain varmuuden vuoksi. Toinen jopa huonompi tilanne on se, että käytössä on vanhentuneita epätarkkoja malleja, koska ei ole tietolähdettä, joka asian kertoisi.
Oikeastaan kyseessä on varsin maanläheinen raportointihaaste: verrataan sitä, mitä malli ennusti siihen, mitä oikeasti tapahtui. Pankkipuolella esimerkkinä olisi seurata ja verrata minkä lainojen ennustetaan jäävän lyhentämättä ja mitkä lainat sitten oikeasti jäävät lyhentämättä. Vakiomuotoisilla osumatarkkuuden raporteilla säästytään myös työläiltä ja virhealttiita erilliskyselyiltä kantaan, kun selvitetään manuaalisesti missä mennään.
On jopa mahdollista lähettää automaattihälytys analyytikon sähköpostiin, kun etukäteen asetettu osumatarkkuuden minimiraja alittuu (esim. mainitussa pankkiesimerkissä PD-mallin auc putoaa alle 0,75:n). Näin ideaalissa tilanteessa mallinnusta tehdään juuri silloin kuin tarvitaan eikä yhtään enempää.
Kokonaan oma kysymyksensä on se, että yritys voi käyttää joitakin osumatarkkuuden raportteja oman liiketoimintansa suunnitteluun. Esimerkkimme pankki voi valita missä kohtaa ROC-käyrää se haluaa liiketoimintaansa tehdä: hyväksyäkö iso joukko lainoja sillä riskillä että niistä osa jää lyhentämättä vai valikoidako pienempi joukko pienemmän riskin asiakkaita.
4) Analytiikan historiointi puuttuu
Monesti analytiikkaa harjoittavilta yrityksiltä puuttuu analytiikkamuisti, koska ne eivät talleta mitään mallinnuksen työvaiheita, tuloksia tai aineistoja. Tämä voi johtua siitä, että asian tärkeyttä ei tiedosteta tai siitä, että yrityksellä ei edes ole sellaista analytiikka/BI –kantaa, johon tiedot voisi tallettaa – tai kannasta puuttuvat historioivat rakenteet.
Laajimmillaan (esimerkiksi juuri pankin PD-mallin osalta) voidaan historioida seuraavat analytiikkatekemistä koskevat tiedot:
• Vanhojen mallien historiointi: mitä malleja on ollut käytössä ja milloin? Kuka mallit on tehnyt?
• Vanhojen mallinnusdatojen historiointi: mihin saadut mallit ja tulokset ovat perustuneet?
• Vanhojen pisteytysdatojen historiointi: mitä dataa mallit ovat saaneet inputtina?
• Vanhojen pisteytystulosten historiointi: mitä tuloksia on malleilla saatu?
Ilman näitä tietoja mallinnustyö saattaa kiertää kehää ja pyörää keksitään aina uudestaan –ei havaita, että uudelta tuntuva idea onkin jo ollut käytössä. Asian kuntoon laitto tuo huimasti tehoa mallinnukseen, kun voidaan keskittyä uusien tekniikoiden ideointiin. Ja jos vielä on talletettu kuka mallinsi ja milloin, voi analyytikko kilauttaa kaverille ja kysyä täsmävinkkejä kun tuttu kaverihan on aiemmin päätynyt aivan vastaavaan mallinnustekniikkaan.
5) ETL-prosessit (datan lataus ja muokkaus) ovat synkronoimatta
Jos pankkiesimerkin analyytikko ei koskaan saa koneellensa kulutusluottoja sisältävää dataa, on turha odottaa, että hänen tekemäänsä mallia voitaisiin kovin hyvin kulutusluottoihin soveltaa. Ohjeena voisikin todeta: poimi mallinnukseen käyttämäsi data samoilla säännöillä ja rajauksilla kuin data, johon haluat mallinnuksen tuloksia soveltaa. Neuvo vaikuttaa niin päivänselvältä, että herää luonnostaan kysymys, että miksi se pitää mainita.
Ongelma syntyy siitä, että monesti nämä kaksi datankeruuta on jaettu yrityksissä eri osastoille. Pankkiesimerkissä voi tilanne olla se, että IT-osasto hallinnoi ETL-työkaluilla datavirtaa, johon analyytikon malli olisi tarkoitus upottaa riskiarviota tuottamaan. Analyytikko puolestaan työskentelee liiketoiminnan puolella ja hakee mallinnusdatansa sooloprojektina itse kirjoitetuilla kyselyillä eri kantoihin. Ilman aktiivista koordinointia ja oikein rakennettua analytiikka-arkkitehtuuria nämä eivät kohtaa ja mallinnuksen osumatarkkuus on suotta heikompi kuin olisi mahdollista. Huonoimmillaan jokin erityisryhmä putoaa mallinnusprosessin ulkopuolelle kokonaan. (Koordinointia ei ainakaan edesauta se, että monesti yritykset ovat sälyttäneet analytiikan rasitteet ja kustannukset IT-osastolle kun taas liiketoimintaosasto tuottaa ja näkee aitiopaikalta tekemänsä analytiikan hyödyt.)
6) Hirttäännytään väärään tarkkuusmittariin
Analytiikan osumatarkkuutta voi ja pitääkin arvioida sekä tilastotieteellisin että liiketoiminnallisin mittarein. Joskus yrityksillä iskee kuitenkin rimakauhu kun mallinnus alkaa tulla valmiiksi: jumitutaan vaatimaan analyytikolta jollain tilastotieteellisellä mittarilla arvioituna aina vain tarkempia malleja vaikka jo aikaa sitten on saavutettu liiketoiminnallisesti riittävän hyvä tarkkuustaso. Oikea toimenpide on tällöin mallin välitön tuotantoympäristöön vienti, koska lisätarkkuuden metsästykseen käytetty aika on suoraan pois siitä ajasta, jonka malli voisi tuottaa tulosta osana toistuvia eräajoja.
Päinvastainen tilanne syntyy, kun ihastutaan jonkin yksittäisen tilastotieteellisen mittarin tuomaan positiiviseen tarkkuustietoon, mutta unohdetaan liiketoiminnallinen tavoite, jota varten malli on tehty. Pankkiesimerkin PD-mallinnuksessa voi tulla eteen tilanne, jossa mallin tarkkuus (accuracy) on 95%, mikä normaalisti tarkoittaa huippuluokan osumatarkkuutta. Kuitenkin jos datassa on erittäin vähän lyhentämättä jääneitä lainoja, voi olla että tuo viiden prosentin epätarkkuus syntyy juurikin niiden väärin ennustamisesta. Yksittäisellä tilastotieteellisellä mittarilla tarkasteltuna loistavasti toimiva malli onkin onneton ennustamaan juuri sitä asiaa, joka liiketoimintaa kaikkein eniten kiinnostaa. Tällaisen mallin tuotantoympäristöön vienti on melkoinen virhe; oikea toimenpide on parantaa lyhentämättömien lainojen tunnistusta.
Kuusi ohjetta menestyksekkääseen analytiikkaan
Yhteenvetona voidaan todeta, että jos yrityksesi harjoittaa tai tavoittelee laajamittaista analytiikkaa, jolla ohjataan liiketoimintaa, pidä huoli seuraavista asioista:
1) Määrittele analytiikalle liiketoiminnallinen tavoite.
2) Vie analyyttiset mallit tuotantoympäristöön liiketoimintaa ohjaamaan.
3) Seuraa mallien osumatarkkuutta.
4) Historioi analytiikkatekemisesi.
5) Synkronoi ETL-prosessisi.
6) Seuraa laajasti sekä liiketoiminnallisia että tilastotieteellisiä mallin hyvyyden mittareita.
Näin toimimalla varmistat maksimihyödyt analytiikasta.
