QlikView, Tableau, PowerBI, Hadoop. Siinä muutama kuuma tuote jotka ovat viime vuosina tuoneet uusia tuulia BI-markkinoille. Raporttien luonti on muuttunut ketterämmäksi. Samoihin aikoihin kankeimmatkin BI-talot ovat alkaneet siirtymään vähä vähältä agile-menetelmiin, pois vesiputousmallista. Onhan tämä tuonut pientä notkeutta ja nopeutta tietovarastojen kehitykseen. Tämä osin näennäinenkin kehitys ei vaan riitä vielä millään.
Samalla näemme viikoittain asiakkaita jotka ovat ongelmissa erityisesti QlikView-ympäristöjensä kanssa. Nämäkään projektit eivät ole olleet lähimainkaan niin helppoja ja yksinkertaisia kuin on alkuun luultu. Mallit pirstaloituvat, arkkitehtuuriset korttitalot huojuvat. Monessa paikassa on alettu pohtimaan uudestaan koko arkkitehtuuria. Tarvittaisiinko se tietovarasto sittenkin? Huonot kokemukset tietovarastoprojekteista kuitenkin hirvittävät.
Toisaalla suuret kilpailijat rummuttavat valtavan kalliiden appliance-ratkaisuiden sekä Data Vault-mallinnuksen ylivertaisuutta. Jättämällä kertomatta että sen Data Vaultin päälle on kaiken kukkuraksi rakennettava se perinteinen tähtimallinen ja kankea tietovarasto.
Louhialaisetkaan eivät ole lepäilleet laakereillaan. Erityisesti muualla maailmassa on alettu enenevissä määrin puhumaan tietovarastojen tekemisen automatisoinnista. Voisiko tietovarastoja oikeasti luoda ketterillä menetelmillä?
Miten saada uusi sarake mahdollisimman nopeasti tietovarastoon, kuutioon, QlikView:iin? Onko pakko odottaa kaksi viikkoa?
Voisiko pääkäyttäjä lisätä uutta dataa tietovarastoon ihan omatoimisesti?
Tiedämme ette kotimaassa ole ainoita. Olemme törmänneet pariinkin projektiin jossa kehitellään automatisointivälineitä, tosin niissä ei ilmeisesti olla ilmeisesti kovin pitkällä kun tuotteita ei uskalleta vielä sen suuremmin mainostaa.
Maailmalla on käynnissä useampia työkaluprojekteja jotka käyttävät avointa BIML (Business Intelligence Markup Language)-rajapintaa.
- BIML:issä itsessään on aika korkea oppimiskäyrä, vaatii skriptikielen opettelua
- Tässä on kyse lopulta vain uudesta käyttöliittymästä tietovarastojen rakentamiseen.
- Itse skriptikieli vaatisi ympärilleen vielä metadatan hallinnan, DDL:t, kuutiot jne.
Tämän lisäksi maailmalla on jo markkinoilla useampiakin valmistuotteita jotka pyrkivät ratkaisemaan automatisoinnin . Yhteistä lähes kaikille näille tuotteille on se että pyörivät Microsoftin SSIS:n (SQL Server Integration Services) päällä. Microsoftin välineet ovat meidän kokemustemme mukaan olleet tietovarastojen ylivoimaisesti yleisimmät työkalut jo useita vuosia.
Muutamia tuotteita maailmalla:
http://www.varigence.com/Products/Mist/Capabilities (perustuu BIML:iin)
http://www.cloveretl.com/
http://www.biready.com/
Tietovarastojen automatisoinnin kehitystä hidastavat suuret konsulttiyritykset. Moni kilpailijamme saa suuren osan liikevaihdostaan ETL-työstä. Mitä jos siitä työstä katoaakin yht´äkkiä 80%?
Stay tuned, tietovarastojen teon automatisointi tulee lyömään itsensä läpi. Jäykkää ja massiivista perinteistä tietovarastoprojektia ei ehkä kannata aloittaa vielä. Perinteiset jäykät tietovarastoprojektit ovat katoavaa kansanperinnettä. Maailmalla yksi suurimpia automatisointiin siirtyviä asiakasryhmiä ovat ne, jotka ovat jo kertaalleen kokeneet perinteisen tietovarastokehityksen hitausmomentin.
