Kävin myyntikeikalla asiakkaalla, jolla on käytössä Informatica tietovaraston etl-välineenä (etl = extract-transform-load). Mainitsin, että Microsoftin SQL Serverin Integration Services on huomattavasti edullisempi väline ja tekee saman asian. Sain vastaukseksi epäuskoisen silmien pyöräytyksen ja toteamuksen, että kun pitää siirtää dataa paikasta toiseen, Microsoftilla tekeminen tulee maksamaan ja paljon. Päädyimme olemaan asiassa sivistyneesti eri mieltä ja jatkoimme muulla agendalla. Mutta asia jäi vaivaamaan minua.
Olen tehnyt reilun kymmenen vuoden aikana kymmenittäin tietovarastoja. Näitä on tehty SQL Serverillä (SSIS), Informaticalla, DataStagella, Cognos Data Managerilla ja joskus puhtaasti SQL-skripteillä ilman mitään etl-välinettä. En ole ainakaan itse huomannut latausten suorituskyvyssä tai etl-prosessien toteutusvauhdissa tuotteissa juurikaan eroja. Ja jos joskus toteutustyö on ollut hidasta, se on johtunut vain tekijän ammattitaidottomuudesta tai erittäin hankalasta liiketoimintaongelmasta (yleensä dataa ei ole ollut saatavilla). Tai sitten tietovarasto on vain mallinnettu todella huonosti.
Suorituskykyongelmat ovat järjestään väline- ja tietokantariippumattomia.
SQL Server SSIS on itseasiassa yleisin tietovarastojen etl-työväline mihin itse olen törmännyt ja minkä kanssa olen työskennellyt. SQL Server -tietokanta on yleisin tietovarastojen tietokanta. Missään projektissa, vaikka etl-ajoissa käsiteltäisiin päivittäin miljoonia rivejä, SQL Serverin suorituskyky ei ole aiheuttanut edes keskusteluja. Meillä on paraikaa hallinnassa yhdellä asiakkaalla yli teratavun tietovarasto, joka makaa SQL Serverin päällä, eikä suorituskyky ole mikään kysymys.
Kestääkö toteutustyö kauemmin? Olin itse käyttänyt vuosia Data Manageria kun lähdin tekemään ensimmäistä tietovarastoa SSIS:llä. Kollegani opasti tuotteen käyttöä yhden päivän ajan, jonka jälkeen otin homman haltuun. Suoraan sanoen SSIS:n opettelu kävi puolet nopeammin kuin aikanaan Data managerin. Eli ei, SSIS:llä tietovaraston toteuttaminen ei kestä sen kauempaa kuin millään muullakaan.
En siis ymmärrä mistä moinen käsitys asiakkaalle on tullut?
Pelaa varman päälle – sijoita kalleimpaan mitä löytyy
Onko kyse vain varman päälle pelaamisesta? Olen törmännyt yrityksiin, joissa on pitänyt hankkia tietokanta tai etl-työväline eikä ole tunnettu oikein kunnolla tuotteita markkinoilla. Ja siksi on päädytty kaikista kalleimpaan vaihtoehtoon. Ihan vain varmuuden vuoksi. Näin kukaan ei pääse ainakaan syyttämään tuotteen ostajaa jos jokin menee pieleen.
Ja Informatica on kallis verrattuna SQL Serveriin. Informatican hintaa ei tietenkään tiedä kukaan koska se on tuotteena osastoa: emme kerro hintoja koska haluamme tehdä ostamisen mahdollisimman vaikeaksi (ja vihaamme asiakkaitamme). Mutta olen ymmärtänyt, että kustakin tietokantayhteydestä jotka Informaticaan liitetään, pitää maksaa erikseen. Jos haluat lukea SQL Serveristä (esim. Dynamicsin CRM) dataa Informaticalla, joudut latomaan muutaman kymppitonnin tiskiin. Nopeat Netezza-yhteydet maksavat jo yli satasen. Siis normilisenssin lisäksi (korjatkaa Informatica-expertit jos olen väärässä). Ei kovin käyttökelpoista puhuttaessa tietovarastoympäristöistä, joissa oletuksena on useita eri tietolähteitä ja useimmiten eri tietokantoja joihin pitää liittyä.
Kerran olin tekemässä asiakkaalla raportointia ja uuden tietovaraston tietokantana oli Oracle. Kysyin syytä ratkaisuun ja vastaus oli: “Tietoa on niin paljon, että pitää olla järeä kanta.” Kysyin paljonkos sitä tietoa sitten tulee olemaan? “No miljoonia rivejä, ainakin kymmenen.” En rohjennut enää sanoa, että ilmainen MariaDB olisi ollut varmasti ihan sopiva tietokanta tuohon miniympäristöön.
Vinkki tietokannan/tietovaraston hankkijalle: jos et tiedä, kysy asiantuntijalta. Parin tunnin konsultaatio maksaa jokusen satasen mutta voi säästää sinulle satatuhatta.
Älä syytä työvälinettä jos et osaa käyttää sitä
Joskus yritys on kokeillut tuotetta omatoimisesti, ilman kunnollista opastusta, koulutusta tai perehdytystä. Työt eivät ole tietenkään sujuneet niin kuin myyntimies-mynttinen näytti ja näin tuote todetaan liian vaikeaksi käyttää tai täysin sudeksi.
Tähän olen törmännyt niin OLAP-kuutioiden kanssa (niin Microsoft kuin Cognos), raportointityövälineissä (Report Studio, Reporting Services) kuin etl-työvälineissä. Asiakkaat ovat haukkuneet esimerkiksi Cognos-kuutiot läpeensä huonoiksi ja kun on alettu selvittämään mistä on kyse, on paljastunut että kukaan ei ole koskaan järjestänyt koulutusta ja niitä ei osata käyttää. Tai pahimmassa tapauksessa kuutioyhteys ei ole päällä ja asiakas on saanut kuutiota avatessa virheviestin eteensä. Ja jättänyt tuotteen käytön siihen, koskaan näkemättäkään sitä tosi käytössä. Ja kerran asiakkaalla vaihdettiin raportointityövälinettä koska konsultti ei osannut käyttää sitä.
Syy ei ole toki asiakkaan: konsultit ja myyntimiehet jättävät asiakkaan liian helposti oman onnensa nojaan uuden tuotteen kanssa eikä kunnollisesta vierihoidosta ja käyttöönotosta huolehdita. Sitten tulee QlikView:n myyntimies ja pyyhkii kaikilla lattiaa ja vie potin.
