Kuinka moni tietovarastoa työssään hyödyntävä tai siitä vastuussa oleva tietää, millä arkkitehtuuriperiaatteella kyseinen ratkaisu on toteutettu? Harva toimittaja on antanut asiakkaan tehdä tämän päätöksen tai edes kertonut vaihtoehdoista. Valitettavan usein tekninen ratkaisu jää asiakkaalta täysin pimentoon ja aikaa myöten tietovaraston ylläpitäminen ja sen jatkokehittäminen käy vaivalloiseksi ja hitaaksi tai jopa täysin mahdottomaksi.
Tämä johtuu yleensä useasta eri syystä, mutta useimmiten taustalta löytyy puuttuvat yhteisesti sovitut pelisäännöt (governance) arkkitehtuurin kehittämisestä sekä mahdollisesti kehittäjien vaihtuminen matkan varrella. Jokainen tekijä kutoo verkkonsa omalla parhaimmaksi katsomallaan ja osaamallaan tavalla. Lopputuloksena tästä syntyy arkkitehtuurisesti melkoisia katiskoja ja himmeleitä, joiden setvimiseen tarvitaan mieluummin kourallinen dynamiittia kuin kirurgin veistä.
Perinteiset arkkitehtuurit
Tietovarastojen mallinnuksessa on tyypillisesti käytetty joko Kimballin 2-kerros tai Inmonin 3-kerrosarkkitehtuuria. Kimballin arkkitehtuurissa raakadata kopioidaan ensin Staging alueelle, josta se sitten viedään tietovarastokerrokseen dimensiomallisiin Data Marteihin. Tämän arkkitehtuurin etu on sen keveys ja helppo rakentaminen verrattuna muihin arkkitehtuureihin, mutta haittapuolena on esimerkiksi toisen dimensiomallin rakentaminen samasta lähtödatasta, koska tiedot pitää uudelleen ladata Staging alueelta.
Inmon esitteli puolestaan kolmikerrosarkkitehtuurin, jossa Staging alue on samanlainen kuin Kimballin arkkitehtuurissa eli pitää sisällään kopion lähdejärjestelmän raakadatasta. Data Warehouse -kerros perustuu puolestaan lähdejärjestelmän tauluihin ja näiden päälle rakentuvat dimensionaaliset tietomallit – Data Martit. Tämän arkkitehtuurin merkittävin etu verrattuna Kimballiin on se, että Data Warehouse tasolla data on jo puhdistettua ja integroitua eikä tätä tarvitse tehdä enää rakennettaessa uusia Data Marteja raportointikäyttöön. Viime vuosien aikana erityisen suurta suosiota on saanut Data Vault 2.0 arkkitehtuuri, jossa myös on kolme loogista vaihetta ja kerrosta
Moderni arkkitehtuuri
Raakadata tuodaan ensin Staging alueelle, joka tyypillisesti jakaantuu kahteen: Tiedostopohjaiseen Data Lake ja relaatiomalliseen alueeseen. Varsinainen tietovarasto (EDW) rakennetaan Data Vault mallinnusmenetelmällä ja tarkoituksena on säilöä kaikki historiadata raakamuodossaan.
Data Vaultissa tärkeä huomioitava seikka on se, että liiketoimintasäännöt, kuten datan puhdistaminen, suodatus ja rikastaminen tapahtuvat vasta tietovarastokerroksen jälkeen toteutettavissa Information (Data) Marteissa, joihin varsinaisilla raportointityövälineillä kytkeydytään. Tästä on se selkeä hyöty, että sääntöjen muuttuessa tai niitä lisättäessä, muutokset tehdään vain yhteen kerrokseen eikä sinne tänne koko tietovarastoarkkitehtuurissa. Myöskään tietoja ei tarvitse uudelleen ladata lähdejärjestelmistä saakka, mikä on yleisesti muiden arkkitehtuurien heikkous. Lisäksi tietojen jäljitettävyys säilyy, koska EDW tasolla on aina raakadata, joka vastaa lähdejärjestelmissä syntyneitä tietoja.
Selkeitä hyötyjä, joita Data Vault arkkitehtuuri mahdollistaa ja jotka puuttuvat perinteisimmistä arkkitehtuureista (Kimball, Inmon) ovat:
- Ratkaisun laajennettavuus. Uudet implementoitavat ratkaisut ovat nykyratkaisusta riippumattomia eli mitään vanhaa ei tarvitse purkaa uuden tieltä
- Nopeat tietojen päivitykset. Kaikki tarvittava data voidaan siirtää tietovarastoon rinnakkain, koska vastaanottavilla rakenteilla ei ole keskinäisiä riippuvuuksia
- Rakentamisen automatisointi. Tietokantataulut ja koko arkkitehtuuri perustuvat ennalta sovittuihin malleihin ja sääntöihin. Integraattoreilla on tarjota omia kiihdyttimiä ja lisäksi markkinoilta löytyy tarkoitukseen soveltuvia valmiita ohjelmistoja.
- Liiketoimintalogiikan muutokset eivät aiheuta massiivista uudelleen organisointia rakenteiden ja tietolatausten suhteen, koska säännöt on tallennettu vain yhteen, usein virtuaaliseen kerrokseen
- Ratkaisun elinkaari on pidempi ja ylläpidettävyys helpompaa, koska kaikki ratkaisut on rakennettu arkkitehtuurisesti yhdenmukaisella tavalla
- Standardit pakottavat jokaisen toimittajan yhdenmukaisiin ratkaisuihin ja tämä mahdollistaa monitoimittajaympäristöt, tiimien ja henkilöiden vaihdokset ilman, että siitä koituisi asiakkaille merkittävää lisätyötä tai haittaa. Samalla riippuvuus tietystä toimittajasta vähenee.
Tuulta purjeisiin Bilot DW Core™ kiihdyttimellä
Autamme yrityksiä tiekartan piirtämiseen ja toteuttamiseen kaikissa tilanteissa.
