Datawarehouse automation is hot. Maar welk bedrijf genereert werkelijk 98% van zijn datawarehouse-code? In de huidige concurrerende markt zijn zakelijke flexibiliteit en time-to-market essentieel. Daarbij is datawarehouse-automatisering dé sleutel tot succes. Niet alleen als bron voor praktische bedrijfsrapportages maar ook als onmisbaar gereedschap voor uw BI data scientists. In dit achtergrondartikel leest u hoe uw bedrijf de gehele datawarehouse ETL- en DDL-code in de database van uw bedrijf kan genereren.
Wat is datawarehouse automation?
Datawarehouse automation (DA) is de volgende generatie automatiseringstechnologie voor datawarehouse-processen. DA biedt een efficiënt alternatief voor traditioneel datawarehouse-ontwerp en -bouw dat nog veelal handmatig gebeurt. Hoe? Door tijdrovende taken te verminderen zoals het genereren en implementeren van ETL-codes op een databaseserver. Met deze handige tool kunnen bedrijven BI-projecten binnen een paar dagen implementeren in vergelijking met vele maanden van traditionele datawarehouses. En dat tegen een fractie van de kosten!
Uitdagingen en behoefte aan datawarehouse automation
Datawarehouse-ontwikkeling kent vele uitdagingen. Bijvoorbeeld lange ontwikkelingscycli, slecht metadatabeheer en dure ontwikkeltools. Hierdoor loopt u telkens weer tegen een muur op van traditionele datawarehouse-implementaties. Aan het begin van dit millennium ontdekten bedrijven dat veel van hun IT-applicatiesystemen slecht waren geïntegreerd en dat ze deze gefragmenteerde gegevens niet konden samenvoegen. Dat was de reden dat veel datawarehouse-projecten begonnen met het bouwen van ETL voor het integreren van deze applicatiedata. Tegenwoordig zijn er DA-gereedschappen beschikbaar voor het snel genereren en implementeren van deze ETL-processen. Vaak al binnen enkele dagen zodat uw bedrijf zich kan concentreren op de datavisualisatie voor uw gebruikers.
Hoe werkt datawarehouse automation?
Om uw datawarehouse ETL- en DDL-code te genereren, zijn twee zaken nodig:
- Metadata
Bron metadata – Om data in uw datawarehouse te laden, moet u de metadata van uw bronnen kennen. De bronnen kunnen een online transactieverwerkingsdatabase zijn of bestanden (CSV, JSON of XML).
Bedrijfsrapportage metadata – Datavisualisatie kan het beste worden gerealiseerd op basis van dimensionele modellen in het datawarehouse. Voor specifieke leveringen aan uw data scientists is echter ook bedrijfsmetadata nodig. Deze metadata moet in uw businesstermen worden gespecificeerd, zodat uw gebruikers met selfservice BI aan de slag kunnen.
- Codetemplates
Voor het automatiseren van de ETL-code van uw datawarehouse heeft u codetemplates nodig, welke specifiek zijn voor uw datawarehouse-database en waarmee u specifieke datawarehouse-taken kunt implementeren. Voorbeelden van zulke codetemplate-taken zijn ‘data incrementeel bijwerken’, ‘data historisch bijwerken’ en ‘data gecontroleerd toevoegen’.
Op basis van deze metadata en codetemplates genereert u binnen enkele minuten de ETL-processen.
Voordelen van datawarehouse automation gereedschappen
Geautomatiseerde datawarehouse-software heeft de volgende voordelen:
- Verbeterde kwaliteit en precisie. Bedrijven kunnen de inconsistenties vermijden die in handmatige ETL worden gevonden. DA maakt het bovendien gemakkelijker om ongelijksoortige data te extraheren uit alle soorten databases en bestanden (CSV, JSON of XML). Het maakt het ook mogelijk om scd2 dimensies en feiten te modelleren voor uw datavisualisatie. Bedrijven hebben hierdoor meer controle over geavanceerde en nauwkeurigere rapportages en data-analyses.
- Sneller resultaat. Snellere implementatie van uw BI-datawarehouse geeft de mogelijkheid om adequaat in te spelen op steeds veranderende marktomstandigheden. Kortom, beslissingen kunnen sneller worden genomen en weerspiegelen marktveranderingen beter.
- Snellere doorlooptijd voor datawarehouse projecten met hogere ROI. Door geen code meer handmatig in te voeren, gaat het bouwen en implementeren van datawarehouses significant sneller. Met minimale kosten in het bouwproces als resultaat. Dit geeft BI-teams meer tijd voor het verwerken van deze informatie en geeft hen ruimte voor het nemen van strategische beslissingen. Bovendien zorgt deze werkwijze voor een hogere BI-projectwaarde.
Een datawarehouse automation gereedschap bouwen of kopen?
Als bedrijf kunt u kiezen om zelf een datawarehouse automation gereedschap te bouwen of er een te kopen.
Het bouwen van DA-gereedschap vereist ten eerste veel ervaring van hoe een datawarehouse precies werkt. Ten tweede moet dit worden uitgevoerd door uw beste BI ETL-consultant(s). Wanneer uw senior BI ETL-consultant hier fulltime aan werkt, moet u bovendien rekenen op een doorlooptijd van minimaal één jaar! Het kopen van een DA- raamwerk is een eenmalige investering, maar geeft de mogelijkheid om direct aan de slag te gaan met DA gereedschap dat bewezen technologie is.
Wat wordt er geleverd als u een datawarehouse automation raamwerk koopt?
Het DA raamwerk dat door BI-Quest kan worden geleverd, bevat de volgende componenten:
- Python-gebaseerde generatoren voor alle gebieden van uw datawarehouse
- Implementatie in uw datawarehouse-database (Snowflake, SQLServer, PostgreSQL of Oracle)
- Een datawarehouse-architectuur die geparametriseerd is, zodat deze past binnen de BI-architectuur van uw bedrijf
- Volledige documentatie (Word) van de generatoren en de hulpprogramma’s
- Een kookboek dat precies de stappen beschrijft om het datawarehouse automation raamwerk te gebruiken
- Een videokanaal met filmpjes over het gebruik van elke stap van het datawarehouse automation raamwerk
- Ondersteuning van BI-Quest voor hulp bij implementatie van dit datawarehouse automation raamwerk
- Een volledig aanpasbaar raamwerk
- De naam van het raamwerk is specifiek voor uw bedrijf
Wat bevat dit datawarehouse automation raamwerk?
- Een metadata-model voor het toevoegen van nieuwe bronnen aan uw datawarehouse
- Een metadata-model voor het genereren van een dimensioneel model voor bedrijfsrapportage
- Een metadata-model voor het genereren van data voor uw data scientists
- Metadata-hulpmiddelen om de structuur uit databases en bestanden (CSV, JSON en XML) te lezen en aan uw metadata-model toe te voegen
- Codetemplates voor uw datawarehouse-database in Snowflake, Oracle, SQLServer en PostgreSQL
- Aanpasbare codetemplates
- Flexibele implementatie van uw datawarehouse-architectuur
- Genereert datawarehouse datahistorie op kolomniveau
- Genereert logische dataverwijderingen in uw datawarehouse
- Genereert bedrijfsspecifieke transformaties in de bedrijfsspecifieke onderdelen van uw datawarehouse
- Genereert dimensies (scd1 en scd2) en feiten die gemakkelijk kunnen worden aangepast
- Genereert leverbare bestanden in CSV-, JSON- en XML-formaat.
Sinds de jaren 90 werkt Frank gepassioneerd in de Business Intelligence & datawarehousing wereld. Hij heeft van vele BI projecten de datawarehouse backend ontworpen en gebouwd in Oracle. De laatste 5 jaar ook in andere databases (Snowflake, PostgresSQL en SQLServer).
Automatisering van het vele, vaak repeterende werk, in de datawarehouse backend (DDL en ETL) heeft hem altijd geïntrigeerd. Als datawarehouse automation specialist is Frank bezig om dit mogelijk te maken voor vele bedrijven. Hierbij wordt m.b.v datawarehouse automation-software cruciale bedrijfsdata naar boven gehaald, omgezet in een dimensioneel model, zodat met overzichtelijke en betrouwbare rapportages jouw bedrijf gestuurd kan worden met meer winst als resultaat. Aan de basis liggen immers harde feiten in plaats van zomaar een gevoel!
Interesse in een quickstart voor datawarehouse automation?
Wilt u met uw bedrijf snel aan de slag met datawarehouse automation? Stuur dan een mail naar info@BI-Quest.com voor meer informatie! Wij staan u graag te woord.