• Nieuwsbrief
  • Adverteren en contentmarketing
  • Contact
ITchannelPRO
  • Nieuws
  • Achtergrond
  • Evenementen
  • Vacatures
  • Magazines
    • Alle Magazines
  • e-Papers
  • Personalia
Geen resultaten
Bekijk alle resultaten
ITchannelPRO
  • Nieuws
  • Achtergrond
  • Evenementen
  • Vacatures
  • Magazines
    • Alle Magazines
  • e-Papers
  • Personalia
Geen resultaten
Bekijk alle resultaten
ITchannelPRO
Geen resultaten
Bekijk alle resultaten

Xelion Circulaire IT 2023Gamma copaco gamma-copaco-teams

Geautomatiseerde datawarehouse-software brengt voordelen

29-10-2020
Deel op LinkedinDeel op FacebookDeel via WhatsappDeel via mail

Datawarehouse automation is hot. Maar welk bedrijf genereert werkelijk 98% van zijn datawarehouse-code? In de huidige concurrerende markt zijn zakelijke flexibiliteit en time-to-market essentieel. Daarbij is datawarehouse-automatisering dé sleutel tot succes. Niet alleen als bron voor praktische bedrijfsrapportages maar ook als onmisbaar gereedschap voor uw BI data scientists. In dit achtergrondartikel leest u hoe uw bedrijf de gehele datawarehouse ETL- en DDL-code in de database van uw bedrijf kan genereren.

Wat is datawarehouse automation?

Datawarehouse automation (DA) is de volgende generatie automatiseringstechnologie voor datawarehouse-processen. DA biedt een efficiënt alternatief voor traditioneel datawarehouse-ontwerp en -bouw dat nog veelal handmatig gebeurt. Hoe? Door tijdrovende taken te verminderen zoals het genereren en implementeren van ETL-codes op een databaseserver. Met deze handige tool kunnen bedrijven BI-projecten binnen een paar dagen implementeren in vergelijking met vele maanden van traditionele datawarehouses. En dat tegen een fractie van de kosten!

Uitdagingen en behoefte aan datawarehouse automation

Datawarehouse-ontwikkeling kent vele uitdagingen. Bijvoorbeeld lange ontwikkelingscycli, slecht metadatabeheer en dure ontwikkeltools. Hierdoor loopt u telkens weer tegen een muur op van traditionele datawarehouse-implementaties. Aan het begin van dit millennium ontdekten bedrijven dat veel van hun IT-applicatiesystemen slecht waren geïntegreerd en dat ze deze gefragmenteerde gegevens niet konden samenvoegen. Dat was de reden dat veel datawarehouse-projecten begonnen met het bouwen van ETL voor het integreren van deze applicatiedata. Tegenwoordig zijn er DA-gereedschappen beschikbaar voor het snel genereren en implementeren van deze ETL-processen. Vaak al binnen enkele dagen zodat uw bedrijf zich kan concentreren op de datavisualisatie voor uw gebruikers.

Hoe werkt datawarehouse automation?

Om uw datawarehouse ETL- en DDL-code te genereren, zijn twee zaken nodig:

  1. Metadata

Bron metadata – Om data in uw datawarehouse te laden, moet u de metadata van uw bronnen kennen. De bronnen kunnen een online transactieverwerkingsdatabase zijn of bestanden (CSV, JSON of XML).

Bedrijfsrapportage metadata – Datavisualisatie kan het beste worden gerealiseerd op basis van dimensionele modellen in het datawarehouse. Voor specifieke leveringen aan uw data scientists is echter ook bedrijfsmetadata nodig. Deze metadata moet in uw businesstermen worden gespecificeerd, zodat uw gebruikers met selfservice BI aan de slag kunnen.

  1. Codetemplates

Voor het automatiseren van de ETL-code van uw datawarehouse heeft u codetemplates nodig, welke specifiek zijn voor uw datawarehouse-database en waarmee u specifieke datawarehouse-taken kunt implementeren. Voorbeelden van zulke codetemplate-taken zijn ‘data incrementeel bijwerken’, ‘data historisch bijwerken’ en ‘data gecontroleerd toevoegen’.

Op basis van deze metadata en codetemplates genereert u binnen enkele minuten de ETL-processen.

Voordelen van datawarehouse automation gereedschappen

Geautomatiseerde datawarehouse-software heeft de volgende voordelen:

  1. Verbeterde kwaliteit en precisie. Bedrijven kunnen de inconsistenties vermijden die in handmatige ETL worden gevonden. DA maakt het bovendien gemakkelijker om ongelijksoortige data te extraheren uit alle soorten databases en bestanden (CSV, JSON of XML). Het maakt het ook mogelijk om scd2 dimensies en feiten te modelleren voor uw datavisualisatie. Bedrijven hebben hierdoor meer controle over geavanceerde en nauwkeurigere rapportages en data-analyses.
  2. Sneller resultaat. Snellere implementatie van uw BI-datawarehouse geeft de mogelijkheid om adequaat in te spelen op steeds veranderende marktomstandigheden. Kortom, beslissingen kunnen sneller worden genomen en weerspiegelen marktveranderingen beter.
  3. Snellere doorlooptijd voor datawarehouse projecten met hogere ROI. Door geen code meer handmatig in te voeren, gaat het bouwen en implementeren van datawarehouses significant sneller. Met minimale kosten in het bouwproces als resultaat. Dit geeft BI-teams meer tijd voor het verwerken van deze informatie en geeft hen ruimte voor het nemen van strategische beslissingen. Bovendien zorgt deze werkwijze voor een hogere BI-projectwaarde.

Een datawarehouse automation gereedschap bouwen of kopen?

Als bedrijf kunt u kiezen om zelf een datawarehouse automation gereedschap te bouwen of er een te kopen.

Het bouwen van DA-gereedschap vereist ten eerste veel ervaring van hoe een datawarehouse precies werkt. Ten tweede moet dit worden uitgevoerd door uw beste BI ETL-consultant(s). Wanneer uw senior BI ETL-consultant hier fulltime aan werkt, moet u bovendien rekenen op een doorlooptijd van minimaal één jaar! Het kopen van een DA- raamwerk is een eenmalige investering, maar geeft de mogelijkheid om direct aan de slag te gaan met DA gereedschap dat bewezen technologie is.

Wat wordt er geleverd als u een datawarehouse automation raamwerk koopt?

Het DA raamwerk dat door BI-Quest kan worden geleverd, bevat de volgende componenten:

  • Python-gebaseerde generatoren voor alle gebieden van uw datawarehouse
  • Implementatie in uw datawarehouse-database (Snowflake, SQLServer, PostgreSQL of Oracle)
  • Een datawarehouse-architectuur die geparametriseerd is, zodat deze past binnen de BI-architectuur van uw bedrijf
  • Volledige documentatie (Word) van de generatoren en de hulpprogramma’s
  • Een kookboek dat precies de stappen beschrijft om het datawarehouse automation raamwerk te gebruiken
  • Een videokanaal met filmpjes over het gebruik van elke stap van het datawarehouse automation raamwerk
  • Ondersteuning van BI-Quest voor hulp bij implementatie van dit datawarehouse automation raamwerk
  • Een volledig aanpasbaar raamwerk
  • De naam van het raamwerk is specifiek voor uw bedrijf

Wat bevat dit datawarehouse automation raamwerk?

  • Een metadata-model voor het toevoegen van nieuwe bronnen aan uw datawarehouse
  • Een metadata-model voor het genereren van een dimensioneel model voor bedrijfsrapportage
  • Een metadata-model voor het genereren van data voor uw data scientists
  • Metadata-hulpmiddelen om de structuur uit databases en bestanden (CSV, JSON en XML) te lezen en aan uw metadata-model toe te voegen
  • Codetemplates voor uw datawarehouse-database in Snowflake, Oracle, SQLServer en PostgreSQL
  • Aanpasbare codetemplates
  • Flexibele implementatie van uw datawarehouse-architectuur
  • Genereert datawarehouse datahistorie op kolomniveau
  • Genereert logische dataverwijderingen in uw datawarehouse
  • Genereert bedrijfsspecifieke transformaties in de bedrijfsspecifieke onderdelen van uw datawarehouse
  • Genereert dimensies (scd1 en scd2) en feiten die gemakkelijk kunnen worden aangepast
  • Genereert leverbare bestanden in CSV-, JSON- en XML-formaat.

Wie is Frank Kuijpers?

Sinds de jaren 90 werkt Frank gepassioneerd in de Business Intelligence & datawarehousing wereld. Hij heeft van vele BI projecten de datawarehouse backend ontworpen en gebouwd in Oracle. De laatste 5 jaar ook in andere databases (Snowflake, PostgresSQL en SQLServer).

Automatisering van het vele, vaak repeterende werk, in de datawarehouse backend (DDL en ETL) heeft hem altijd geïntrigeerd. Als datawarehouse automation specialist is Frank bezig om dit mogelijk te maken voor vele bedrijven. Hierbij wordt m.b.v datawarehouse automation-software cruciale bedrijfsdata naar boven gehaald, omgezet in een dimensioneel model, zodat met overzichtelijke en betrouwbare rapportages jouw bedrijf gestuurd kan worden met meer winst als resultaat. Aan de basis liggen immers harde feiten in plaats van zomaar een gevoel!

Interesse in een quickstart voor datawarehouse automation?

Wilt u met uw bedrijf snel aan de slag met datawarehouse automation? Stuur dan een mail naar [email protected] voor meer informatie! Wij staan u graag te woord.

 

Tags: Datawarehouse

GerelateerdeBerichten

Geen content beschikbaar
Volgend bericht

Samsung: recordomzet en 6 procent stijging smartphoneomzet

Uitgelichte Vacatures

Account Manager Carriers & Connectivity

door Rashid Niamat
22-02-2023
0

Vacature voor een Projectleider ICT

door Rashid Niamat
22-02-2023
0

Vacature voor een Technisch Consultant (M365/Azure)

door Rashid Niamat
22-02-2023
0

Bekijk alle vacatures

Aankomende events

De ACTNOW Impact Tech Summit

23-05-2023 - 17:00

whitesky.cloud het Cloud throughout event

28-03-2023 - 14:00

IBC2023

15-09-2023 @ 09:00 , more

Herontdek de IT-wereld tijdens de Gaia Data Experience

05-04-2023 - 17:00

Gamma Communications Teams Event 2023

17-04-2023 - 17:00
Bekijk alle evenementen
Bekijk alle evenementen
ITchannelPRO

ITchannelPRO is hét kennisplatform voor de circa 10.000 Telecom en IT-business partners en geldt als de primaire informatiebron in het IT-kanaal in Nederland.

Overige publicaties
Circulaire IT
DatacenterWorks
InfosecurityMagazine
CloudWorks
Business & IT

Over ITchannelPRO

  • Over ITchannelPRO
  • Tip de redactie
  • Adverteren en contentmarketing
  • Nieuwsbrief
  • Abonneren
  • Adreswijziging doorgeven
  • Contact

Contact

Varenmeent 5
1218 AN Hilversum

035 204 1000
[email protected]

ITchannelPRO is onderdeel van LuteijnMedia BV

  • Privacybeleid
  • Algemene voorwaarden
  • Disclaimer
  • Colofon

© 2022 ITchannelPRO - webdesign marketing bureau Yeps.nl.

Geen resultaten
Bekijk alle resultaten
  • Home
  • Nieuws
    • Algemeen nieuws
    • Cloud
    • Datacenters
    • Distributeurs
    • Security
    • Telecom
  • Achtergrond
  • Evenementen
  • Vacatures
  • Magazines
    • ITchannelPRO
    • Datacenter works
    • Cloudworks
    • InfoSecurity
  • Digitaal Dossier
  • Personalia
  • Nieuwsbrief
  • Adverteren en contentmarketing
  • Inloggen
  • Aanmelden
  • Contact

© 2022 ITchannelPRO - webdesign marketing bureau Yeps.nl.

Altijd op de hoogte blijven?

Wil je niks missen? We houden je dagelijks op de hoogte van het laatste nieuws! Je kunt je aanmelden voor onze nieuwsbrieven door het formulier in te vullen.

Wil je de nieuwsbrief uiteindelijk toch niet meer ontvangen? Geen probleem! Je kunt je op elk moment weer afmelden.

Inschrijven

Hallo lezer, onze website maakt gebruik van cookies. Waarom we dat doen? Deze cookies zijn nodig om de site zo goed mogelijk te laten functioneren én zodat we je kunnen voorzien van informatie en advertenties die bij jouw interesses passen. Door verder te klikken op onze website, accepteer je de cookies en vergelijkbare technieken.

Privacyoverzicht

Bepaal welke cookies u wilt toestaan.
U kunt deze instellingen op elk gewenst moment wijzigen. Dit kan er echter toe leiden dat sommige functies niet langer beschikbaar zijn. Raadpleeg de helpfunctie van uw browser voor informatie over het verwijderen van cookies.

MEER INFORMATIE OVER DE COOKIES DIE WE GEBRUIKEN.

Met de schuifregelaar kunt u verschillende soorten cookies in- of uitschakelen:

Cookies instellen
Technisch noodzakelijke of functionele cookies: deze cookies houden anoniem statistieken bij en zijn vereist voor het optimaal functioneren van onze website. Zonder deze cookies kan de werking van de website niet worden gegarandeerd, om deze reden kun je deze cookies ook niet weigeren. Je kunt de cookies eventueel wel verwijderen in je browserinstellingen.

Analytische cookies: deze cookies verzamelen informatie over jouw gedrag op onze website, maar gebruiken we bijvoorbeeld ook om bezoekersstatistieken bij te houden. Deze informatie helpt ons om onze websitebezoekers beter te begrijpen, waardoor we de website continue kunnen optimaliseren.

Tracking cookies: deze worden gebruikt voor het verzamelen van surfinformatie. Bijvoorbeeld door mogelijke interesse tijdens het gebruik van de website te volgen. Door middel van tracking cookies kunnen netwerken informatie verzamelen welke advertenties al zijn bezocht en naar welke specifiek is verder gekeken.

Third-party cookie/advertentie cookie: advertentiecookies brengen je surfgedrag in kaart voor advertentienetwerken. Door middel van deze cookies kunnen deze netwerken je advertenties aanbieden die aansluiten bij jouw interesses. Ook voorkomen deze cookies dat dezelfde advertentie niet meerdere mailen aan dezelfde gebruiker wordt getoond. [LinkedIn cookies, Facebook cookies, Salesfeed cookies, Hotjar]

Strikt noodzakelijke cookies

Strikt noodzakelijke cookies kunnen niet worden uitgeschakeld. Deze cookies slaan geen persoonsgegevens op. Deze cookies zorgen er bijvoorbeeld voor dat de inhoud van de website snel geladen wordt en dat wij jou essentiële beveiligingsmaatregelen kunnen bieden.

Deze cookies kan je niet uitschakelen.

Analytische cookies

Deze site gebruikt Google Analytics om anonieme informatie zoals bezoekersaantallen en meest populaire pagina's te verzamelen.

Door deze cookie aan te laten staan help je onze site te verbeteren.

Schakel eerst strikt noodzakelijke cookies in om je voorkeuren op te slaan!

Privacyvbeleid

Meer informatie over ons Cookiebeleid