Extract
Uit 1 of meerdere bronsystemen wordt data door middel van specifieke componenten geëxtraheerd en naar het data-integration-platform verplaatst. Dit is de data-ingestion-stap; de ruwe brondata wordt in een 'staging'-laag geplaatst.
Diensten · Data-integratie
Data-integratie
Data uit verschillende bronnen wordt via Talend ETL beschikbaar gemaakt in een apart datawarehouse voor reporting of een operationeel model.
Als freelance IT'er werk ik de laatste jaren samen met IntoData, een datafirma die zich in de grote Cronos Group situeert.
Daar ligt de focus op data-integratieprojecten, waarbij de ETL-tools van Talend ingezet worden om data op een gelaagde manier van de verschillende bronsystemen te integreren naar een operationeel datamodel of een datawarehouse-omgeving.
ETL
Extract – Transform – Load
De 3 basisstappen die in een data-integratieproject steevast worden toegepast.
Transform
De data kan op verschillende manieren worden getransformeerd: standaardisering van gemeente- en postcodecombinaties via referentiebestanden, telefoonnummerformattering, aanvullen van ontbrekende data, toepassen van business rules — bv. een customer segmentation op basis van orderdata.
Load
Uiteindelijk wordt alle data opnieuw opgeladen in een doelsysteem voor verder gebruik.
Referentiearchitectuur
Van staging tot access layer
In het data-integration-platform kan je meerdere lagen hebben, ook wel data-silo's genoemd:
Staging layer
Ruwe brondata als 1:1 copy, zonder transformatie, met source-specific key fields.
Foundation layer
Een geïntegreerd 3NF-datamodel met eigen surrogate keys en business keys als referentie; data geschoond, gematcht en gemergd, met standaardisatie en quality checks.
Access layer
Data in hapklare brokken in één of meerdere data-marts; meestal een sterschema met facts & dimensies, doorgaans al geaggregeerd voor vlotte rapportering.