DWH Automation mit DWautomatic
Die Entwicklung und die Wartung von ETL-Programmen stellt den größten Aufwandstreiber von DWH-Projekten dar. Aus diesem Grunde haben sich viele Unternehmen für den Einsatz eines ETL-Tools wie Ab Initio, IBM InfoSphere DataStage oder Informatica PowerCenter entschieden. Die Stärke derartiger Werkzeuge liegt darin, komplexe Business-Logik in Transformationsprogrammen (häufig eine Kernaufgabe in Data-Warehouse-Projekten) abzubilden.
Neben diesen Aufgaben finden wir vermehrt in Datenintegrations-Projekten allerdings die Anforderung, neue Quellsysteme in das DWH einzubinden, bei denen die Datenstrukturen im DWH den Strukturen des Quellsystems ähnlich sind, aber eine Delta-Erkennung, Versionierung / Historisierung und einfache Transformationen vorgenommen werden sollen; zusätzlich ist oft eine automatische Erkennung von Strukturänderungen und deren Propagation gefordert. Die wachsende Bedeutung dieser gewünschten Funktionalitäten geht mit der zunehmenden Verbreitung des Data-Vault-Ansatzes einher. Für diese Aufgabenstellungen sind ein Teil der ETL-Tools häufig nicht in besonderem Maße geeignet.
Deshalb hat die saracus consulting mit DWautomatic eine Java-basierte Software mit den folgenden Eigenschaften entwickelt:
- Metadaten-getriebene Umsetzung von Transformations- und Load-Funktionen
- Automatische Identifikation von Strukturänderungen / -erweiterungen
- Identifikation von neuen Dateninhalten mittels CDC und eigener Kontrolle
- Generische Umsetzung der Strukturänderungen / -erweiterungen
- Automatisierte Historisierung / Versionierung von Daten
- Schaffung eines auditable Data Warehouse
- Angepasst auf den Data-Vault-Modellierungsansatz
- Optimiert für verschiedene RDBMS, für performante Parallelverarbeitung
- Ein spezielles ETL-Tool ist für den Einsatz dieser Software nicht erforderlich