Self-Joins mit Talend Enterprise Data Integration

Was ist Talend? Talend als Data Integration Tool Talend bietet mit Open Studio for Data Integration (Open-Source-Version) und Talend Enterprise Data Integration (Enterprise-Version) zwei Tools zur Datenintegration an. Die freie Variante eignet sich für kleine Projekte mit geringeren Ansprüchen an die Integrationslösung oder dem Wunsch eigenen Code zu entwickeln. Die Enterprise-Version bringt zusätzliche Komponenten und […]

White Paper DevOps im DWH – am Beispiel von Informatica-Produkten

Die Qualität und Geschwindigkeit heutiger IT-Entwicklungsprojekte sind wesentliche Entscheidungsfaktoren für die Wettbewerbsfähigkeiten einzelner Unternehmen. Gerade durch die größere Menge an verfügbaren Daten und der stetig wachsenden Menge an heterogenen Datenquellen trifft dies insbesondere auch für Datenintegrationsprojekte zu. Eine Vorgehensweise um dieser Herausforderung zu begegnen ist der DevOps-Ansatz. Dieser nutzt aus der agilen Softwareentwicklung entstandene Best-Practices [...]

Java verwenden in der Azure Data Factory

Microsofts Azure Data Factory (ADF) ist ein Datenintegrationsdienst, in dem man komplexe Arbeitsabläufe in Form von Pipelines erstellen und ausführen kann. Seit Ende Juni 2018 gibt es ADF V2, in der man Pipelines bequem in einer grafischen Oberfläche im Browser entwickeln kann - ähnlich wie mit SQL Server Integration Services. Dabei hat man für die [...]

Microsoft integriert Spark in SQL Server 2019

Mit der kürzlich erschienen SQL Server 2019 Preview bricht Microsoft mit der klassischen Versionierung nach Kalenderjahren um ihren One-Stop-Ansatz für die Verarbeitung und Analyse großer Datenmengen, die in verschiedenen SQL- und NonSQL-Datenhaltungssystemen gespeichert sind (Data Virtualization) per SQL zu ermöglichen. Die folgenden Aussagen beziehen sich auf nicht Azure SQL sondern auf die SQL Server on [...]

Ausführung von SSIS-Paketen in der Azure Cloud mit der Azure Data Factory

Bei der Ausführung bzw. Migration von SSIS-Paketen in die Azure Cloud gibt es gemäß Forrester vier verschiedene Möglichkeiten: Lift & Shift Lift & Extend Hybrid Extension Full Rebuild Lift & Shift bezeichnet hierbei eine mehr oder weniger direkte Migration mit lediglich geringen erforderlichen Anpassungen der bisherigen Infrastruktur zu einer Cloudumgebung. Bei Lift & Extend werden [...]

Das passende Tool für den Job: AZURE DATA FACTORY V2 vs. SQL Server INTEGRATION SERVICES

Da die Funktionen von Azure Data Factory V2 in den letzten Monaten allgemein verfügbar geworden sind, insbesondere die Azure-SSIS Integration Runtime, stellt sich in unserer Praxis immer wieder die Frage, welches Datenintegrationstool für ein bestimmtes Team und Projekt am besten geeignet ist. Sowohl Azure Data Factory V2 (ADF) als auch SQL Server Integration Services (SSIS) [...]

White Paper Dynamische Prozesse mit dem Informatica Developer

Dieses Whitepaper stellt das Informatica Developer Tool vor, das seit der Version 9 als Teil der Informatica ETL-Suite zur Verfügung steht. Der Fokus der Betrachtung liegt auf der Verwendung der dynamischen Eigenschaften und deren Einsatzgebieten. Um den wachsenden Bedürfnissen von Automatisierung und Generik gerecht zu werden, müssen klassische ETLWerkzeuge mehr und mehr dynamische Ansätze zur [...]

Generische Verarbeitung komplexer XML-Strukturen

Die generische Verarbeitung komplexer XML-Strukturen in einer relationalen Datenbank oder einem Data Lake (auf Hadoop-Basis) ist eine anspruchsvolle Herausforderung für Software-Entwickler. saracus consulting hat seine Data Warehouse Automatisierungs-Software DWautomatic um diese Funktionalität erweitert. An folgendendem Beispiel soll die Funktionalität und Arbeitsweise dargestellt werden. In der Logistikbranche ist das Tracking von Transportsendungen unverzichtbar für das Erreichen [...]