Was ist Talend? Talend als Data Integration Tool Talend bietet mit Open Studio for Data Integration (Open-Source-Version) und Talend Enterprise Data Integration (Enterprise-Version) zwei Tools zur Datenintegration an. Die freie Variante eignet sich für kleine Projekte mit geringeren Ansprüchen an die Integrationslösung oder dem Wunsch eigenen Code zu entwickeln. Die Enterprise-Version bringt zusätzliche Komponenten und […]
White Paper DevOps im DWH – am Beispiel von Informatica-Produkten
Die Qualität und Geschwindigkeit heutiger IT-Entwicklungsprojekte sind wesentliche Entscheidungsfaktoren für die Wettbewerbsfähigkeiten einzelner Unternehmen. Gerade durch die größere Menge an verfügbaren Daten und der stetig wachsenden Menge an heterogenen Datenquellen trifft dies insbesondere auch für Datenintegrationsprojekte zu. Eine Vorgehensweise um dieser Herausforderung zu begegnen ist der DevOps-Ansatz. Dieser nutzt aus der agilen Softwareentwicklung entstandene Best-Practices [...]
Visualisierung einer Metadatenlandkarte mit dem saracus Visual Metadata Layer (SVML)
Das ansteigende Datenvolumen und die Komplexität der zu verarbeiteten Datenstrukturen in großen Unternehmen erfordert nicht nur häufig den Einsatz neuer Tools aus dem Big Data Bereich, sondern auch ein Umdenken im Datenmanagement (Data Governance). Dies umfasst beispielsweise die Sicherung der Konsistenz der Daten, die Erhaltung der Datenqualität, Pflege der Stammdaten und die Einhaltung gesetzlicher Vorgaben und [...]
Java verwenden in der Azure Data Factory
Microsofts Azure Data Factory (ADF) ist ein Datenintegrationsdienst, in dem man komplexe Arbeitsabläufe in Form von Pipelines erstellen und ausführen kann. Seit Ende Juni 2018 gibt es ADF V2, in der man Pipelines bequem in einer grafischen Oberfläche im Browser entwickeln kann - ähnlich wie mit SQL Server Integration Services. Dabei hat man für die [...]
Microsoft integriert Spark in SQL Server 2019
Mit der kürzlich erschienen SQL Server 2019 Preview bricht Microsoft mit der klassischen Versionierung nach Kalenderjahren um ihren One-Stop-Ansatz für die Verarbeitung und Analyse großer Datenmengen, die in verschiedenen SQL- und NonSQL-Datenhaltungssystemen gespeichert sind (Data Virtualization) per SQL zu ermöglichen. Die folgenden Aussagen beziehen sich auf nicht Azure SQL sondern auf die SQL Server on [...]
Ausführung von SSIS-Paketen in der Azure Cloud mit der Azure Data Factory
Bei der Ausführung bzw. Migration von SSIS-Paketen in die Azure Cloud gibt es gemäß Forrester vier verschiedene Möglichkeiten: Lift & Shift Lift & Extend Hybrid Extension Full Rebuild Lift & Shift bezeichnet hierbei eine mehr oder weniger direkte Migration mit lediglich geringen erforderlichen Anpassungen der bisherigen Infrastruktur zu einer Cloudumgebung. Bei Lift & Extend werden [...]
Das passende Tool für den Job: AZURE DATA FACTORY V2 vs. SQL Server INTEGRATION SERVICES
Da die Funktionen von Azure Data Factory V2 in den letzten Monaten allgemein verfügbar geworden sind, insbesondere die Azure-SSIS Integration Runtime, stellt sich in unserer Praxis immer wieder die Frage, welches Datenintegrationstool für ein bestimmtes Team und Projekt am besten geeignet ist. Sowohl Azure Data Factory V2 (ADF) als auch SQL Server Integration Services (SSIS) [...]
Metadata to the Rescue! GDPR Compliance und Datenmanagement – Teil 1
Europa hat einen neuen Datenschutz. Mit der General Data Protection Regulation (GDPR) wird seit dem 25. Mai 2018 der Umgang mit personenbezogenen Daten geregelt. Das bedeutet für die europäische Wirtschaft Handlungsbedarf. Viele IT-Landschaften sind immer noch nicht für das digitale Zeitalter gerüstet. Dabei steigen mit der GDPR die Anforderungen, dass Unternehmen ihre Datenverarbeitung aktiv steuern. [...]
White Paper Dynamische Prozesse mit dem Informatica Developer
Dieses Whitepaper stellt das Informatica Developer Tool vor, das seit der Version 9 als Teil der Informatica ETL-Suite zur Verfügung steht. Der Fokus der Betrachtung liegt auf der Verwendung der dynamischen Eigenschaften und deren Einsatzgebieten. Um den wachsenden Bedürfnissen von Automatisierung und Generik gerecht zu werden, müssen klassische ETLWerkzeuge mehr und mehr dynamische Ansätze zur [...]
Generische Verarbeitung komplexer XML-Strukturen
Die generische Verarbeitung komplexer XML-Strukturen in einer relationalen Datenbank oder einem Data Lake (auf Hadoop-Basis) ist eine anspruchsvolle Herausforderung für Software-Entwickler. saracus consulting hat seine Data Warehouse Automatisierungs-Software DWautomatic um diese Funktionalität erweitert. An folgendendem Beispiel soll die Funktionalität und Arbeitsweise dargestellt werden. In der Logistikbranche ist das Tracking von Transportsendungen unverzichtbar für das Erreichen [...]