White Paper DevOps mit Jenkins für die ETL-Entwicklung im SAS-Umfeld

In Zeiten der Digitalisierung und der stetigen Änderung an IT-Anforderungen aller Unternehmen an das eigene Umfeld, ob es nun Kunden oder Regularien sind, ist es dringend notwendig, schnell und effizient die IT-Anwendungen anpassen zu können. Eine Vorgehensweise, um dieser Herausforderung zu begegnen, ist der DevOps-Ansatz. Dieser nutzt aus der agilen Softwareentwicklung entstandene Best-Practices wie Continuous [...]

Self-Joins mit Talend Enterprise Data Integration

Was ist Talend? Talend als Data Integration Tool Talend bietet mit Open Studio for Data Integration (Open-Source-Version) und Talend Enterprise Data Integration (Enterprise-Version) zwei Tools zur Datenintegration an. Die freie Variante eignet sich für kleine Projekte mit geringeren Ansprüchen an die Integrationslösung oder dem Wunsch eigenen Code zu entwickeln. Die Enterprise-Version bringt zusätzliche Komponenten und […]

Java verwenden in der Azure Data Factory

Microsofts Azure Data Factory (ADF) ist ein Datenintegrationsdienst, in dem man komplexe Arbeitsabläufe in Form von Pipelines erstellen und ausführen kann. Seit Ende Juni 2018 gibt es ADF V2, in der man Pipelines bequem in einer grafischen Oberfläche im Browser entwickeln kann - ähnlich wie mit SQL Server Integration Services. Dabei hat man für die [...]

Ausführung von SSIS-Paketen in der Azure Cloud mit der Azure Data Factory

Bei der Ausführung bzw. Migration von SSIS-Paketen in die Azure Cloud gibt es gemäß Forrester vier verschiedene Möglichkeiten: Lift & Shift Lift & Extend Hybrid Extension Full Rebuild Lift & Shift bezeichnet hierbei eine mehr oder weniger direkte Migration mit lediglich geringen erforderlichen Anpassungen der bisherigen Infrastruktur zu einer Cloudumgebung. Bei Lift & Extend werden [...]

White Paper Dynamische Prozesse mit dem Informatica Developer

Dieses Whitepaper stellt das Informatica Developer Tool vor, das seit der Version 9 als Teil der Informatica ETL-Suite zur Verfügung steht. Der Fokus der Betrachtung liegt auf der Verwendung der dynamischen Eigenschaften und deren Einsatzgebieten. Um den wachsenden Bedürfnissen von Automatisierung und Generik gerecht zu werden, müssen klassische ETLWerkzeuge mehr und mehr dynamische Ansätze zur [...]

Vergleich von Hadoop Distributionen – Cloudera vs. Hortonworks

Das Hadoop Framework ermöglicht die verteilte Verwaltung und Berechnung großer Datenmengen mithilfe von Clustern, indem die auszuführenden Transformationen auf die Server verteilt und dort parallel ausgeführt werden. Hadoop und das dazugehörige Ökosystem sind durch die Vielzahl an verknüpften Tools sehr komplex und erfordern deshalb die Entwicklung und Wartung durch Spezialisten. Aus dieser Marktlücke sind einige [...]