Produktvorstellung: Data Science Deployment Plattform FastScore von der Open Data Group

Mit FastScore stellt das Unternehmen Open Data Group ein Deploymentwerkzeug bereit, das die Entwicklung, das Testen, die Produktivsetzung und Überwachung von Modellen zusammen bringt und es auf Basis von Microservices bereit stellt. Mit Modellen sind in diesem Kontext Analyse- und Auswertungsverfahren gemeint, die auf Datenströme Anwendung finden, um daraus einen informationsbezogenen  Mehrwert zu generieren. Dieser [...]

White Paper DevOps mit Jenkins für die ETL-Entwicklung im SAS-Umfeld

In Zeiten der Digitalisierung und der stetigen Änderung an IT-Anforderungen aller Unternehmen an das eigene Umfeld, ob es nun Kunden oder Regularien sind, ist es dringend notwendig, schnell und effizient die IT-Anwendungen anpassen zu können. Eine Vorgehensweise, um dieser Herausforderung zu begegnen, ist der DevOps-Ansatz. Dieser nutzt aus der agilen Softwareentwicklung entstandene Best-Practices wie Continuous [...]

Self-Joins mit Talend Enterprise Data Integration

Was ist Talend? Talend als Data Integration Tool Talend bietet mit Open Studio for Data Integration (Open-Source-Version) und Talend Enterprise Data Integration (Enterprise-Version) zwei Tools zur Datenintegration an. Die freie Variante eignet sich für kleine Projekte mit geringeren Ansprüchen an die Integrationslösung oder dem Wunsch eigenen Code zu entwickeln. Die Enterprise-Version bringt zusätzliche Komponenten und […]

Java verwenden in der Azure Data Factory

Microsofts Azure Data Factory (ADF) ist ein Datenintegrationsdienst, in dem man komplexe Arbeitsabläufe in Form von Pipelines erstellen und ausführen kann. Seit Ende Juni 2018 gibt es ADF V2, in der man Pipelines bequem in einer grafischen Oberfläche im Browser entwickeln kann - ähnlich wie mit SQL Server Integration Services. Dabei hat man für die [...]

Microsoft integriert Spark in SQL Server 2019

Mit der kürzlich erschienen SQL Server 2019 Preview bricht Microsoft mit der klassischen Versionierung nach Kalenderjahren um ihren One-Stop-Ansatz für die Verarbeitung und Analyse großer Datenmengen, die in verschiedenen SQL- und NonSQL-Datenhaltungssystemen gespeichert sind (Data Virtualization) per SQL zu ermöglichen. Die folgenden Aussagen beziehen sich auf nicht Azure SQL sondern auf die SQL Server on [...]

Ausführung von SSIS-Paketen in der Azure Cloud mit der Azure Data Factory

Bei der Ausführung bzw. Migration von SSIS-Paketen in die Azure Cloud gibt es gemäß Forrester vier verschiedene Möglichkeiten: Lift & Shift Lift & Extend Hybrid Extension Full Rebuild Lift & Shift bezeichnet hierbei eine mehr oder weniger direkte Migration mit lediglich geringen erforderlichen Anpassungen der bisherigen Infrastruktur zu einer Cloudumgebung. Bei Lift & Extend werden [...]

Das passende Tool für den Job: AZURE DATA FACTORY V2 vs. SQL Server INTEGRATION SERVICES

Da die Funktionen von Azure Data Factory V2 in den letzten Monaten allgemein verfügbar geworden sind, insbesondere die Azure-SSIS Integration Runtime, stellt sich in unserer Praxis immer wieder die Frage, welches Datenintegrationstool für ein bestimmtes Team und Projekt am besten geeignet ist. Sowohl Azure Data Factory V2 (ADF) als auch SQL Server Integration Services (SSIS) [...]

Vergleich von Sicherheitsanwendungen im Hadoop-Umfeld

Apache Ranger vs. Apache Sentry Management Summary Bei großen Hadoop-Umgebungen ist die Verwaltung von einzelnen Zugriffsrechten aufwändig. Sowohl Sentry als auch Ranger sind eine Lösung, um solche Rechte zentral zu administrieren. Beide Anwendungen haben eine unterschiedliche Vorgehensweise bei der Abbildung der zentral vergebenen Rechte in die einzelnen Programme. Hierbei zeigt sich, dass die Architektur von [...]

White Paper Dynamische Prozesse mit dem Informatica Developer

Dieses Whitepaper stellt das Informatica Developer Tool vor, das seit der Version 9 als Teil der Informatica ETL-Suite zur Verfügung steht. Der Fokus der Betrachtung liegt auf der Verwendung der dynamischen Eigenschaften und deren Einsatzgebieten. Um den wachsenden Bedürfnissen von Automatisierung und Generik gerecht zu werden, müssen klassische ETLWerkzeuge mehr und mehr dynamische Ansätze zur [...]

Anwendungsfälle Neo4J – Versicherungsbetrug

Teil II Nachdem die wesentlichen Unterschiede zwischen den klassischen RDBMS und den Graph-Datenmodellen in dem vorherigen Blog beleuchtet wurden, stellt sich die Frage nach dem Business Case-Nutzen. Wie kann Graph- Technologie in die bestehende Software- und Datenarchitektur eingefügt werden? Denkt man an Graphdatenbanken und insbesondere an Neo4J als einen seiner prominentesten Vertreter, so werden einem [...]