Performance-Metriken des überwachten Lernens für Klassifikationsprobleme

Die Daten wurden aufbereitet, neue Features abgeleitet und verschieden Machine-Learning-Modelle trainiert. Doch wie bewertet man die Performance dieser Modelle? Wie entscheidet man sich z.B. zwischen einem neuronalen Netz, Random Forest oder Gradient Boosting Classifier? Hierfür verwendet man im Machine-Learning-Bereich sogenannte Performance-Metriken. Diese werden auf einem Testdatensatz (Hold-Out Set) evaluiert, welches nicht zum Training des Modells [...]

Microsoft integriert Spark in SQL Server 2019

Mit der kürzlich erschienen SQL Server 2019 Preview bricht Microsoft mit der klassischen Versionierung nach Kalenderjahren um ihren One-Stop-Ansatz für die Verarbeitung und Analyse großer Datenmengen, die in verschiedenen SQL- und NonSQL-Datenhaltungssystemen gespeichert sind (Data Virtualization) per SQL zu ermöglichen. Die folgenden Aussagen beziehen sich auf nicht Azure SQL sondern auf die SQL Server on [...]

Ausführung von SSIS-Paketen in der Azure Cloud mit der Azure Data Factory

Bei der Ausführung bzw. Migration von SSIS-Paketen in die Azure Cloud gibt es gemäß Forrester vier verschiedene Möglichkeiten: Lift & Shift Lift & Extend Hybrid Extension Full Rebuild Lift & Shift bezeichnet hierbei eine mehr oder weniger direkte Migration mit lediglich geringen erforderlichen Anpassungen der bisherigen Infrastruktur zu einer Cloudumgebung. Bei Lift & Extend werden [...]

Das passende Tool für den Job: AZURE DATA FACTORY V2 vs. SQL Server INTEGRATION SERVICES

Da die Funktionen von Azure Data Factory V2 in den letzten Monaten allgemein verfügbar geworden sind, insbesondere die Azure-SSIS Integration Runtime, stellt sich in unserer Praxis immer wieder die Frage, welches Datenintegrationstool für ein bestimmtes Team und Projekt am besten geeignet ist. Sowohl Azure Data Factory V2 (ADF) als auch SQL Server Integration Services (SSIS) [...]
Bibliothek

Überblick über Text-Mining und Informationsextraktion

Texte, ob geschrieben oder gesprochen, sind im Vergleich zu den üblichen Datenstrukturen, welche bei der Datenverarbeitung Verwendung finden, sehr unstrukturiert, enthalten aber meist doch eine Menge Information. Gerade bei längeren und umfangreicheren Texten möchte man die Informationen automatisiert extrahieren. Aber auch bei vielen kleinen Texten ist eine automatisierte Informationsextraktion sinnvoll, so können z.B. Unterlagen für [...]
neuronales Netz

Imbalanced Learning

1. Einführung Was haben Datensätze in Bereichen wie Betrugserkennung im Banking, Echtzeitgebote im Marketing oder Intrusion Detection in Netzwerken gemeinsam? Daten, die in diesen Bereichen verwendet werden, weisen oft weniger als 1% seltener, aber "interessanter" Ereignisse auf (z. B. Betrüger, die Kreditkarten verwenden, Nutzer klicken auf Werbung oder beschädigte Server scannen ihr Netzwerk). Die meisten [...]
Darwinfinke

Einführung in Decision Trees

I. Einführung Die Klassifikation beschreibt das Zuordnen von Objekten oder Daten in vordefinierte Kategorien. Die Anwendungen reichen dabei von der Erkennen von Spam E-Mails, Kategorisieren von Spezies bis hin zur Astronomie und der Detektion von Neutrinos. Ein decision tree (zu Deutsch Entscheidungsbaum) ist eines von mehreren Beispielen für einen automatischen Klassifizierer, der sich unter anderem [...]

Vergleich von Sicherheitsanwendungen im Hadoop-Umfeld

Apache Ranger vs. Apache Sentry Management Summary Bei großen Hadoop-Umgebungen ist die Verwaltung von einzelnen Zugriffsrechten aufwändig. Sowohl Sentry als auch Ranger sind eine Lösung, um solche Rechte zentral zu administrieren. Beide Anwendungen haben eine unterschiedliche Vorgehensweise bei der Abbildung der zentral vergebenen Rechte in die einzelnen Programme. Hierbei zeigt sich, dass die Architektur von [...]

White Paper Dynamische Prozesse mit dem Informatica Developer

Dieses Whitepaper stellt das Informatica Developer Tool vor, das seit der Version 9 als Teil der Informatica ETL-Suite zur Verfügung steht. Der Fokus der Betrachtung liegt auf der Verwendung der dynamischen Eigenschaften und deren Einsatzgebieten. Um den wachsenden Bedürfnissen von Automatisierung und Generik gerecht zu werden, müssen klassische ETLWerkzeuge mehr und mehr dynamische Ansätze zur [...]