Der Data & Analytics Blog von saracus consulting

Einleitung Reine Informationen sind heutzutage für Kunden genauso verfügbar wie für ein Unternehmen. Die Herausforderung für die Unternehmen ist also, die Kundeninformationen zu strukturieren und zielgerichtet einzusetzen. Ein Kunde möchte nicht erfahren, welche Produkte ein Unternehmen anbietet, dazu gibt es schließlich das Internet. Er erwartet, dass seine Bank, Versicherung oder Werkstatt weiß, wann es sinnvoll...

Der Lagerung großer Mengen unstrukturierter Daten beispielsweise im Azure Blob Storage, der aufgrund seiner hohen Skalierbarkeit und kosteneffizienten Speicherungsmöglichkeit eine beliebte Möglichkeit in der Azure Cloud Umgebung bietet, folgt häufig die Beladung des Azure Data Warehouses, jetzt Azure Synapse Analytics. Eine komfortable Möglichkeit bietet hier die Verwendung der Azure Data Factory. Die Azure Data Factory...

Im letzten Beitrag der Serie wurden zunächst die ASHRAE Kaggle Competition vorgestellt und die dort verfügbaren Daten visualisiert. Dabei wurden die Daten aus verschiedenen Blickwinkeln beleuchtet, um ein Gefühl für die Daten zu bekommen. Man konnte sehen, wie in der Realität eigentlich immer üblich, dass der Datensatz einige Makel hat.  Im folgenden Beitrag wollen wir uns nun mit dem Schritt des Data Cleansings beschäftigen und...

Für den heißen Monat August liefert Amazon dem aufmerksamen Leser einige erfrischende Neuigkeiten bezüglich Infrastruktur Verbesserungen, Service Erweiterungen und einer spannenden Launch Ankündigung. Dieser Blogbeitrag stellt einen Ausschnitt aus den AWS Ankündigungen des vorangegangenen Monats August dar, erhebt aber nicht den Anspruch auf Vollständigkeit. Das Hauptaugenmerk dieser Liste liegt auf Veränderungen, bei denen wir von...

In recent years, Data Warehousing has seen tremendous changes with the widely adopted move toward cloud solutions. But even among the cloud solutions at offer as we speak, innovation is driving new architectures with new, unique characteristics. Snowflake has been particularly successful at drawing customers’ attention; part of its success can surely be attributed to...

Auch in diesem Monat erfreut Amazon die Nutzer seiner Cloud wieder mit zahlreichen Neuerungen und Verbesserungen bestehender Services. Dieser Blogbeitrag stellt einen kurierten Ausschnitt aus den AWS Ankündigungen des Monats Juli dar, erhebt aber nicht den Anspruch auf Vollständigkeit. Das Hauptaugenmerk dieser Liste liegt auf Veränderungen bei denen wir von direktem Einfluss auf Kunden im...

Wie kann sich ein Unternehmen auf die zukünftigen Herausforderung von exponentiell wachsenden Datenmengen und Verarbeitungsprozessen, so wie aufwändigen Analyseverfahren vorbereiten? In welchen Fällen macht ein Cloud Data Warehouse Sinn und welche Aspekte gilt es bei der Wahl des optimalen Anbieters zu beachten? Erste Antworten auf diese Fragen liefert das Seminar Einführung in Cloud Data Warehousing:...

As a modern, cloud-centred data warehouse, Snowflake delivers an integrated, extensible platform with parallel data processing, effortless scaling and full SQL support. More and more businesses are deploying or migrating their databases to the cloud, enabling a long-term strategy to maximize their data assets. The actual process of migrating to the cloud can be challenging....

Der Umfang von generierten Daten steigt ständig durch die zunehmende Digitalisierung nahezu aller Lebensbereiche – von Industrie 4.0 über den öffentlichen Sektor bis hin zu SmartHome. Dabei verbergen sich in den Daten enorme Informationsmengen, welche zur Erfüllung vielerlei Ziele genutzt werden können, etwa zur Effizienzsteigerung in der Wirtschaft, beispielsweise in Form von kundenorientierten Kaufempfehlungen von...

The fourth industrial revolution – that is incorporating the use of smart technologies in industrial practices – is what drives many companies to reinvent their IT solutions during the past decade. Data obtained from many different sources, such as mobile devices, Internet of Things (IoT) applications, smart sensors or customer profiling solutions require flexible data...

Im Monat Juni steht bei AWS nach wie vor alles im Lichte der anhaltenden Digitalisierung der Arbeitswelt. Nach dem erfolgreichen Auftakt im Mai fand am 17. Juni die AWS Summit Online EMEA (Europa, Middle East & Africa) statt. Die Kernthemen der Konferenz stehen im Einklang mit dem Trend, der sich aus den Neuankündigungen des vergangenen...

Nach dem Auftakt für US & Canada im Vormonat fand nun am 17.06.2020 auch die AWS Summit Online für den Großraum Europa, den mittleren Osten und Afrika statt. Aufgrund der aktuellen Reisebeschränkungen griff Amazon dabei das während der regelmäßig stattfindenden AWSome Day etablierte Konzept der Online Konferenzen auf, allerdings in größeren Maßstäben. Das daraus resultierende...

Vielen ist die klassische Definition von Wahrscheinlichkeiten bekannt. Ein Ereignis trete zufällig auf, dann ist die Wahrscheinlichkeit des Auftretens eines Zustandes A definiert als der Quotient aus den für das Ereignis günstigen (g) und der Zahl aller möglichen Fälle (m). Einhergehend mit der Definition einer Wahrscheinlichkeit ist der Ansatz der frequentistischen Statistik. Im Rahmen von...

Say Hello to the Data Cloud   Am letzten Dienstag, den 02.06.2020, hat Snowflake die neue Data Cloud präsentiert und während eines Online-Auftrittes vorgestellt. Während dieser Präsentation wurden neue Features angekündigt, welche in den nächsten Wochen und Monaten veröffentlicht werden sollen.   Vom leichten Schneesturm zum Blizzard Snowflake hat in den letzten Jahren ein unglaubliches...

Elasticsearch ist eine Suchmaschine und Analytics Engine, mit der es möglich ist, die gewaltigen Mengen an Logdaten in heutigen Serverumgebungen auszuwerten und darzustellen. Thema dieses Beitrags ist der Vergleich der verschiedenen Arten der Bereitstellung von Elasticsearch in der AWS Cloud. Dazu gibt es im Wesentlichen drei Möglichkeiten, die im Folgenden kurz vorgestellt werden. Amazon Elasticsearch...

Auch bei AWS zeichnet sich in diesem Monat bereits ein zukünftiger Trend ab der uns aufgrund der weltweiten aktuellen Situation noch einige Zeit begleiten wird: Virtuelle Online Konferenzen. Am 13. Mai fand der erste AWS Summit Online (US & Canada) statt, das EMEA (Europe, Middle East & Africa) Pendant der Konferenz wird am 17. Juni...

„Data in the 21st century is like oil in the 18th century “- and Snowflake makes it possible to get the maximum out of this resource. Snowflake is Big Data without its complexity. Data warehouse migration aims to satisfy the need of data. Snowflake is a great solution to achieve precisely that due to its...

Introduction Snowflake offers an elegant data warehouse (DWH) solution developed specifically for the cloud. Customers do not need to install or maintain software or hardware, because Snowflake DWH operates as Software-as-a-Service (SaaS) on the main cloud platforms (Amazon Web Services, Google Cloud Storage and Microsoft Azure). Snowflake’s architecture is marked by data storage being independent...

Performante Dublettenentfernung mit Informatica PowerCenter     Die Vermeidung von Schlüsselverletzungen und Dubletten ist bei der Bewirtschaftung konsolidierter Data Warehouses alltägliche Grundanforderung. Es existiert eine ganze Reihe von Software-Tools, wie beispielsweise DWautomatic oder IBM Change Data Capture, die diese Filterungen unterstützen. Im Fall der alleinigen Verwendung eines ETL-Tools bleibt es jedoch der Mapping-Logik überlassen, die...

In einem Blogbeitrag Ende des letzten Jahres haben wir einen Überblick der verschiedenen Prinzipien von Talend gegeben. Der Fokus lag hier auf den vielen Freiheiten, die dieses Tool bietet. Weiterhin ist am Anfang dieses Jahres ein Blogbeitrag erschienen, der die Vorteile eines gut gepflegten Java-Code Repositorys beschreibt und außerdem eine Möglichkeit darstellt dynamische Datenbankabfragen zu...

Die vergangene Dekade verzeichnet einen sehr deutlichen Trend in der IT-Branche: Cloud Computing. Das pay-as-you-go Modell und das automatisierte Skalieren von Anwendungen, angepasst an die Bedürfnisse des Nutzers, haben viele Unternehmen überzeugt Teile ihrer IT-Infrastruktur in die Cloud zu migrieren. Unglücklicherweise eignen sich die oft monolithischen Codestrukturen der bestehenden Anwendungen nicht ohne weiteres für den...

Einleitung Manchmal kommt es leider vor, dass man Daten auswerten oder mit anderen Daten vergleichen muss, dies aber nicht direkt auf der Datenbank, also nicht direkt per SQL machen kann. Sei der Grund, dass die Daten auf unterschiedlichen Datenbanken liegen oder dass man die Daten direkt als Excel-Datei bekommt und keine Rechte hat diese als...

Wenn es um die Übertragung von Daten zwischen zwei Systemen geht, so fällt die Wahl schnell auf das Versenden von Files z.B. via SFTP. Dies ist zwar altbewährt, doch deckt es bei weitem nicht mehr die aktuellen Anforderungen an eine dynamische Schnittstelle ab. Bereits relativ simple Anforderungen, wie das Erkennen von Löschungen können ohne Aktiv-Flags...

Der Blog-Beitrag Data Engineering mit Talend aus dem letzten Jahr war dem Talend-Ökosystem und den allgemeinen Möglichkeiten für das Data Engineering gewidmet. An dieser Stelle wird nun beschrieben, wie mit zwei grundlegenden Designentscheidungen die Erfolgswahrscheinlichkeit von Talend-Projekten erhöht werden kann. Diese Designkonzepte können die Entwicklungsarbeit und die Fehleranfälligkeit der Datenstrecken deutlich reduzieren und weiterhin die...

Die Helvetia befindet sich momentan auf einem starken dritten Platz der Mehrspartenversicherungen in der Schweiz. Sie bietet hauptsächlich Lebens- und Nichtlebensversicherungen sowie Kollektiv-Lebensversicherungen an. Zudem hat sich die Helvetia im Bereich Specialty Markets auf Nischen wie Engineering, Transport, Kunst und aktive Rückversicherung spezialisiert. Die Helvetia ist in der Schweiz, Europa, Asien sowie Nord-, Mittel- und...

Innogy betreibt Verteilnetze, vertreibt Energie und erzeugt elektrischen Strom zum größten Teil aus erneuerbaren Energien. Das Unternehmen ist überwiegend als Netzbetreiber und im Energievertrieb tätig. Außerdem plant, baut und betreibt das Unternehmen Stromerzeugungsanlagen, vor allem Windkraftanlagen (On- und Offshore), Wasserkraftwerke und Photovoltaikanlagen. Entwicklung komplexer ML-Modelle Automatisiertes Deployment der Modelle via Amazon ECS Einbringen von physikalischem...

Motivation Das heutige Zeitalter ist gekennzeichnet von einer wahren Flut von Daten; nie war es einfacher, Daten in großem Maße und automatisiert zu erheben und abzuspeichern. Gleichzeitig wird es immer schwieriger, Relevanz von Daten einzuschätzen, Zusammenhänge zwischen Datensätzen zu erkennen und diese geeignet zu analysieren. Insbesondere ist eine Vorauswahl von Attributen für die weitere Analyse...

Reinforced Learning (RL) ist eine der drei grundlegenden Ansätze im Bereich des maschinellen Lernens, neben dem Supervised Learning (SL) und dem Unsupervised Learning (UL). Beim Supervised Learning ist für jedes einzelne Trainingsbeispiel das gewünschte, korrekte Ergebnis bekannt und das Modell wird damit trainiert, diese Ergebnisse zu reproduzieren. Unsupervised Learning wird vor allem eingesetzt, um Daten...

Spinning Up an Elastic CI-Pipeline using Jenkins and Kubernetes with the growth of programming projects and the rise of service oriented architectures, the partitioning of the development process into more specialized tasks becomes inevitable. These tasks will usually be solved by different teams in parallel in order to increase efficiency, leading to faster progress in...

Im letzten Jahr haben wir hier im Blog beschrieben, wie in der Azure Data Factory Java Code bzw. JARs ausgeführt werden können. Wie das Java-zentrierte Data Integration Tool von Talend dies bewerkstelligt, ist problemlos ohne Tutorial verständlich und daher keinen ganzen Blogbeitrag wert. Stattdessen soll hier eine Idee vermittelt werden, was Talend für weitere Möglichkeiten...

Data Preparation ist die Kernkompetenz der Datenanalyse. Ohne eine geeignete Transformation der Daten, lassen sich weder ML-Modelle generieren noch Analytics / BI im Allgemeinen durchführen. Aufgrund der Brisanz des Themas wundert es daher nicht, dass ausgewählte Anbieter innovative Ansätze entwickelt haben, um den Prozess zu optimieren. Das Stichwort dazu lautet: Self Service Data Preparation. Wir...

Zu Beginn dieses Jahres haben wir bereits den Alation Data Catalog und den Informatica Enterprise Data Catalog vorgestellt. In diesem Blogbeitrag soll es nun um den Catalog von IBM gehen. Beim IBM InfoSphere Information Governance Catalog handelt es sich um ein interaktives, webbasiertes Tool. Für Organisationen ist es wichtig, große Mengen an digitalen Informationen schnell...

Der gesamte Machine-Learning (ML) Prozess zeichnet sich in vielen Fällen durch eine außerordentlich hohe Komplexität aus, welche sich hauptsächlich durch folgende Ursachen erklären lässt: Wachsender Parameterumfang: Mit immer leistungsstärkerer Hard- und Software wächst auch die Anzahl unterschiedlicher Parameter, welche im ML Prozess berücksichtigt werden. Den Überblick darüber zu behalten, welche Parameterkombinationen welche Resultate liefern, kann...

Poststellen großer Unternehmen müssen jedes Jahr unzählige Schriftstücke entgegennehmen, kategorisieren und anschließend an die Fachabteilungen des Unternehmens weiterleiten. Dabei wird die Post in vielen Unternehmen heutzutage zuerst eingescannt, sodass sie den Mitarbeitern schnell auf elektronischem Wege zugestellt werden kann. Das Kategorisieren der eingescannten Dokumente wird jedoch vielerorts noch manuell ausgeführt. Möchte man auch diesen Vorgang...

Auch dieses Jahr fand am 2. Juli in München bereits zum dritten Mal der AWS Transformation Day statt. Einen ganzen Tag lang konnten die Teilnehmer in der Triebwerk Industriehalle in Vorträgen, Workshops und an den Partnerständen mehr darüber erfahren, wie Unternehmen ihre Enterprise Transformation mithilfe der Cloud agiler gestalten und dabei Best Practices befolgen können....

Seit einigen Jahren verspricht eine Reihe von Software-Anbietern die (Teil-)Automatisierung von Data-Science-Projekten mit sogenannten Auto-ML-Programmen (automatic machine learning). Mitarbeiter aus den Fachbereichen sollen dadurch in die Lage versetzt werden, selber erfolgreich Machine-Learning-Modelle zu entwickeln und produktiv zu nutzen. Ein tiefergehendes Verständnis der Algorithmen und Methoden ist dafür nicht erforderlich. Häufig wird hierfür der Begriff Citizen...

Eine große Herausforderung im Bereich Machine-Learning stellt der Umgang mit unausgewogenen (engl. unbalanced) Datensätzen bei der Klassifizierung dar. Dabei bezeichnet man einen Datensatz als unausgewogen, wenn eine Klasse des Datensatzes gegenüber den anderen deutlich über-/unterrepräsentiert ist. In diesem Zusammenhang stellt Betrugsentdeckung (engl. Fraud Detection) ein besonderes Beispiel dar: Ein großer Teil der Daten des Datensatzes,...

Die Sanitas Gruppe gehört mit ca. 835.000 Versicherten zu den führenden Krankenversicherungen in der Schweiz. Sanitas bietet sowohl im Bereich obligatorische Grundversicherung als auch in den Zusatzversicherungen bedürfnisgerechte Lösungen für Privatpersonen und Unternehmen. Das Geschäftsmodell von Sanitas wird umfassend digitalisiert. Die Bedürfnisse der Kunden werden mit stärker individualisierten Angeboten zielgenau erfüllt. Solche Angebote werden gemeinsam...

Nachdem im letzten Teil ein Data Mining Algorithmus als Bestandteil eines Recommendation Systems erläutert wurde, soll der Algorithmus dieses Beitrages in der Lage sein Predictions (dt. Vorhersagen) über das Nutzerverhalten zu treffen. Dafür betrachten wir Random Forest und die Vorzüge gegenüber Decision Trees. Für einen Einstieg in Decision Trees empfehlen wir vor dem Weiterlesen folgenden...

Nachdem das Google Brain Team 2015 die beliebte open-source Bibliothek TensorFlow zum Entwickeln und Trainieren von Machine-Learning-Modellen veröffentlicht hat, folgte nun zuletzt die JavaScript-Bibliothek TensorFlow.js. Während TensorFlow zum größten Teil über eine Python API benutzt wird, lassen sich mit TensorFlow.js Machine-Learning-Modelle im Browser oder auch mit Node.js (open-source, cross-platform, JavaScript Laufzeitumgebung) entwickeln, trainieren und auch...

Das Wort der Pseudonymisierung hat Konjunktur - spätestens seit der europäischen Datenschutzgrundverordnung (GDPR). Gemeint ist eine einfache Trennung von Identifikationsmerkmalen und Daten. „Einfach“, weil das Ziel klar ist. Die praktische Umsetzung kann jedoch stark variieren und im schlimmsten Fall den Datenfluss einschränken. Dabei müssen auch sensible Daten innerhalb von Geschäftsprozessen zur richtigen Zeit, am richtigen...

Mit FastScore stellt das Unternehmen Open Data Group ein Deploymentwerkzeug bereit, das die Entwicklung, das Testen, die Produktivsetzung und Überwachung von Modellen zusammen bringt und es auf Basis von Microservices bereit stellt. Mit Modellen sind in diesem Kontext Analyse- und Auswertungsverfahren gemeint, die auf Datenströme Anwendung finden, um daraus einen informationsbezogenen  Mehrwert zu generieren. Dieser...

Im ersten Teil der Blogserie wurden bereits die grundlegenden Komponenten und deren Umsetzung mittels Open-Source-Software vorgestellt. Dabei wurde auch deren generelles Zusammenspiel erläutert. Die wesentliche Arbeit der Datenanalyse übernehmen dabei Batch und Streaming Layer, aber was passiert eigentlich hinter den Kulissen und wie kann die Website auf deren Grundlage optimiert werden? Die Lösung liegt in...

In Zeiten der Digitalisierung und der stetigen Änderung an IT-Anforderungen aller Unternehmen an das eigene Umfeld, ob es nun Kunden oder Regularien sind, ist es dringend notwendig, schnell und effizient die IT-Anwendungen anpassen zu können. Eine Vorgehensweise, um dieser Herausforderung zu begegnen, ist der DevOps-Ansatz. Dieser nutzt aus der agilen Softwareentwicklung entstandene Best-Practices wie Continuous...

Während Vorreiter Amazon in bestimmten Absatzgebieten heute bereits mit einer Wahrscheinlichkeit von 80% vorhersagen kann, welche Produkte ein Kunde morgen bestellen wird, sind vor allem deutsche Unternehmen nach wie vor skeptisch gegenüber der Kunst der modernen statistischen Datenanalyse. Obwohl die Erkenntnis wächst, schätzt ein Großteil der IT-Verantwortlichen der D-A-CH Region, dass Predictive Analytics erst innerhalb...

Als zweiten Teil der Serie zu Metadatenkatalogen geht es heute um den Enterprise Data Catalog (EDC) von Informatica. Der EDC ist nur eines von vielen Produkten Informaticas und fügt sich nahtlos in das Ökosystem ein. Auch einzeln ein vollständiges, sinnvoll nutzbares Produkt, so ergeben sich doch Synergien beim Einsatz mehrerer Komponenten: Verbindungen können aus der...

Neben klassischer Software für statistische Analysen wie SAS, SPSS und Stata gewinnt seit einiger Zeit insbesondere R an Beliebtheit, da es als Freeware verfügbar ist und eine breite Unterstützung durch Foren und detaillierte Dokumentation genießt. R und das ebenfalls kostenlos verfügbare R Studio als IDE (integrated development environment) zur komfortableren Programmierung basieren auf der Programmiersprache...

In großen Unternehmen existiert oft eine Vielzahl von Datenbanken in verschiedenen Systemen. Leicht verliert man den Überblick, welche Information an welcher Stelle gespeichert und wie sie zu interpretieren ist. Metadatenkataloge können helfen, die Struktur der gespeicherten Daten zu dokumentieren und sie den richtigen Entitäten zuzuordnen. In diesem und dem kommenden Blogbeitrag stellen wir zwei konkrete...

Was ist Talend? Talend als Data Integration Tool Talend bietet mit Open Studio for Data Integration (Open-Source-Version) und Talend Enterprise Data Integration (Enterprise-Version) zwei Tools zur Datenintegration an. Die freie Variante eignet sich für kleine Projekte mit geringeren Ansprüchen an die Integrationslösung oder dem Wunsch eigenen Code zu entwickeln. Die Enterprise-Version bringt zusätzliche Komponenten und...

Natural Language Processing (NLP) beschreibt das Feld der Computerwissenschaften, welches sich mit der Interaktion zwischen Computerprogrammen und menschlicher Sprache beschäftigt. Durch die aktuellen Entwicklungen in den Bereichen der künstlichen Intelligenz und speziell des maschinellen Lernens in jüngerer Zeit hat die automatisierte Verarbeitung von Text- und Sprachdaten bereits Einzug in verschiedene Unternehmensbranchen gefunden. So werden in...