Der Data & Analytics Blog von saracus consulting

Einführung: Amazon Textract ist ein vollständig von Amazon verwalteter Service aus der Gruppe der Machine-Learning-Services. Anhand von Optical Character Recognition (OCR) können Zeichen aus .jpg, .png oder .pdf Files extrahiert und verarbeitet werden. Somit stellt Textract eine Möglichkeit dar, alte Dokumentenbestände auf relevante Größen zu durchsuchen und für die digitale Weiterverarbeitung zur Verfügung zu stellen....

In unserem letzten Beitrag zu Talend haben wir uns intensiv mit der Komponente tMap befasst. In diesem Beitrag werden wir erneut nicht ohne diese Komponente auskommen, wir wollen jedoch den Schwerpunkt auf das typische Ende eines ETL Jobs setzen: Die Ladestrategie in eine Datenbank. Sie ist abhängig von vielen Faktoren, wie beispielsweise der Umsetzung des...

Für viele Unternehmen ist ein zentrales Stammdaten-Management (MDM) unverzichtbar, um die Qualität und Konsistenz der Daten als Grundlage für alle weiteren Analysen zu gewährleisten. Duplikate-Erkennung, Datensäuberung, Ermittlung eines "Golden Records", der sich wieder mit allen angeschlossenen Systemen synchronisiert, gehören daher zu den essentiellen Aufgaben eines MDM Systems. Eine Anforderung ist dabei, dass dies möglichst in...

Im Zuge der Entwicklung von Cloud Technologien und deren Vorteilen ist auch die Welt der Business Intelligence (BI) im Wandel. Technologien wie Azure Synapse oder Azure Data Lake machen das Verarbeiten und Speichern großer Datenmengen immer einfacher und schneller. Auch die BI Welt ist nicht ausgenommen von dieser Entwicklung. Um den modernen Notwendigkeiten von Schnelligkeit...

Performance ist ein wichtiger Bestandteil bei der Arbeit mit Daten. Jede Aktion kostet Zeit und Ressourcen, wodurch es wichtig ist, die Arbeitsschritte zu überwachen, um möglichst Zeit und Ressourcen dabei einzusparen. Daher werden fortlaufend Updates für Datenbanken und ETL-Tools entwickelt, aber auch die Verarbeitung innerhalb dieser Datenbanken und Tools wird von den Entwicklern stets weiterentwickelt...

Einleitung Wichtig für die Nutzung von Anwendungen und Services ist insbesondere die Sicherheit, dass die verwendeten Daten vor unberechtigten Angriffen geschützt werden. Dabei kommt der sicheren Aufbewahrung von Passwörtern, Zertifikaten, Zugriffsschlüsseln, etc. eine entscheidende Bedeutung zu. In der Vergangenheit wurden bereits verschiedene Strategien entwickelt, um die erforderliche Sicherheit gewährleisten zu können. Solche Strategien sind zum...

1. Motivation Egal ob Management-Bericht, Monitoring Dashboard oder regelmäßig ausgeführter Tages-/Monats-/Jahresbericht, nirgends geht es ohne eine ansprechende Visualisierung von Daten, die über Tabellen oder Listen hinaus geht. Einzige Ausnahme ist vielleicht der eingefleischte Controller, der seine Tabellen liebgewonnen hat und in den Bildchen keinen Mehrwert sieht, aber die meisten User in einem Unternehmen schätzen Grafiken,...

Der Herbst ist angebrochen. Die Tage werden kürzer und das Jahr neigt sich langsam, aber sicher dem Ende entgegen. Trotz dessen wird Amazon nicht müde, weitere Neuerungen, Verbesserungen und Erweiterungen zu entwickeln und zu publizieren. Dieser Blogbeitrag stellt einen Ausschnitt aus den Ankündigungen des Monats Oktober dar, erhebt aber nicht den Anspruch auf Vollständigkeit. Das...

Im Rahmen der in den beiden vorherigen Teilen bereits präsentierten deskriptiven Analysen zum Training-Datensatz der Kaggle-Competition ASHRAE III werden wir nun einen Blick auf einen Lerner werfen, der den Einfluss der im Datensatz enthaltenen Messgrößen auf den Energiebedarf eines Gebäudes sinnvoll abschätzen kann. Wir werden uns dabei auf einen Überblick beschränken und den Lerner und seine Funktionsweise im Kontext der Competition als Beispiel betrachten....

Datenkataloge Ein Datenkatalog ist ein zentraler Bestandteil jedes datengetriebenen Unternehmens. Als Verzeichnis vielfältiger Datenquellen hilft er unter anderem Data Scientists, schnell und unkompliziert passende Daten im Unternehmen zu finden und zu verstehen. Datenkataloge gibt es von verschiedenen Anbietern, von denen wir bereits einige im Blog vorgestellt haben, darunter Alation, der Informatica Enterprise Data Catalog, oder...

Seit mehreren Jahren hält der neue Rechnungslegungsstandard IFRS17/9die Versicherungsbranche auf Trab. Komplexe Anforderungen, sich verschiebende Zeitpläne und Moving Targets verursachen diverse Probleme bei der termingerechten Umsetzung des Standards. Zudem führt die internationale Zusammenarbeit einzelner Legal Entities oftmals zu weiteren Schwierigkeiten. Im Zusammenhang mit solch umfangreichen Projekten und dem Bedarf viele Systeme in ein einziges System...

Auch der September bringt wieder eine Fülle von neuen Verbesserungen und Erweiterungen der Amazon Web Services mit sich. Dieser Blogbeitrag stellt einen kuratierten Ausschnitt aus den AWS Ankündigungen des vorangegangenen Monats September dar, erhebt aber nicht den Anspruch auf Vollständigkeit. Das Hauptaugenmerk dieser Liste liegt auf Veränderungen, bei denen wir von direktem Einfluss auf Kunden...

Einleitung Reine Informationen sind heutzutage für Kunden genauso verfügbar wie für ein Unternehmen. Die Herausforderung für die Unternehmen ist also, die Kundeninformationen zu strukturieren und zielgerichtet einzusetzen. Ein Kunde möchte nicht erfahren, welche Produkte ein Unternehmen anbietet, dazu gibt es schließlich das Internet. Er erwartet, dass seine Bank, Versicherung oder Werkstatt weiß, wann es sinnvoll...

Der Lagerung großer Mengen unstrukturierter Daten beispielsweise im Azure Blob Storage, der aufgrund seiner hohen Skalierbarkeit und kosteneffizienten Speicherungsmöglichkeit eine beliebte Möglichkeit in der Azure Cloud Umgebung bietet, folgt häufig die Beladung des Azure Data Warehouses, jetzt Azure Synapse Analytics. Eine komfortable Möglichkeit bietet hier die Verwendung der Azure Data Factory. Die Azure Data Factory...

Im letzten Beitrag der Serie wurden zunächst die ASHRAE Kaggle Competition vorgestellt und die dort verfügbaren Daten visualisiert. Dabei wurden die Daten aus verschiedenen Blickwinkeln beleuchtet, um ein Gefühl für die Daten zu bekommen. Man konnte sehen, wie in der Realität eigentlich immer üblich, dass der Datensatz einige Makel hat.  Im folgenden Beitrag wollen wir uns nun mit dem Schritt des Data Cleansings beschäftigen und...

Für den heißen Monat August liefert Amazon dem aufmerksamen Leser einige erfrischende Neuigkeiten bezüglich Infrastruktur Verbesserungen, Service Erweiterungen und einer spannenden Launch Ankündigung. Dieser Blogbeitrag stellt einen Ausschnitt aus den AWS Ankündigungen des vorangegangenen Monats August dar, erhebt aber nicht den Anspruch auf Vollständigkeit. Das Hauptaugenmerk dieser Liste liegt auf Veränderungen, bei denen wir von...

In recent years, Data Warehousing has seen tremendous changes with the widely adopted move toward cloud solutions. But even among the cloud solutions at offer as we speak, innovation is driving new architectures with new, unique characteristics. Snowflake has been particularly successful at drawing customers’ attention; part of its success can surely be attributed to...

Auch in diesem Monat erfreut Amazon die Nutzer seiner Cloud wieder mit zahlreichen Neuerungen und Verbesserungen bestehender Services. Dieser Blogbeitrag stellt einen kuratierten Ausschnitt aus den AWS Ankündigungen des Monats Juli dar, erhebt aber nicht den Anspruch auf Vollständigkeit. Das Hauptaugenmerk dieser Liste liegt auf Veränderungen bei denen wir von direktem Einfluss auf Kunden im...

Wie kann sich ein Unternehmen auf die zukünftigen Herausforderung von exponentiell wachsenden Datenmengen und Verarbeitungsprozessen, so wie aufwändigen Analyseverfahren vorbereiten? In welchen Fällen macht ein Cloud Data Warehouse Sinn und welche Aspekte gilt es bei der Wahl des optimalen Anbieters zu beachten? Erste Antworten auf diese Fragen liefert das Seminar Einführung in Cloud Data Warehousing:...

As a modern, cloud-centred data warehouse, Snowflake delivers an integrated, extensible platform with parallel data processing, effortless scaling and full SQL support. More and more businesses are deploying or migrating their databases to the cloud, enabling a long-term strategy to maximize their data assets. The actual process of migrating to the cloud can be challenging....

Der Umfang von generierten Daten steigt ständig durch die zunehmende Digitalisierung nahezu aller Lebensbereiche – von Industrie 4.0 über den öffentlichen Sektor bis hin zu SmartHome. Dabei verbergen sich in den Daten enorme Informationsmengen, welche zur Erfüllung vielerlei Ziele genutzt werden können, etwa zur Effizienzsteigerung in der Wirtschaft, beispielsweise in Form von kundenorientierten Kaufempfehlungen von...

The fourth industrial revolution – that is incorporating the use of smart technologies in industrial practices – is what drives many companies to reinvent their IT solutions during the past decade. Data obtained from many different sources, such as mobile devices, Internet of Things (IoT) applications, smart sensors or customer profiling solutions require flexible data...

Im Monat Juni steht bei AWS nach wie vor alles im Lichte der anhaltenden Digitalisierung der Arbeitswelt. Nach dem erfolgreichen Auftakt im Mai fand am 17. Juni die AWS Summit Online EMEA (Europa, Middle East & Africa) statt. Die Kernthemen der Konferenz stehen im Einklang mit dem Trend, der sich aus den Neuankündigungen des vergangenen...

Nach dem Auftakt für US & Canada im Vormonat fand nun am 17.06.2020 auch die AWS Summit Online für den Großraum Europa, den mittleren Osten und Afrika statt. Aufgrund der aktuellen Reisebeschränkungen griff Amazon dabei das während der regelmäßig stattfindenden AWSome Day etablierte Konzept der Online Konferenzen auf, allerdings in größeren Maßstäben. Das daraus resultierende...

Vielen ist die klassische Definition von Wahrscheinlichkeiten bekannt. Ein Ereignis trete zufällig auf, dann ist die Wahrscheinlichkeit des Auftretens eines Zustandes A definiert als der Quotient aus den für das Ereignis günstigen (g) und der Zahl aller möglichen Fälle (m). Einhergehend mit der Definition einer Wahrscheinlichkeit ist der Ansatz der frequentistischen Statistik. Im Rahmen von...

Say Hello to the Data Cloud   Am letzten Dienstag, den 02.06.2020, hat Snowflake die neue Data Cloud präsentiert und während eines Online-Auftrittes vorgestellt. Während dieser Präsentation wurden neue Features angekündigt, welche in den nächsten Wochen und Monaten veröffentlicht werden sollen.   Vom leichten Schneesturm zum Blizzard Snowflake hat in den letzten Jahren ein unglaubliches...

Elasticsearch ist eine Suchmaschine und Analytics Engine, mit der es möglich ist, die gewaltigen Mengen an Logdaten in heutigen Serverumgebungen auszuwerten und darzustellen. Thema dieses Beitrags ist der Vergleich der verschiedenen Arten der Bereitstellung von Elasticsearch in der AWS Cloud. Dazu gibt es im Wesentlichen drei Möglichkeiten, die im Folgenden kurz vorgestellt werden. Amazon Elasticsearch...

Auch bei AWS zeichnet sich in diesem Monat bereits ein zukünftiger Trend ab der uns aufgrund der weltweiten aktuellen Situation noch einige Zeit begleiten wird: Virtuelle Online Konferenzen. Am 13. Mai fand der erste AWS Summit Online (US & Canada) statt, das EMEA (Europe, Middle East & Africa) Pendant der Konferenz wird am 17. Juni...

„Data in the 21st century is like oil in the 18th century “- and Snowflake makes it possible to get the maximum out of this resource. Snowflake is Big Data without its complexity. Data warehouse migration aims to satisfy the need of data. Snowflake is a great solution to achieve precisely that due to its...

Introduction Snowflake offers an elegant data warehouse (DWH) solution developed specifically for the cloud. Customers do not need to install or maintain software or hardware, because Snowflake DWH operates as Software-as-a-Service (SaaS) on the main cloud platforms (Amazon Web Services, Google Cloud Storage and Microsoft Azure). Snowflake’s architecture is marked by data storage being independent...

Performante Dublettenentfernung mit Informatica PowerCenter     Die Vermeidung von Schlüsselverletzungen und Dubletten ist bei der Bewirtschaftung konsolidierter Data Warehouses alltägliche Grundanforderung. Es existiert eine ganze Reihe von Software-Tools, wie beispielsweise DWautomatic oder IBM Change Data Capture, die diese Filterungen unterstützen. Im Fall der alleinigen Verwendung eines ETL-Tools bleibt es jedoch der Mapping-Logik überlassen, die...

In einem Blogbeitrag Ende des letzten Jahres haben wir einen Überblick der verschiedenen Prinzipien von Talend gegeben. Der Fokus lag hier auf den vielen Freiheiten, die dieses Tool bietet. Weiterhin ist am Anfang dieses Jahres ein Blogbeitrag erschienen, der die Vorteile eines gut gepflegten Java-Code Repositorys beschreibt und außerdem eine Möglichkeit darstellt dynamische Datenbankabfragen zu...

Die vergangene Dekade verzeichnet einen sehr deutlichen Trend in der IT-Branche: Cloud Computing. Das pay-as-you-go Modell und das automatisierte Skalieren von Anwendungen, angepasst an die Bedürfnisse des Nutzers, haben viele Unternehmen überzeugt Teile ihrer IT-Infrastruktur in die Cloud zu migrieren. Unglücklicherweise eignen sich die oft monolithischen Codestrukturen der bestehenden Anwendungen nicht ohne weiteres für den...

Einleitung Manchmal kommt es leider vor, dass man Daten auswerten oder mit anderen Daten vergleichen muss, dies aber nicht direkt auf der Datenbank, also nicht direkt per SQL machen kann. Sei der Grund, dass die Daten auf unterschiedlichen Datenbanken liegen oder dass man die Daten direkt als Excel-Datei bekommt und keine Rechte hat diese als...

Wenn es um die Übertragung von Daten zwischen zwei Systemen geht, so fällt die Wahl schnell auf das Versenden von Files z.B. via SFTP. Dies ist zwar altbewährt, doch deckt es bei weitem nicht mehr die aktuellen Anforderungen an eine dynamische Schnittstelle ab. Bereits relativ simple Anforderungen, wie das Erkennen von Löschungen können ohne Aktiv-Flags...

Der Blog-Beitrag Data Engineering mit Talend aus dem letzten Jahr war dem Talend-Ökosystem und den allgemeinen Möglichkeiten für das Data Engineering gewidmet. An dieser Stelle wird nun beschrieben, wie mit zwei grundlegenden Designentscheidungen die Erfolgswahrscheinlichkeit von Talend-Projekten erhöht werden kann. Diese Designkonzepte können die Entwicklungsarbeit und die Fehleranfälligkeit der Datenstrecken deutlich reduzieren und weiterhin die...

Die Helvetia befindet sich momentan auf einem starken dritten Platz der Mehrspartenversicherungen in der Schweiz. Sie bietet hauptsächlich Lebens- und Nichtlebensversicherungen sowie Kollektiv-Lebensversicherungen an. Zudem hat sich die Helvetia im Bereich Specialty Markets auf Nischen wie Engineering, Transport, Kunst und aktive Rückversicherung spezialisiert. Die Helvetia ist in der Schweiz, Europa, Asien sowie Nord-, Mittel- und...

Innogy betreibt Verteilnetze, vertreibt Energie und erzeugt elektrischen Strom zum größten Teil aus erneuerbaren Energien. Das Unternehmen ist überwiegend als Netzbetreiber und im Energievertrieb tätig. Außerdem plant, baut und betreibt das Unternehmen Stromerzeugungsanlagen, vor allem Windkraftanlagen (On- und Offshore), Wasserkraftwerke und Photovoltaikanlagen. Entwicklung komplexer ML-Modelle Automatisiertes Deployment der Modelle via Amazon ECS Einbringen von physikalischem...

Motivation Das heutige Zeitalter ist gekennzeichnet von einer wahren Flut von Daten; nie war es einfacher, Daten in großem Maße und automatisiert zu erheben und abzuspeichern. Gleichzeitig wird es immer schwieriger, Relevanz von Daten einzuschätzen, Zusammenhänge zwischen Datensätzen zu erkennen und diese geeignet zu analysieren. Insbesondere ist eine Vorauswahl von Attributen für die weitere Analyse...

Reinforced Learning (RL) ist eine der drei grundlegenden Ansätze im Bereich des maschinellen Lernens, neben dem Supervised Learning (SL) und dem Unsupervised Learning (UL). Beim Supervised Learning ist für jedes einzelne Trainingsbeispiel das gewünschte, korrekte Ergebnis bekannt und das Modell wird damit trainiert, diese Ergebnisse zu reproduzieren. Unsupervised Learning wird vor allem eingesetzt, um Daten...

Spinning Up an Elastic CI-Pipeline using Jenkins and Kubernetes with the growth of programming projects and the rise of service oriented architectures, the partitioning of the development process into more specialized tasks becomes inevitable. These tasks will usually be solved by different teams in parallel in order to increase efficiency, leading to faster progress in...

Im letzten Jahr haben wir hier im Blog beschrieben, wie in der Azure Data Factory Java Code bzw. JARs ausgeführt werden können. Wie das Java-zentrierte Data Integration Tool von Talend dies bewerkstelligt, ist problemlos ohne Tutorial verständlich und daher keinen ganzen Blogbeitrag wert. Stattdessen soll hier eine Idee vermittelt werden, was Talend für weitere Möglichkeiten...

Data Preparation ist die Kernkompetenz der Datenanalyse. Ohne eine geeignete Transformation der Daten, lassen sich weder ML-Modelle generieren noch Analytics / BI im Allgemeinen durchführen. Aufgrund der Brisanz des Themas wundert es daher nicht, dass ausgewählte Anbieter innovative Ansätze entwickelt haben, um den Prozess zu optimieren. Das Stichwort dazu lautet: Self Service Data Preparation. Wir...

Zu Beginn dieses Jahres haben wir bereits den Alation Data Catalog und den Informatica Enterprise Data Catalog vorgestellt. In diesem Blogbeitrag soll es nun um den Catalog von IBM gehen. Beim IBM InfoSphere Information Governance Catalog handelt es sich um ein interaktives, webbasiertes Tool. Für Organisationen ist es wichtig, große Mengen an digitalen Informationen schnell...

Der gesamte Machine-Learning (ML) Prozess zeichnet sich in vielen Fällen durch eine außerordentlich hohe Komplexität aus, welche sich hauptsächlich durch folgende Ursachen erklären lässt: Wachsender Parameterumfang: Mit immer leistungsstärkerer Hard- und Software wächst auch die Anzahl unterschiedlicher Parameter, welche im ML Prozess berücksichtigt werden. Den Überblick darüber zu behalten, welche Parameterkombinationen welche Resultate liefern, kann...

Poststellen großer Unternehmen müssen jedes Jahr unzählige Schriftstücke entgegennehmen, kategorisieren und anschließend an die Fachabteilungen des Unternehmens weiterleiten. Dabei wird die Post in vielen Unternehmen heutzutage zuerst eingescannt, sodass sie den Mitarbeitern schnell auf elektronischem Wege zugestellt werden kann. Das Kategorisieren der eingescannten Dokumente wird jedoch vielerorts noch manuell ausgeführt. Möchte man auch diesen Vorgang...

Auch dieses Jahr fand am 2. Juli in München bereits zum dritten Mal der AWS Transformation Day statt. Einen ganzen Tag lang konnten die Teilnehmer in der Triebwerk Industriehalle in Vorträgen, Workshops und an den Partnerständen mehr darüber erfahren, wie Unternehmen ihre Enterprise Transformation mithilfe der Cloud agiler gestalten und dabei Best Practices befolgen können....

Seit einigen Jahren verspricht eine Reihe von Software-Anbietern die (Teil-)Automatisierung von Data-Science-Projekten mit sogenannten Auto-ML-Programmen (automatic machine learning). Mitarbeiter aus den Fachbereichen sollen dadurch in die Lage versetzt werden, selber erfolgreich Machine-Learning-Modelle zu entwickeln und produktiv zu nutzen. Ein tiefergehendes Verständnis der Algorithmen und Methoden ist dafür nicht erforderlich. Häufig wird hierfür der Begriff Citizen...

Eine große Herausforderung im Bereich Machine-Learning stellt der Umgang mit unausgewogenen (engl. unbalanced) Datensätzen bei der Klassifizierung dar. Dabei bezeichnet man einen Datensatz als unausgewogen, wenn eine Klasse des Datensatzes gegenüber den anderen deutlich über-/unterrepräsentiert ist. In diesem Zusammenhang stellt Betrugsentdeckung (engl. Fraud Detection) ein besonderes Beispiel dar: Ein großer Teil der Daten des Datensatzes,...

Die Sanitas Gruppe gehört mit ca. 835.000 Versicherten zu den führenden Krankenversicherungen in der Schweiz. Sanitas bietet sowohl im Bereich obligatorische Grundversicherung als auch in den Zusatzversicherungen bedürfnisgerechte Lösungen für Privatpersonen und Unternehmen. Das Geschäftsmodell von Sanitas wird umfassend digitalisiert. Die Bedürfnisse der Kunden werden mit stärker individualisierten Angeboten zielgenau erfüllt. Solche Angebote werden gemeinsam...