Big Data & Hadoop


saracus hat bereits vor drei Jahren begonnen, Big Data Kompetenzen aufzubauen und verschiedene Projekte für Kunden durchgeführt. Dabei bietet saracus den gesamten Prozess von der Big Data Strategie, der Identifizierung von Use Cases über die Implementierung bis zum Betrieb die gesamte Wertschöpfungskette ab.
Aber auch eine Vielzahl weiterer Big Data Komponenten (zumeist Open-Source) hat saracus in seinen Projekten erfolgreich eingesetzt.

Konzeption und Entwicklung von Big Data-Anwendungen

  • Identifizierung und Priorisierung / Auswahl von Use Cases
  • Konkretisierung des ausgewählten Use Cases (Analyseanforderungen, Datenquellen, Datenvolumen, Anforderungen an Hard- und Softwareressource, etc.)
  • Auswahl und Aufbau einer Big Data & Analytics Plattform
  • Analyse und Erstellung eines Prototypen auf Basis eines Big-Data-Ansatzes zur effizienten Speicherung und Analyse von großen Datenmengen in Echtzeit

 

Konzeption und Implementierung von IT-nahen Big Data Services

  • Standardisierung von Prozessen für Datenbereitstellung (inkl. Compliance)
  • Veredlung- und Cleansing-Prozesse
  • Datenspeicherung
  • Automatisierung von Datentransfers und Reports
  • Aufbau eines Datenkatalogs
  • Bereitstellung von Analysebausteinen
  • Überführung von Test-Analyseprozessen in die Produktion
  • Definition von SLAs
  • Abgrenzung zur bestehenden BI- / DWH-Infrastruktur definieren

Big Data Beratungsprodukte und Services


Das Big Data Framework von saracus


Hadoop ist ein in Java programmiertes Software-Framework, mit dessen Hilfe Anwender rechenintensive Prozesse mit großen Datenmengen auf Server-Clustern abarbeiten können. Applikationen können mit Hilfe von Hadoop komplexe Computing-Aufgaben auf tausende von Rechnerknoten verteilen und Datenvolumina im Petabyte-Bereich verarbeiten.

Was ist Hadoop?


Hadoop-Events im deutschsprachigem Raum


17.05.2017

Meetup Zürich: Welche Veränderungen bringen Big Data und Fast Data für die Softwareentwicklung?

https://www.meetup.com/Software-Craftsmanship-Zurich/events/239816864/

Hadoop Neuigkeiten


22.05.2017

Anwender von Cloudera diskutieren Hadoop 3 bei der Apache Big Data Show in Miami, Florida. Bei Hadoop 3, das im Laufe des Jahres erscheinen wird, wird es große Veränderungen hinsichtlich der Art und Weise, wie Kunden Daten in Clustern speichern und verarbeiten, geben.

https://www.datanami.com/2017/05/18/committers-talk-hadoop-3-apache-big-data/

 

15.05.2017

Confluent Cloud ist eine neue SaaS von Apache Kafka. Eine einfache, schnelle und günstige Art Apache Kafka in der Cloud zu nutzen. Zunächst erstmal für Amazon Web Services, aber geplant ebenso für Google Cloud und Microsoft Azure.

https://www.confluent.io/blog/announcing-confluent-cloud-apache-kafka-as-a-service/

08.05.2017

Apache CarbonData ist ein indexed columnar store file Format für Big Data und ist gerade zum Top-Level-Projekt von der Apache Software Foundation ernannt worden. Apache CarbonData hat einige wirklich gute Features wie Indices für random access und Support für data update/delete und kann Abfragen über große Datenmengen deutlich beschleunigen.

https://blogs.apache.org/foundation/entry/the-apache-software-foundation-announces10

 

02.05.2017

Apache Metron ist ein Analytisches System, das auf dem Apache Hadoop System basiert und dessen Fokus auf Sicherheitsthemen liegt. Apache Metron wurde „befördert“ und hat die 1. Hürde der Apache Laufbahn genommen.

https://blogs.apache.org/foundation/entry/apache-software-foundation-announces-apache

Videos der Präsentationen Flink Forward San Francisco, die gerade gehalten wurden, sind jetzt zu sehen:

https://www.youtube.com/channel/UCY8_lgiZLZErZPF47a2hXMA