Big Data & Hadoop


saracus hat bereits vor drei Jahren begonnen, Big Data Kompetenzen aufzubauen und verschiedene Projekte für Kunden durchgeführt. Dabei bietet saracus den gesamten Prozess von der Big Data Strategie, der Identifizierung von Use Cases über die Implementierung bis zum Betrieb die gesamte Wertschöpfungskette ab.
Aber auch eine Vielzahl weiterer Big Data Komponenten (zumeist Open-Source) hat saracus in seinen Projekten erfolgreich eingesetzt.

Konzeption und Entwicklung von Big Data-Anwendungen

  • Identifizierung und Priorisierung / Auswahl von Use Cases
  • Konkretisierung des ausgewählten Use Cases (Analyseanforderungen, Datenquellen, Datenvolumen, Anforderungen an Hard- und Softwareressource, etc.)
  • Auswahl und Aufbau einer Big Data & Analytics Plattform
  • Analyse und Erstellung eines Prototypen auf Basis eines Big-Data-Ansatzes zur effizienten Speicherung und Analyse von großen Datenmengen in Echtzeit

 

Konzeption und Implementierung von IT-nahen Big Data Services

  • Standardisierung von Prozessen für Datenbereitstellung (inkl. Compliance)
  • Veredlung- und Cleansing-Prozesse
  • Datenspeicherung
  • Automatisierung von Datentransfers und Reports
  • Aufbau eines Datenkatalogs
  • Bereitstellung von Analysebausteinen
  • Überführung von Test-Analyseprozessen in die Produktion
  • Definition von SLAs
  • Abgrenzung zur bestehenden BI- / DWH-Infrastruktur definieren

Big Data Beratungsprodukte und Services


Das Big Data Framework von saracus


Hadoop ist ein in Java programmiertes Software-Framework, mit dessen Hilfe Anwender rechenintensive Prozesse mit großen Datenmengen auf Server-Clustern abarbeiten können. Applikationen können mit Hilfe von Hadoop komplexe Computing-Aufgaben auf tausende von Rechnerknoten verteilen und Datenvolumina im Petabyte-Bereich verarbeiten.

Was ist Hadoop?


Hadoop-Events im deutschsprachigem Raum


11.-13.09.2017 Flink Forward Berlin

https://berlin.flink-forward.org

 

18.-19.09.2017 Define the Future of the Industrial IoT, Berlin Congress Center

http://industryofthingsworld.com/en/

 

28.02.-01.03.2018:  Big Data Summit Hanau

https://www.bitkom-bigdata.de/das-Event

Hadoop Neuigkeiten


24.07.2017

Erweiterung der Apache Spark Use Cases in 2.2 und darüber hinaus mit Matei Zaharia und Demos von Michael Armbrust und Tim Hunter.

https://www.slideshare.net/databricks/expanding-apache-spark-use-cases-in-22-and-beyond-with-matei-zaharia-and-demos-by-michael-armbrust-and-tim-hunter

 

17.07.2017

Die Sessions der Flink Forward, die vom 11.-13. September 2017 in Berlin stattfinden wird, wurden veröffentlicht.

https://berlin.flink-forward.org/sessions/

10.07.2017

Die Top 3 Herausforderungen beim Laden von Daten in die Cloud:

https://www.datanami.com/2017/07/04/top-three-challenges-moving-data-cloud/

 

03.07.2017

Wie finde ich das richtige SQL-on-Hadoop tool?

https://www.datanami.com/2016/01/13/picking-the-right-sql-on-hadoop-tool-for-the-job/

 

Anwender von Cloudera diskutieren Hadoop 3 bei der Apache Big Data Show in Miami, Florida. Bei Hadoop 3, das im Laufe des Jahres erscheinen wird, wird es große Veränderungen hinsichtlich der Art und Weise, wie Kunden Daten in Clustern speichern und verarbeiten, geben.

https://www.datanami.com/2017/05/18/committers-talk-hadoop-3-apache-big-data/