Big Data & Hadoop


saracus hat bereits vor drei Jahren begonnen, Big Data Kompetenzen aufzubauen und verschiedene Projekte für Kunden durchgeführt. Dabei bietet saracus den gesamten Prozess von der Big Data Strategie, der Identifizierung von Use Cases über die Implementierung bis zum Betrieb die gesamte Wertschöpfungskette an.
Aber auch eine Vielzahl weiterer Big Data Komponenten (zumeist Open-Source) hat saracus in seinen Projekten erfolgreich eingesetzt.

Konzeption und Entwicklung von Big Data-Anwendungen

  • Identifizierung und Priorisierung / Auswahl von Use Cases
  • Konkretisierung des ausgewählten Use Cases (Analyseanforderungen, Datenquellen, Datenvolumen, Anforderungen an Hard- und Softwareressource, etc.)
  • Auswahl und Aufbau einer Big Data & Analytics Plattform
  • Analyse und Erstellung eines Prototypen auf Basis eines Big-Data-Ansatzes zur effizienten Speicherung und Analyse von großen Datenmengen in Echtzeit

 

Konzeption und Implementierung von IT-nahen Big Data Services

  • Standardisierung von Prozessen für Datenbereitstellung (inkl. Compliance)
  • Veredlung- und Cleansing-Prozesse
  • Datenspeicherung
  • Automatisierung von Datentransfers und Reports
  • Aufbau eines Datenkatalogs
  • Bereitstellung von Analysebausteinen
  • Überführung von Test-Analyseprozessen in die Produktion
  • Definition von SLAs
  • Abgrenzung zur bestehenden BI- / DWH-Infrastruktur definieren

Big Data Beratungsprodukte und Services


Das Big Data Framework von saracus


Hadoop ist ein in Java programmiertes Software-Framework, mit dessen Hilfe Anwender rechenintensive Prozesse mit großen Datenmengen auf Server-Clustern abarbeiten können. Applikationen können mit Hilfe von Hadoop komplexe Computing-Aufgaben auf tausende von Rechnerknoten verteilen und Datenvolumina im Petabyte-Bereich verarbeiten.

Was ist Hadoop?


Hadoop-Events im deutschsprachigem Raum


01.12.2017

Leider keine interessanten Events diese Woche.

 

28.02.-01.03.2018:  Big Data Summit Hanau

https://www.bitkom-bigdata.de/das-Event

Hadoop Neuigkeiten


01.12.2017

Ein Bug Fix von Apache Kafka, Version 0.11.0.2, ist erschienen: dabei ein Fix für Datenverlust.

https://lists.apache.org/thread.html/fa438f25
53f8da1e20d3aee037039fda0e2b7382eca2b215edf34275@%3Cusers.kafka.apache.org%3E

 

25.11.2017

Apache Hadoop 2.9.0 ist erschienen mit einer einigen Neuigkeiten zu: the Timeline Service, YARN Federation, YARN Web UI, HDFS, and the CapacityScheduler API.

https://lists.apache.org/thread.html/974015c816760b20c6fc25
1ca0b14ba07bfd21b80b4941e2a4294317@%3Cuser.hadoop.apache.org%3E

 

17.11.2017

MapR hat ein neues Produkt angekündigt: Data Science Refinery. Es basiert auf Apache Zeppelin und bietet eine integrierte Lösung für notebook-based development.

https://mapr.com/blog/introducing-mapr-data-science-refinery/

06.11.2017

MapR hat einen Service für die Converged Data Platform von MapR angekündigt.

https://mapr.com/company/press-releases/mapr-launches-managed-services-for-improved-dataops/

 

30.10.2017

Videos von der Big Data Los Angeles, die im August stattgefunden hat, sind jetzt online:

https://www.bigdatadayla.com/#slides

 

23.10.2017

Hadoop auf der Strata Data Conference in New York City bedeutungslos?

Auf der Strata Data Conference war Hadoop nur schwer zu finden, allerdings sind die Hauptbestandteile von  Hadoop, insbesondere Spark immer noch sehr lebendig. Lesen Sie weiter auf:

https://www.datanami.com/2017/09/29/hadoop-hard-find-strata-week/