Big Data & Hadoop


saracus hat bereits vor drei Jahren begonnen, Big Data Kompetenzen aufzubauen und verschiedene Projekte für Kunden durchgeführt. Dabei bietet saracus den gesamten Prozess von der Big Data Strategie, der Identifizierung von Use Cases über die Implementierung bis zum Betrieb die gesamte Wertschöpfungskette ab.
Aber auch eine Vielzahl weiterer Big Data Komponenten (zumeist Open-Source) hat saracus in seinen Projekten erfolgreich eingesetzt.

Konzeption und Entwicklung von Big Data-Anwendungen

  • Identifizierung und Priorisierung / Auswahl von Use Cases
  • Konkretisierung des ausgewählten Use Cases (Analyseanforderungen, Datenquellen, Datenvolumen, Anforderungen an Hard- und Softwareressource, etc.)
  • Auswahl und Aufbau einer Big Data & Analytics Plattform
  • Analyse und Erstellung eines Prototypen auf Basis eines Big-Data-Ansatzes zur effizienten Speicherung und Analyse von großen Datenmengen in Echtzeit

 

Konzeption und Implementierung von IT-nahen Big Data Services

  • Standardisierung von Prozessen für Datenbereitstellung (inkl. Compliance)
  • Veredlung- und Cleansing-Prozesse
  • Datenspeicherung
  • Automatisierung von Datentransfers und Reports
  • Aufbau eines Datenkatalogs
  • Bereitstellung von Analysebausteinen
  • Überführung von Test-Analyseprozessen in die Produktion
  • Definition von SLAs
  • Abgrenzung zur bestehenden BI- / DWH-Infrastruktur definieren

Big Data Beratungsprodukte und Services


Das Big Data Framework von saracus


Hadoop ist ein in Java programmiertes Software-Framework, mit dessen Hilfe Anwender rechenintensive Prozesse mit großen Datenmengen auf Server-Clustern abarbeiten können. Applikationen können mit Hilfe von Hadoop komplexe Computing-Aufgaben auf tausende von Rechnerknoten verteilen und Datenvolumina im Petabyte-Bereich verarbeiten.

Was ist Hadoop?


Hadoop-Events im deutschsprachigem Raum


18.-19.09.2017 Define the Future of the Industrial IoT, Berlin Congress Center

http://industryofthingsworld.com/en/

 

19.-22.09.2017

Data Platforms Online 2017, Engineering the Future with DataOps

Data Platforms Virtual Summit, die online Konferenz, die Data Teams hilft, eine moderne Big Data Plattform zu realisieren.
https://www.dataplatforms.com/online/?utm_medium=online-advertising-&utm_source=Datanami&utm_term=DataPlatforms-Online&utm_content=na&utm_campaign=2017Online-Advertising:Datanami-Ad-for-Data-Platforms-Online10-09-17

 

 

 

28.02.-01.03.2018:  Big Data Summit Hanau

https://www.bitkom-bigdata.de/das-Event

Hadoop Neuigkeiten


18.09.2017

Der Spark Summit Europe findet vom 24.-26. Oktober in Dublin statt. Alle näheren Infos findet man auf der Konferenz website.

https://spark-summit.org/eu-2017/

 

11.09.2017

MapR hat eine neue MapR Orbit Cloud Suite angekündigt, die eine cross-cloud Funktionalität bietet: die Kombination von public und private clouds.

https://community.mapr.com/community/products/blog/2017/08/29/introducing-the-mapr-orbit-cloud-suite

05.09.2017

Die heutige IT ist komplexer als je zuvor. Application Performance ist eine kritische Maßnahme der customer experience und wird nun durch verschiedene Elemente wie Cloud-Infrastruktur, Software, APIs, Microservices und Netzwerk-Performance definiert. Application Performance Management (APM) bleibt weiterhin, wertvoll, reicht aber allein nicht mehr aus, um eine 360-Grad-Ansicht zu bieten. Wir brauchen mehr Geschwindigkeit, um die komplexen und ständig wechselnden Anwendungsanforderungen der Unternehmen zu unterstützen.

https://www.datanami.com/2017/08/21/cutting-apm-complexity-data/

 

28.08.2017

Apache Hive’s neues transactional Update  Feature ermöglicht eine Menge neuer Anwendungsmöglichkeiten.
Über das typische SQL UPDATE hinaus, untertützt Hive ein MERGE Befehl für Upserts, Repartitioning, Masking  ausgewähler Spalten und Purging von Datensätzen.
Der Hortonworks Blog hat einige Beispiele für diese Anwendungsfälle.

https://hortonworks.com/blog/update-hive-tables-easy-way/