Seminar: Hadoop Administrator Training
Viertägiges Intensivseminar
Kurzinformationen
| Ort: | Termin: | Preis: | |
| Münster | 28.04. – 30.04.2021 | 3.200,00 EUR (zzgl. MwSt.) |
Das Ziel dieses viertägigen Seminars ist die Vermittlung von praktischem und theoretischem Wissen, welches für den Einsatz eines Hadoop Clusters benötigt wird. Es werden unter anderem Installationsschritte behandelt sowie die Anpassung von einer Vielzahl von Konfigurationsparametern. Die Teilnehmer lernen, wie man ein Hadoop Cluster wartet und überwacht, auftretende Fehlermeldungen bearbeitet und praktische Lösungen dafür findet. Der Schwerpunkt liegt hierbei insbesondere auf den praktischen Übungen, die das Ziel haben, dass die Teilnehmer nach dem Seminar als Hadoop Administratoren arbeiten können.
Detailinformationen
Das Seminar
Das Ziel dieses viertägigen Seminars ist die Vermittlung von praktischem und theoretischem Wissen, welches für den Einsatz eines Hadoop Clusters benötigt wird. Es werden unter anderem Installationsschritte behandelt sowie die Anpassung von einer Vielzahl von Konfigurationsparametern. Die Teilnehmer lernen, wie man ein Hadoop Cluster wartet und überwacht, auftretende Fehlermeldungen bearbeitet und praktische Lösungen dafür findet. Der Schwerpunkt liegt hierbei insbesondere auf den praktischen Übungen, die das Ziel haben, dass die Teilnehmer nach dem Seminar als Hadoop Administratoren arbeiten können.
Der Seminarinhalt
Während des Seminars werden die Teilnehmer in die Rolle des Hadoop Administrators versetzt, der für 6 Maschinen, die in einer Cloud gehalten werden, zuständig ist. Das Ziel ist es, ein Hadoop Cluster mit mehreren Server-Knoten (Multi-Node) zu installieren und entsprechend zu konfigurieren. Das Cluster muss voll funktionsfähig sein und so konfiguriert sein, dass es unterschiedlichen Ausfällen standhält. Neben den Tätigkeiten wie auf Alerts zu antworten und die Konfiguration zu optimieren, sind die Teilnehmer für typische Wartungsaufgaben wie Hinzufügen von neuen Diensten, Verschieben von Diensten über die Knoten, Hinzufügen von neuen Knoten, Tuning des YARN-Schedulers sowie die Visualisierung von Metriken etc. verantwortlich.
Agenda
Jeden Tag von 9:00 – 17:00 Uhr
Tag 1 – Basiswissen Hadoop
Überblick: HDFS
- Grundlegende Schritte wie z.B. Schreiben/Lesen von Files, Replikationen, Metadaten und Datenblöcken
- Daemons und CLuster Infrastruktur
- Grundlegende Eigenschaften und Use Cases
Überblick: YARN
- Daemons und Cluster Infrastruktur
- Übung: Installation der zentralen Kompnenten eines Hadoop Clusters
- Übung: Überprüfung einer HDFS Installation
- Optional: Überblick auf ein MapReduce Paradigma
- Übung: Überprüfung einer YARN Installation
Tag 2 – Hadoop für Fortgeschrittene
Administrative Aspekte von HDFS
- NameNode Interna wie z.B. Metadaten-Management, Startup Prozedur, Checkpointing
- Wichtige Konfigurationseinstellungen
- Übung: Wechsel der java-Heap-Größe, Restart eines Namenode, Überprfung des CHeckpointing Status, Restart eines DataNodes
Administrative Aspekte von YARN
- Cluster Ressourcen wie z.B. Container Sizing, Limitationen und Management
- Wichtige Konfigurationseinstellungen
- Übung: Überprüfung und Tuning von resourcenbezogenen Einstellungen wie vcores und RAM
Überblick auf Projekte eines Hadoop Ecosystems
- Transfer von Daten zum HDFS mit Sqoop
- Verarbeitung von Daten in einem Hadoop Cluster mit Hive und Pig
- Interaktive Analyse mit Spark
- Übermittlung von Oozie Workflows
- Übung: Einsatz von Hive, Sqoop und Spark
Tag 3 – Sicherheit, Verfügbarkeit und hohe Verfügbarkeit
Hadoop Sicherheit
- Authentifizierung mit Kerberos
- Autorisierung von Hadoop (z.B. Sentry, Ranger)
- Sicherheits-bezogene Features
Fortgeschrittene Konfigurationseinstellungen für die Cluster-Verfügbarkeit & Performance
Hohe Verfügbarkeit für Hadoop Komponenten wie z.B. HDFS, YARN, Hive, Oozie, HUE
- Übung: Aktivierung eines NameNode HA und Überprüfung der Korrektheit
- Übung: Migration eines NameNode auf einen anderen Host
- Bonus-Übungen: Aktivierung und Überprüfung von ResourceManager HA
- Übung: Erstellen von benutzerdefinierten Diagrammen, Dashboards und Alerts
Tag 4 – Wartung, Betrieb und Tuning
Hardware- und Software-Auswahl für Hadoop Cluster YARN Scheduler
- Übung: Konfiguration von multi-tenant Queues und ACLs in dem Scheduler
Monitoring und Alerting
- Übung: Erstellen von benutzerdefinierten Diagrammen, Dashboards und Alerts
Wartungstätigkeiten des Cluster
- Übung: Erweitern des Clusters, Ausbalancieren von HDFS, Konfigurationsänderungen, Troubleshooting von einer Spark Applikation
Voraussetzungen
Wünschenswert ist Basiswissen von Linux Systemen. Erfahrung im Bereich Hadoop ist nicht notwendig.
Berücksichtigen Sie bitte, dass eine Mindestteilnehmerzahl von 4 Personen vorgesehen ist. Ansonsten kann das Seminar nicht stattfinden.
Methode
Präsenzseminar:
Das Seminar wird aus Vortrag, Diskussionsrunden sowie praktischen Übungen in Kleingruppen bestehen. Viele Beispiele aus der Praxis verdeutlichen die Theorie.
Sprachen
Seminar: Deutsch
Zielgruppe
Das Seminar richtet sich an IT-Mitarbeiter, die für die Installation, Konfiguration und Wartung eines Hadoop Clusters zuständig sind.
Anmeldung
2. und 3. Teilnehmer sind optional, ab dem 3. Teilnehmer gewähren wir einen Teamvorteil von 10 %!
Stornierung
Bei Stornierung bis zu 14 Tage vor Veranstaltungsbeginn erheben wir eine Bearbeitungsgebühr von 50% der Gebühr. Bei späteren Absagen wird der gesamte Beitrag fällig.
Seminarabsage
Sollten wir aus wichtigem Grund (z. B. Erkrankung des/der Referenten) gezwungen sein, den Kurs abzusagen, so teilen wir Ihnen dieses umgehend mit. Wir werden Ihnen in diesem Fall einen Ersatztermin anbieten. Passt dieser nicht zu Ihrer Terminplanung, erhalten Sie die bereits gezahlte Seminargebühr in voller Höhe zurück. Darüber hinausgehende Ansprüche bestehen nicht.
Teamvorteil
Sie sind als Team an der Teilnahme interessiert? Dann buchen Sie für 3 Teilnehmer und erhalten Sie ab dem 3. Teilnehmer 10 % Rabatt.