Am veröffentlicht

AWS Neuigkeiten Februar 2021

Nach einer Vielzahl von Neuerungen rund um die Jahreswende, war AWS in Hinblick auf die Änderungen von bestehenden Services im Februar etwas zurückhaltender.

Dieser Blogbeitrag stellt einen Ausschnitt aus den Neuerungen und Ankündigungen des Monats Februar dar, erhebt aber nicht den Anspruch auf Vollständigkeit. Das Hauptaugenmerkt liegt hierbei auch Veränderungen, bei denen wir von einem direkten Einfluss auf unsere Kunden im Versicherungs-, Finanz- und Retailsektor ausgehen. Die interessantesten Änderungen beziehen sich auf die Services AWS Elasticsearch Service und AWS Glue Studio.

AWS Elasticsearch

AWS Elasticsearch Service ist ein managed Service, welcher die Bereitstellung, Betrieb und Skalierung von Elasticsearch-Clustern übernimmt. Im Monat Februar sind hier zwei Neuerungen hinzugekommen: Zum einen wurde der Service um Trace Analytics erweitert und zum anderen werden nun Rollups vom Service unterstützt.

Trace Analytics

Mit der Erweiterung des Elasticsearch Services um Trace Analytics ist es nun möglich, verteiltes Tracing durchzuführen, wodurch Flaschenhälse in Anwendungen mit mehreren Komponenten leichter gefunden und ausgebessert werden können. Die bereits vorhandenen Protokollanalysefunktionen von Elasticsearch können durch Trace Daten ergänzt werden und liefern so eine vollständigere Einsicht in die Leistungsdaten einer Architektur als die  Möglichkeiten, die Elasticsearch bisher allein geboten hat.

Trace Analytics unterstützt OpenTelemetry. Dies ist ein Projekt, welches APIs, Libraries und Agents bereitstellt, die das Sammeln von Metriken zum Monitoring von Applikationen ermöglicht. Stand heute werden von Trace Analytics die Erfassung von Daten aus Anwendungsbibliotheken und SDKs unterstützt, die mit dem OpenTelemetry Collector kompatibel sind. Dies sind unter anderen OpenTelemetry-, X-Ray, Jaeger- und Zipkin-SDKs. Die so gesammelten Daten können dann beispielsweise mit Kibana untersucht und visualisiert werden. Des Weiteren werden mit Trace Analytics zwei neue Komponenten in das OpenTelemetry und Elasticsearch Ökosystem eingepflegt.

Die erste Komponente ist der Data Prepper. Dies ist eine Server-seitige Applikation, die für das Sammeln und Transformieren der Daten zuständig ist. Die Daten instrumentalisierter Applikationen werden vom OpenTelemetry Collector eingesammelt und an den Data Prepper weitergereicht und schlussendlich von diesem verarbeitet und in den Elasticsearch Service geschrieben.

Zusätzlich zu dem oben beschriebenen, lässt sich Trace Analytics auch in Architekturen, welche mit der von uns im Oktober vorgestellten AWS Distro for OpenTelemetry arbeiten, integrieren und wird in allen AWS Elasticsearch Service Domains unterstützt, die Elasticsearch 7.9 oder höher ausführen.

Rollups

Eine andere Neuerung im Bereich Elasticsearch sind Index-Rollups. Die Index-Rollups ermöglichen es, Daten mit einer hohen Granularität zusammenzufassen und so Speicherkosten zu senken.

Zeitreihendaten, schlussendlich also gesammelte Messwerte, besitzen die Eigenschaft, dass deren Anzahl monoton wachsend ist. Durch das monotone Wachstum sinkt nicht nur die Geschwindigkeit von Aggregationen, sondern es steigt gleichzeitig der Speicherbedarf und damit einhergehend die Kosten. Nun ist es jedoch so, dass Messwerte, die weit in der Vergangenheit liegen, für Analysen einen geringeren Mehrwert bieten als neuere Daten, aber bisher trotzdem dieselben Ressourcen benötigten. Dies kann nun mittels Index-Rollups umgangen werden: Index-Rollups erlauben das Zusammenführen von mehreren relevanten Feldern, die in gröberen Zeit-Buckets zusammengefasst sind, in einem neuen Index. Durch das Zusammenführen mehrere Felder wird der Speicherbedarf, und somit auch die damit verbundenen Kosten, von historischen Daten reduziert.

Index-Rollups können entweder in festen Intervallen oder aber on-Demand ausgeführt werden. Zur Verwendung dieses Features wird eine Elasticsearch Service Domain benötigt, die Elasticsearch 7.9 oder höher ausführt.

AWS Glue Studio

Im Februar erhielt das ETL-Tool AWS Glue Studio einige Änderungen, welche die Bedienbarkeit erleichtern sollen. Zwei dieser Änderungen beziehen sich auf das Zusammenspiel von AWS Glue Studio und dem AWS Glue Data Catalog und werden nachfolgend vorgestellt.

Die erste dieser beiden Änderungen ist, dass AWS Glue Studio nun das Aktualisieren des Data Catalogs bei der Ausführung von Jobs unterstützt. Durch diese neue Funktion können Tabellen auf einem aktuellen Stand gehalten und erstellt werden, während AWS Glue die neuen Daten in den S3-Speicher schreibt. Dies erlaubt es die Daten direkt von jedem Service aus abzufragen, welcher mit dem AWS Glue Data Catalog kompatibel ist. Bisher war es notwendig, entweder in eine bereits existierende Tabelle zu schreiben oder einen AWS Glue-Crawler auszuführen, nachdem die Daten in den S3-Bucket geschrieben wurden.

Die Zweite Änderung von AWS Glue Studio in Verbindung mit dem Data Catalog zielt darauf ab, dass es nun möglich ist mit AWS Glue Daten in S3 zu lesen, ohne dass sie zuvor zum Data Catalog hinzugefügt worden sind. Bisher war es so, dass lediglich Tabellen des AWS Glue Data Catalog als Datenquelle verwendet werden konnten; das heißt, dass bisher entweder Tabellen mittels Data Crawler oder per Hand dem Data Catalog hinzugefügt werden mussten. Inzwischen lassen sich direkt Speicherorte und Objekte in S3 als Datenquelle verwenden. AWS Glue leitet nun direkt das Schema der ausgewählten Daten ab und zeigt es in der grafischen Oberfläche des Tools an, sodass ETL-bzw. ELT-Jobs schneller erstellt werden können.

Weitere Änderungen im Februar

Neben den Neuerungen für den AWS Elasticsearch Service gab es auch noch weitere Änderungen im Februar rund um das Thema Monitoring, welche unter anderem auf EC2 Auto Scaling Gruppen und Amazon SNS betreffen. Des Weiteren ist ab sofort der Machine Learning Service Amazon Lookout for Vision verfügbar.

Skalierungshistorie von EC2 Auto Scaling-Gruppen

In Bezug auf Amazon EC2 Auto Scaling-Gruppen ist es nun möglich, die Skalierungshistorie von gelöschten Auto Scaling-Gruppen einzusehen. Wenn man früher eine Auto Scaling-Gruppe gelöscht hat, musste man entweder selbst die Historie persistieren oder aber im Nachhinein den Support kontaktieren, um diese Daten erneut zu erhalten. Seit neuestem kann die die Skalierungshistorie von bereits gelöschten Gruppen durch Abfragen mit Hilfe des Parameters –include-deleted-groups abgerufen werden.

CloudWatch Metriken und SNS

Der Benachrichtigungsservice Amazon Simple Notification Service publiziert dank Neuerungen Metriken von AWS CloudWatch in einer Auflösung von einer Minute und nicht wie bisher in fünf Minuten. Dies bedeutet, dass beispielsweise Aggregationen jede Minute und nicht mehr nur alle 5 Minuten abgerufen werden, was im Allgemeinen das Monitoring verbessert.

Amazon Lookout for Vision

Amazon Lookout for Vision ist ein Machine-Learning Service, welcher, unter Zuhilfenahme von Computer Vision, Fehler und Anomalien in der Optik von hergestellten Produkten erkennt und somit schlussendlich dabei hilft, die Qualitätsprüfung zu automatisieren.

Die Qualitätssicherung von Ergebnissen industrieller Prozesse benötigt häufig eine Inspektion, die von Menschen durchgeführt werden muss. Ein solches Vorgehen ist zwar notwendig, aber auch kostenintensiv und nicht skalierbar. Mit Amazon Lookout for Vision bietet Amazon in Zukunft einen Service an, mit welchem ein solches Prozedere (teilweise) automatisiert werden kann. Der Service verwendet Computer Vision, um Endprodukte auf optische Fehler wie Dellen, Kratzer, Risse oder aber auch fehlende Produktkomponenten zu überprüfen. Zur Verwendung des Services müssen lediglich einige Bilder des akzeptablen und anomalen Zustands als Trainingsdatensatz für den zu bewertenden Prozess bereitgestellt werden. Im Anschluss daran lassen sich Kameras verwenden, welche den Herstellungsprozess überwachen, damit der Service Unterschiede zwischen dem Trainingsdatensatz und den aktuellen Daten ermitteln kann. Die Ergebnisse werden dann in Dashboards innerhalb der Managementkonsole von AWS bereitgestellt.

Für weitere regelmäßige Updates zum Thema AWS Cloud, folgen Sie unserer Präsenz auf Xing und Instagram oder direkt unserem Blog.