Am veröffentlicht

AWS Neuigkeiten Juni 2021 

Viele Änderungen des Monats Junis sind besonders für Entwickler in der AWS interessant. Dieser Blogbeitrag stellt einen Ausschnitt aus den Neuerungen und Ankündigungen des Monats Juni dar, erhebt aber nicht den Anspruch auf Vollständigkeit. Das Hauptaugenmerk liegt hierbei auf Veränderungen, bei denen wir von einem direkten Einfluss auf unsere Kunden ausgehen. In diesem Beitrag werden insbesondere Änderungen und Ankündigungen der Services Amazon EMR, Amazon Athena, AWS SageMaker Data Wrangler sowie AWS CodeGuru und Amazon DevOps Monitoring vorgestellt.   

Compute 

Amazon EMR on EKS 

Während der vergangenen re:Invent hat AWS bereits die Verfügbarkeit von Amazon EMR auf Amazon Elastic Kubernetes Service (EKS) angekündigt und bietet so die Möglichkeit, zur automatischen Bereitstellung von Apache Spark auf Amazon EKS. Die Verfügbarkeit von Apache Spark auf Kubernetes innerhalb der AWS Cloud bietet die Möglichkeit zur einfachen Migration bereits bestehender Spark-Anwendungen, die auf Kubernetes basieren, in die AWS beziehungsweise auf ein EKS-Cluster in welchem bereits andere Applikationen liegen, um dort von den geteilten Ressourcen zu profitieren und die Infrastruktur zu vereinfachen. Des Weiteren bietet eine solche Migration die Möglichkeit, die Applikationen in Amazon EMR Studio oder AWS Step Functions, welche im Laufe des Artikels noch einmal aufgegriffen werden, zu integrieren. 

Bei der Übertragung eines Jobs wird die Applikation automatisch von EMR in einen Container verpackt und auf einem EKS Cluster bereitgestellt und ausgeführt. Bisher war es so, dass Abhängigkeiten währen der Übertragung des Jobs automatisch hinzugefügt wurden. Dies ändert sich jetzt und es ist nun möglich, auch personalisierte Images mit Amazon EMR auf EKS zu verwenden, d.h. es können Images erstellt werden, die sowohl die tatsächliche Applikation als auch deren Abhängigkeiten bereits beinhalten. Durch diese Änderung kann die Erstellung eines Images in den Continuous Integration Prozess integriert werden. Data Engineers können so beispielsweise ein Basis-Image bereitstelle, Bibliotheken hinzufügen und das Image dann im Elastic Container Registry (ECR) von AWS zur Verfügung stellen. Nutzer, wie beispielsweise Data Scientisten, könne auf dieses Image dann zurückgreifen, die notwendigen Abhängigkeiten für die jeweilige Applikation mittels Dockerfile hinzufügen und Spark Jobs unter Verwendung des personalisierten Images ausführen. 

 

Amazon EC2 

Zum 11.06.2021 hat AWS die Abrechnung für Windows-Server sowie SQL-Server-Instanzen abgeändert. Alle Instanzen dieser Art, die als On-Demand-, Reserved- oder Spot-Instance erstellt wurden, werden nun, so wie es bereits für die Linux- und Ubuntu-Instanzen seit längerem der Fall ist, sekündlich abgerechnet mit einem minimalen Abrechnungsintervall von einer Minute. Die neue Art der Abrechnung ist sowohl für neue als auch bereits bestehende Instanzen verfügbar. 

Machine Learning 

Amazon Athena 

Im laufe des Monats Juni hat Amazon die allgemeine Verfügbarkeit der zweiten Version der Amazon Athena Engine für alle kommerziellen AWS Regionen bekannt gegeben, in denen zuvor auch die Version 1 verfügbar war.  

Amazon Athena ist ein interaktiver Abfrageservices, welcher die Analyse von Daten, die in einem S3-Bucket liegen, erlaubt. Dies erlaubt es beispielsweise, erste Exploration der vorhandenen Datensätze mittels SQL-Abfrage durchzuführen, bevor diese in ein Data Warehouse wie Snowflake oder Redshift geladen werden. Zu den neuen Funktionen der Version 2 zählen unter anderem die sogenannten „Federated Queries“, welche es unter Verwendung zusätzlicher Konnektoren erlaubt, weitere Datenquellen abzufragen – unabhängig davon, ob diese in der Cloud oder on-premises liegt. Weiterhin ist es nun möglich UDFs zu hinterlegen, um so zum Beispiel Daten dynamisch zu maskieren und dadurch sensible Daten vor unautorisierten Zugriffen zu sichern oder weitere AWS Services in die Abfrage zu integrieren, wie beispielsweise AWS Translate, um Daten zu übersetzen.  

Neben den hinzugekommenen Funktionen, sind auch die Abfragefunktionalitäten von AWS Athena verbessert worden. Unter anderem wurde das Gruppieren von Daten verbessert und somit Abfragezeiten reduziert, sowie die Einführung von Cross Joins vorgenommen. Eine vollständige Liste aller Verbesserungen finden Sie hier 

 

SageMaker Data Wrangler 

Für Machine Learning ist die Aufbereitung und Zusammenführung von Daten eine notwendige Vorarbeit, die in der AWS mit dem Service SageMaker Data Wrangler für unterschiedlichste Datenquellen bereits ausgeführt werden kann. Seit vergangenem Monat ist dies nun auch in Kombination mit dem Cloud Data Warehouse Snowflake möglich, d.h. die Daten können nun über SageMaker Data Wrangler aufbereitet und beispielsweise mit Daten aus S3 oder Redshift angereichert werden. Weiterhin können vorgefertigte Transformationen über den Service auf den Daten ausgeführt werden und mittels der Visualisierungsmöglichkeiten von SageMaker Data Wrangler Datensätze auf Extrema und potenzielle Fehlerquellen untersucht werden.  

ETL und Streaming 

AWS Glue Studio 

Für das AWS eigene ETL-Tool mit grafischer Oberfläche sind im Juni zwei interessante Änderungen vorgestellt worden. Diese sind die Verfügbarkeit eines Code-Editors, sowie die Möglichkeit, Einstellungen für Streaming-Jobs innerhalb des visuellen Interfaces festzulegen. Bei den Einstellungen für die Streaming-Jobs ist es nun möglich, Eigenschaften wie die Fenstergröße, Schemaerkennung sowie Verbindungseinstellungen manuell über die Oberfläche des Services festzulegen.  

Der neu eingeführte Code-Editor erlaubt es, die aus den im grafischen Interface generierten ETL-Codes innerhalb des Studios manuell zu bearbeiten und erleichtert somit das Editieren von Jobs. Zuvor war es notwendig, die Dateien zunächst auf das lokale System herunterzuladen und dort dann zu verändern. 

AWS Step Functions Workflow Studio 

AWS Step Functions ist einer der Schlüssel-Services, um Workflows in der AWS zu erstellen und so zum Beispiel die Ausführung von serverless Services wie AWS Lambda zu orchestrieren. Zur Erstellung eines solchen Workflows, musste bisher eine JSON-Datei unter Verwendung der Amazon State Language erstellt werden, in welcher die Reihenfolge sowie die Eigenschaften der einzelnen Schritte definiert werden musste.  

Zur Vereinfachung der Erstellung solcher Workflows hat AWS nun das Workflow Studio veröffentlicht, in welchem innerhalb einer grafischen Oberfläche, unter Anleitung von Amazon, Workflows erstellt werden können. Durch die Einführung einer grafischen Oberfläche zur Erstellung der Step Functions wird nun neuen Nutzern die Notwendigkeit abgenommen, die Amazon State Language zu lernen, und im Allgemeinen können Nutzer nun Workflows schneller erstellen.  

Development 

AWS CodeGuru 

Durch die Automatisierung von Prozessen und die Migration von Architekturen in die Cloud, ist die Anzahl an Codezeilen innerhalb von Unternehmen rapide gestiegen. Allein durch die schiere Masse an Codezeilen ist deren Review ein komplexes und zeitaufwändiges Unterfangen, welches aber unumgänglich und notwendig ist. 

Amazon CodeGuru bietet automatische Code Reviews an und unterstützt Java sowie Python Entwickler, die Qualität ihres Codes zu erhöhen oder hochzuhalten. Nun ist es möglich eine solche automatische Code Review innerhalb des normalen CI/CD-Vorgangs mittels GitHub Actions zu integrieren. 

 Als Entwickler ist es üblich, jeden Tag neuen Code zu pushen und zu pullen und Sicherheitslücken und Bugs sollten möglichst früh erkannt und ausgebessert werden, um spätere Nacharbeiten zu minimieren. CodeGuru unterstützt bei dieser zumeist anspruchsvollen Aufgabe und gibt Verbesserungsvorschläge während jeder Pull-Request als Kommentar und während jedes Pushes als Anmerkung im Security Bereich von GitHub aus. Zudem wurde zur weiteren Verbesserung des Services neue Java Detektoren eingeführt, die den Service hinsichtlich seiner Funktionalitäten zur Aufdeckung von Sicherheitslücken weiter verbessert. 

AWS DevOps Monitoring 

Ein wichtiger Teil im Bereich des DevOps ist das Monitoring der Lösung und des Prozesses. Um das Monitoring des Entwicklungsprozesses zu vereinfachen und Aktivitäten zu messen, hat Amazon AWS DevOps Monitoring entwickelt.  

Bei der Entwicklung mit AWS Tools erstellt jeder Entwickler eigenen Metriken, welche AWS DevOps Monitoring sammelt, analysiert und in einem zentralen Dashboard visualisiert, sodass Informationen wie die Change-Failure-Rate oder die Deployment-Frequency schnell einsehbar sind. Mit der neuen Version werden nun auch die Services AWS CodeBuild sowie AWS CodePipeline unterstützt, sodass nun auch die Anzahl an ausgelösten Builds, sowie Ausführungsdauer und -häufigkeiten überwacht und visualisiert werden können. 

Storage 

Amazon FSx for Windows File Server 

Der Service Amazon FSx for Windows File Server ist ein fully managed Objektdatenspeicher, welcher über das Server-Message-Block-Protokoll abgefragt werden kann und auf Windows Server aufsetzt. Zu den bisher verfügbaren Features, wie beispielsweise der Möglichkeit, Dateien durch Endnutzer wiederherzustellen oder der Integration in Microsofts Active Directory, ist nun auch das Auditing von Zugriffen von Endnutzern auf Dateien, Ordner und Shares mittels der Windows Eventlogs hinzugekommen.  

Die mittels File Access Auditing erstellten Logs können dann an einen AWS Service übergeben und weiterverarbeitet oder gespeichert werden. So können diese Logs beispielsweise mit den Amazon CloudWatch Logs kombiniert werden, um ein zentrales Monitoring und Auditing zu ermöglichen.  Des Weiteren birgt dies die Möglichkeit, die Logs aus CloudWatch Logs zu exportieren und in S3 zur weiteren Nutzung zu speichern oder mittels Lambda Funktion auf bestimmte Events agil zu reagieren, um so beispielsweise in real-time auf unautorisierte Zugriffe hinzuweisen.  

Das File Access Auditing steht kostenfrei bei der Verwendung von Amazon FSx for Windows File Server zur Verfügung und kann von allen neuen Filesysteme genutzt werden. 

Amazon DynamoDB Accelerator 

Amazon DynanoDB Accelerator ist ein fully managed in-memory Cache zur Verbesserung der Performance von Amazon DynamoDB und die Abfragezeiten drastisch reduzieren kann. Seit Juni ist es nun möglich, Daten während ihrer Übertragung von einer Anwendung zu DynamoDB Accelerator sowie zwischen den Knoten des Accelerators zu verschlüsseln und somit die Sicherheit der Daten in-transit zu erhöhen. Die Verschlüsslung erfolgt mittels Transport Layer Security (TLS) und Verbindungen zum Cluster werden mittels Zertifikats authentifiziert.  

Die Verschlüsselung kann entweder in der DynamoDB-Konsole, über die CLI, SDK oder CloudFormation aktiviert werden und ist in Europa in Frankfurt, Irland, London und Paris verfügbar. 

Für weitere regelmäßige Updates zum Thema AWS Cloud, folgen Sie unserer Präsenz aufXing und Instagramoder direkt unserem Blog.