Am veröffentlicht

AWS Neuigkeiten September 2021  

Durch die Storage-Days zu Beginn des Monats steht der September nahezu gänzlich im Zeichen der verschiedenen Speicher-Services der AWS.Dieser Blogbeitrag stellt einen Ausschnitt aus den Neuerungen und Ankündigungen des Monats  September  dar, erhebt aber nicht den Anspruch auf Vollständigkeit. Das Hauptaugenmerk liegt hierbei auf Veränderungen, bei denen wir von einem direkten Einfluss auf unsere Kunden ausgehen. In diesem Beitrag werden insbesondere Änderungen und Ankündigungen der Services Amazon S3, AWS EFS und Amazon MSK vorgestellt.   

Storage 

Wie in der Einleitung bereits angemerkt, fand im September der inzwischen dritte jährliche AWS Storage Day statt. Der Storage Day ist – wie die re:invent auch – ein Event, an dem eine Vielzahl von Neuerungen und Ankündigungen bekannt gegeben werden. Im Gegensatz zu der re:invent liegt bei den Storage Days der Fokus allerdings ausschließlich auf den Speicher-Services der AWS Cloud. 

Amazon S3 

Für den Objektdatenspeicher S3 wurden zwei interessante Verbesserungen angekündigt. Die erste Verbesserung bezieht sich auf das Intelligent Tiering von AWS und den damit verbundenen Kosteneinsparungen. Die Zweite ist die Ankündigung von sogenannten Multi-Region Access Points, die die Performance von Anwendungen verbessern soll, die über mehrere Regionen hinweg verfügbar sind.  

Das Amazon S3 Intelligent-Tiering ist im Jahre 2018 von Amazon eingeführt worden, um Daten basierend auf ihren Zugriffsschemata dynamisch zwischen verschiedenen Storage-Tiers zu bewegen. Zur Verwendung des Intelligent Tierings mussten die Daten nur zwei Voraussetzungen erfüllen: Zum einen müssen die Dateien größer als 128KB sein und zum anderen mindestens 30 Tage gespeichert werden. Für die zukünftige Verwendung des Services gestaltet sich dies nun etwas anders: Währen der Storage Days hat AWS verkündet, dass zukünftig keine Überwachungs- und Automatisierungsgebühren für Objekte anfallen, die kleiner als 128KB sind und auch die Mindestspeicherdauer von 30 Tagen entfällt. Dies erlaubt es nun auch Daten in das Intelligent Tiering einzuordnen, deren Zugriffsmuster und Größe (noch) nicht bekannt sind, was der Verwendung in einem auf S3 aufbauenden Data Lake entgegenkommt.  

Die Änderungen betreffen nicht nur neu-erstellte, sondern auch bereits vorhandene Objekte und sind in allen AWS Regionen verfügbar. 

Die zweite Bekanntgabe für AWS S3 während der Storage Days ist die Ankündigung sogenannter Multi-Region Access Points, die die Performance von Anwendungen verbessern soll, die über mehrere Regionen hinweg verfügbar sind. Bereits zuvor war es möglich, Endnutzern Applikationen mittels Funktionen wie den Global Tables von DynamoDB, dem Global DataStore von ElastiCache oder der Cross-Region-Replication von Amazon S3 zur Verfügung zu stellen. Bisweilen brachte dies allerdings den Nachteil mit sich, dass Code-Passagen an die einzelnen Regionen angepasst werden mussten und häufig genau beobachtet werden musste, welche Ressourcen wann zum Tragen kamen. Als Beispiel kann man eine Applikation betrachten, die auf drei S3-Buckets mit Cross-Region-Replication in drei verschiedene AWS Regionen basiert. Die Applikation muss nun zu jedem Zeitpunkt wissen, wie viele Kopien der Buckets existieren, wo diese liegen, welche davon der geografisch am nächsten Gelegene ist und was im Falle eines Fallbacks passiert. Im Falle von lediglich drei Regionen ist dies noch mehr oder weniger überschaubar. Steigt allerdings die Anzahl an Regionen, so steigt auch die Komplexität der Applikation und ihres Quellcodes ungemein.  

Aus dieser Motivation heraus sind die neuen Multi-Region Access Points entstanden, welche auf den AWS Global Accelerator aufsetzen und Abfragen von S3 über das AWS Global Network leiten. Durch die Verwendung des Global Accelerators von AWS kann die Verfügbarkeit einer Region konstant überwacht werden und im Falle eines Ausfalls können Anfragen binnen Sekunden in eine andere Region ausgelagert werden.  

Die neuen Multi-Region Access Points können in der Konsole, über die CLI oder die SDK eingerichtet werden und sind bisweilen in 17 Regionen verfügbar – Frankfurt, Irland, London, Paris und Stockholm eingeschlossen. Zusätzlich zu den normalen Kosten für die Nutzung von S3 entstehen Kosten für das Routing der Daten in Höhe von 0,0033$ pro GB sowie weitere Transferkosten, wenn die Daten das öffentliche Internet passieren. 

Amazon EFS 

Ähnlich wie AWS S3 bietet auch EFS verschiedene Storage Tiers an, um Daten kosteneffizient zu speichern und bietet, ebenfalls wie S3, die Möglichkeit, Daten mittels Lifecycle Management nach einer bestimmten Zeit der nicht-Nutzung in ein kälteres Tier zu verschieben. Dieses Vorgehen birgt allerdings eine Krux: Durch die Verschiebung der Daten in eine kältere Storage Tier entstehen geringere Kosten für das Speichern der Daten, allerdings höhere Kosten für die Abfrage eben jener. Sollte sich also das Abfrageverhalten der Nutzer ändern und die Daten werden nun häufiger abgefragt, so können unerwünscht Kosten entstehen. Aus dieser Überlegung heraus ist bereits das AWS S3 Intelligent Tiering entstanden und nun wurde während der Storage Days auch das EFS-Pendant vorgestellt. Wie oben beschrieben, können Daten automatisch in ein kälteres Storage-Tier verschoben werden. Sollte sich allerdings nun das Abfrageverhalten ändern, so können mittels EFS Intelligent Tiering die Daten wieder in ein wärmeres Tier zurückgeschoben werden und die Kosten bei der Nutzung von Amazon EFS optimiert werden. 

EFS Intelligent Tiering ist ab September 2021 in allen Regionen verfügbar, in denen auch Amazon EFS verfügbar ist. 

Compute 

Amazon EKS Anywhere 

Bereits währen der re:invent des vergangenen Jahres wurde sowohl ECS Anywhere als auch EKS anywhere angekündigt. Seit September 2021 ist nun EKS Anywhere frei verfügbar und bietet eine Option, wenn man Kubernetes gestützt von AWS EKS in seinem eigenen on-premises Data Center nutzen möchte. Am Ende des Absatzes befindet sich eine Tabelle, die eine Übersicht über die Unterschiede der verschiedenen Angebote beinhaltet. 

Feature  Amazon EKS  EKS on Outpost  EKS Anywhere  EKS Distro 
Hardware  Managed by AWS    Managed by customer 
Deployment types  Amazon EC2, AWS Fargate (Serverless)  EC2 on Outposts  Customer Infrastructure 
Control plane management  AWS-Managed  Self-Service 
Control plane location  AWS Cloud  Im eigenen Data Center 
Cluster updates  Managed in-place update process for control plane and data plane  CLI (Flux unterstützt rolling Updates für data plane, manuelle updates für control plane) 
Networking and Security  CNI + third-party CNI Plugins  Cilium CNI  Third-party CNI plugins 
Console support  Amazon EKS console  EKS Console (EKS Connector)  Self-service 
Support  AWS Support  EKS Anywhere support subscription  Self-service 

 

 

Machine Learning 

Amazon QuickSight Q 

Geschäftsdaten auf nützliche Informationen zu untersuchen, kann eine komplexe und zugleich sehr wertvolle Aufgabe sein. Mit QuickSight stellt Amazon ein stark skalierbares BI-Tool zur Verfügung, welches über die Jahre konstant erweitert und verbessert wurde. Die aktuellste Verbesserung ist das sogenannte QuickSight Q, welches bereits im Dezember präsentiert wurde, nun aber frei verfügbar ist. 

QuickSight Q ist ein Natural-Language-Query-Tool, welches für die Enterprise Edition von Amazon QuickSight verfügbar ist. Trainiert wurde das zugrundeliegende Modell mit dem Wortschatz und Fragestellungen verschiedener Domänen – wie beispielsweise Sales, Marketing oder Human Resources -, sodass QuickSight Q in der Lage ist, Fragen aus diesen Branchen basierend auf den Datenquellen, die von QuickSight unterstützt werden, zu beantworten.  

QuickSight Q ist seit September für alle Kunden mit Standort Frankfurt, Irland, Ohio, Oregon, North Virginia und London verfügbar, allerdings wird zum Release zunächst nur die englische Sprache unterstützt.  

Streaming 

Amazon MSK 

Kafka Connect ist eine Open-Source Komponente von Apache Kafka, die die Verbindung zu externen Systemen wie Datenbanken, Key-Value-Stores und Filesystemen erlaubt. Die benötigte Infrastruktur, um ein Kafka Connect Cluster zu betreiben, musste bisweilen selbst gemanaged und skaliert werden. Dies soll zukünftig mit Amazon MSK Connect umgangen werden können. Amazon MSK Connect stellt nicht nur die benötigten Ressourcen zur Verfügung und verwaltet diese, sondern betreibt auch ein kontinuierliches Monitoring des Systems und skaliert die Konnektoren automatisch, um auf Lastspitzen zu reagieren.  

 

Weiterhin ist MSK Connect vollständig kompatibel mit Kafka Connect, sodass bereits bestehenden Konnektoren ohne Code-Änderungen migriert werden können. Neben Apache Kafka selbst unterstützt MSK Connect auch Amazon MSK, also das fully-managed Pendant zu Kafka von Amazon, sowie weitere 3rd-Party Clusters als Quell- und Zielort.  

 

In Europa ist MSK Connect in Frankfurt, Irland, London, Paris und Stockholm verfügbar. Preislich orientiert sich der Service am pay-as-you-go Konzept. Genau Preiskonstellationen können den Pricing-Tabellen zu Amazon MSK entnommen werden: https://aws.amazon.com/de/msk/pricing/ 

 

Für weitere regelmäßige Updates zum Thema AWS Cloud, folgen Sieunserer PräsenzaufXingundInstagramoder direkt unserem Blog.