Am veröffentlicht

AWS Neuigkeiten März 2021

Nach einem verhältnismäßig ruhigen Februar und zu Beginn des Frühlings liefert AWS seinen Nutzern wieder eine Vielzahl von Neuerungen und Erweiterungen der bereits bestehenden Services.

Dieser Blogbeitrag stellt einen Ausschnitt aus den Neuerungen und Ankündigungen des Monats März dar, erhebt aber nicht den Anspruch auf Vollständigkeit. Das Hauptaugenmerkt liegt hierbei auf Veränderungen, bei denen wir von einem direkten Einfluss auf unsere Kunden im Versicherungs-, Finanz- und Retailsektor ausgehen. In diesem Beitrag werden insbesondere Änderungen und Ankündigungen der Services AWS S3, AWS Redshift, AWS Fault Injection Simulator und AWS QuickSight vorgestellt.

 

AWS S3

Wie beinahe jeden Monat, wurden von Amazon auch im März Änderungen am Cloudobjektdatenspeicher durchgeführt. Die interessantesten Änderungen in diesem Monat beziehen sich auf das Zusammenspiel mit dem Serverless Compute Service AWS Lambda sowie einer Preisreduzierung von Amazon S3 Glacier.

 

AWS S3 Object Lambda

Einer der Hauptverwendungszwecke des S3-Services ist das zentrale Speichern von Daten an einem einzigen Ort, um von dort aus mehrere Applikationen mit Daten zu versorgen. Eine Problematik, die sich bei dieser Verwendungsart immer wieder ergibt, ist, dass verschiedene Applikationen auch verschiedene Ansprüche an die Daten haben. So kann es zum Beispiel sein, dass Daten, die aus dem Sales-Bereich einer Organisation stammen, zunächst von sensiblen Informationen bereinigt werden müssen, bevor die Daten zu analytischen Zwecken freigegeben werden können, wohingegen bei der Verwendung für den Marketing-Sektor die Daten sogar noch weiter angereichert werden müssen.

Um diesen unterschiedlichen Ansprüchen gerecht zu werden, war es bisher nötig, entweder jeweils passende Versionen des Datensatzes zu erstellen, zu speichern und schließlich auch zu verwalten oder aber eine Art Proxy-Layer zwischen den S3-Speicher und dem anfragenden System aufzubauen, welches die Daten je nach Anfrage aufbereitet. Beide Lösungsansätze führten jedoch zu erhöhten Kosten sowie einem Mehraufwand an Wartungsarbeit.

AWS hat sich im März nun diesem Problem angenommen und die AWS S3 Object Lambda Funktionen eingeführt. Dieses neue Feature ermöglicht es, mit Hilfe von Lambda-Funktionen, Daten, die per „Get“-Request abgefragt werden, automatisch anzupassen und macht somit eine oben beschrieben Architektur obsolet. Da die Lambdas schlussendlich durch die „Get“-Requests auch aufgerufen werden, müssen hierfür keine Anpassungen an der anfragenden Applikation selbst vorgenommen werden, sondern lediglich passende Access Points und Lambda-Funktionen definiert werden. Bei einer solchen Konstruktion wird der Lambda-Funktion bei Aufruf alle notwendigen Informationen über das anfragende System und das abgefragte Objekt mitgegeben, sodass für das jeweilige Target-System passende Transformationen und Anreicherungen durchgeführt werden können.

Bei der Verwendung des Services fallen die üblichen Kosten und Limitationen von Lambda-Funktionen an. Die letzten Änderungen hinsichtlich der Abrechnungszeiten und RAM-Nutzung haben wir in diesem Blogbeitrag im Januar vorgestellt.

 

 

AWS S3 Glacier

Eine weitere Änderung von AWS S3 bezieht sich auf die Kosten für „Put“- und Lifecycle-Anfragen von Daten, die in S3 Glacier abgelegt worden sind bzw. abgelegt werden.

Die Cold Data Storage Tiers AWS S3 Glacier bzw. AWS S3 Glacier Deep Archive werden häufig zum Persistieren bzw. Archivieren selten genutzter Daten verwendet. Beide Tiers bestechen zwar durch sehr geringere Speicherkosten, bringen dafür allerdings standardmäßig sehr hohe Abfragezeiten und -kosten mit sich. AWS verringert die Kosten für das Ablegen von Daten in AWS S3 Glacier um 40%. Dies gilt sowohl für die manuelle Ablage mittels der „Put“-API sowie der automatischen Verschiebung der Daten mittels Lifecycle Policy.

 

AWS Redshift

Auch für das Cloud Data Warehouse AWS Redshift sind seit März einige interessante Änderungen und Neuerungen verfügbar. Dies bezieht sich sowohl auf direkte Veränderungen des Services, wie beispielsweise der Möglichkeit, datenbankübergreifende Abfragen auszuführen, aber auch generelle Neuerungen, wie der Verfügbarkeit von weiteren Knotentypen.

 

Datenbankübergreifende Redshift-Abfragen/Redshift Data Sharing

Bei der Verwendung von AWS Redshift ist es häufig so, dass Kunden ihre Daten über mehrere Datenbanken hinweg speichern und organisieren. Jedoch ist es möglich, dass einige Usergruppen über ihre Datensätze hinweg Abfragen und Joins durchführen wollen bzw. müssen. Dies ist nun mittels Datenbankübergreifenden Abfragen möglich, ohne eine direkte Verbindung zur jeweiligen Datenbank aufzubauen.

AWS Redshift verfügt nun überall, wo auch die neuen RA3-Knoten verfügbar sind, über die Möglichkeit, Abfragen über mehrere Datenbanken hinweg durchzuführen. Dies erlaubt es in einem Redshift Cluster Daten aus einer beliebigen Datenbank, unter Restriktion der Zugriffkontrollen für Benutzer, Daten abzufragen und sogar zu eliminieren. Die Compute-Ressourcen, die hierbei beansprucht werden, sind die des Verbraucherclusters. Allgemein wird mittels solcher Abfragen die Datenorganisation innerhalb eines Unternehmens vereinfacht.

Eine weitere Neuerung von AWS Redshift ist, dass zu dem oben angesprochenen RA3-Knoten mit dem RA3.xlplus ein weiterer Knotentyp in Europa nun verfügbar ist. Die RA3-Knoten wurden im Dezember 2019 zu den bisher verfügbaren Compute und Storage Nodes hinzugefügt und verwenden im Gegensatz zu den beiden Letzteren keine SSD bzw. HDD als Speichermedium, sondern greifen auf den S3-Speicher von AWS zurück, was ein flexibles Skalieren des Storages in Redshift-Architekturen ermöglicht. Bisher war es allerdings so, dass die RA3-Knoten mit 12 bzw. 48 vCPUs verhältnismäßig hohe Kosten erzeugten für Compute-Ressourcen, die unter Umständen nicht vollständig ausgeschöpft werden konnten. Der RA3.xlplus ist deutlich kleiner und verfügt hingegen lediglich noch über 4 vCPUs, wodurch er eine kostengünstige Alternative darstellt.

 

AWS Fault Injection Simulator

Ein häufiger Grund in die Cloud zu wechseln ist – neben der Hoffnung auf eine Kostenersparnis und der flexiblen Skalierbarkeit der einzelnen Komponenten einer Architektur – die hohe Ausfallsicherheit. Um dies zu gewährleisten lieferte AWS bereits einige Komponenten und Möglichkeiten, wie zum Beispiel das Verwenden von verschiedenen Regionen und Rechenzentren, Load Balancer oder Cross-Region Replication. Hierbei stellen sich jedoch häufig zwei Fragen: Wie verlässlich sind diese Maßnahmen wirklich und was passiert mit den Systemen im Falle eines Ausfalls?

Um die erzeugten Vorkehrungen auch tatsächlich zu testen, hat Amazon Mitte des Monats den AWS Fault Injection Simulator veröffentlicht. Unter Verwendung dieses Services, können bewusst Fehler in ein System eingespielt werden, um diese auf ihre Verlässlichkeit hin zu untersuchen. Bisher wird der Service in Verbindung mit EC2-Instanzen, dem Elastic Container Service (ECS), dem Elastic Kubernetes Service (EKS) sowie dem Relational Database Service (RDS) unterstützt, allerdings soll diese Liste im Verlaufe des Jahres um weitere Services ergänzt werden.  

 

AWS QuickSight

 

Amazon QuickSight ist ein cloud-basierter BI-Service, mit welchem es möglich ist, Daten aus verschiedenen Quellen zusammenzuführen und zu visualisieren, um schlussendlich ein tieferes Verständnis der Daten zu erhalten. Um dies nun noch weiter zu vereinfachen, hat Amazon die sogenannte QuickInfo eingeführt, mit welcher Dashboard-Leser zusätzliche Erkenntnisse aus den Darstellungen gewinnen können. Die QuickInfo soll hierbei zusätzlichen Kontext zu den bestehenden Dashboards mit weiteren Dimensionen und Metriken liefern. Welche zusätzlichen Informationen in der QuickInfo stehen sollen, kann von dem jeweiligen Erstellen des Dashboards definiert und angepasst werden.

Zusätzlich hierzu hat Amazon auch die Anomalieerkennung von QuickSight verbessert. Dies erlaubt es nun schneller Benachrichtigungen zu erhalten, wenn Auffälligkeiten im System auftreten. Eine weitere Änderung, welche die Arbeit mit QuickSight vereinfacht, ist, dass im Kontextmenü der aktuelle Kontoname angezeigt wird. Dies ist insbesondere bei der Arbeit mit mehreren Konten, so wie es beispielsweise bei einer Unterteilung in eine Test- und eine Produktionsumgebung auftreten kann, von Relevanz.

Policy Validation

Einer der wahrscheinlich elementarsten Bereiche bei der Arbeit mit AWS ist das Identity and Access Management (IAM). Im IAM-Abschnitt von AWS werden unteranderem Zugriffs- und Nutzungsberechtigungen von Usern festgelegt. Bei der Vergabe von Zugriffen empfiehlt es sich grundsätzlich, so wenig Berechtigungen wie nötig zu vergeben. Um dies zukünftig einfacher zu gestalten, hat AWS die sogenannte Policy Validation eingeführt, welche eine Überprüfung von IAM-Policies vornimmt, noch bevor sie einem User gewährt werden. Hierbei werden Policies auf über 100 mögliche Problemstellungen untersucht. In Anschluss an diese Überprüfungen werden von AWS konkrete Empfehlungen und Verbesserungsvorschläge ausgegeben. So warnt AWS zum Beispiel vor zu geringen Restriktionen, welche unter anderem bei der Vergabe mittels sogenannter Wildcards entstehen können oder gibt konkrete Fehler an, wie zum Beispiel eine falsche Formatierung eines Datums.

 

AWS Glue Studio

In den letzten Monaten gab es immer mehr Veränderungen und Neuerungen an AWSs ETL-Tool AWS Glue bzw. AWS Glue Studio, welche wir ebenfalls in vergangenen Blogbeiträgen vorgestellt haben. Seit Ende März ist es jetzt auch möglich, SQL-Abfragen zur Transformation in AWS Glue Studio zu definieren, um Aggregationen und Filterlogik noch einfacher auf den Daten durchführen zu können. Bisher war es – zumindest für unerfahrene Sparkprogrammier – nötig auf einzelne Code-Snippets zurückzugreifen, um Transformationen durchführen zu können, die noch nicht als visuelles Objekt verfügbar waren. Da es nun möglich ist, auch Aggregationen und Filter mittels SQL zu definieren, wird die Verwendung von AWS Glue auch für User ohne Spark-Erfahrungen simpler und auch performanter.

 

 

Für weitere regelmäßige Updates zum Thema AWS Cloud, folgen Sie unserer Präsenz auf Xing und Instagram oder direkt unserem Blog.