Verbinden Sie Amazon S3-Daten mit Databricks über delegierte IAM-Berechtigungen

Bedeutung einer einfacheren S3-Anbindung

Die Anbindung von Amazon S3 ist einer der wichtigsten Einrichtungsschritte, um einen Mehrwert aus Databricks zu ziehen. Externe Speicherorte (External Locations) stellen die kontrollierte Verbindung zwischen Ihrem S3-Bucket und Unity Catalog her, sodass Databricks Daten sicher lesen und schreiben kann. Diese Einrichtung ist grundlegend für gängige Workflows, von der Datenaufnahme (Ingestion) und Pipelines bis hin zu Analytics und Governance. Sie wird auch immer wichtiger, da sich immer mehr Menschen für LTAP (Lake Transactional/Analytical Processing) entscheiden – eine neue Architektur, die darauf ausgelegt ist, transaktionale und analytische Daten auf einer einzigen kontrollierten Basis zu vereinheitlichen, ohne den herkömmlichen Aufwand für Pipelines, Replikate und ETL.

Heute autorisieren Kunden die S3-Anbindung durch das Erstellen eines externen Speicherorts – ein Unity Catalog-Objekt, das einen Speicherpfad mit einer Speicherberechtigung (Storage Credential) kombiniert, um den Lese- und Schreibzugriff auf Ihren S3-Bucket zu autorisieren.

Bisher war die Anbindung an S3 oft einer der mühsamsten Schritte beim Einstieg in Databricks. Die automatische Einrichtung hilft Kunden, weniger Zeit mit der Verwaltung der Cloud-Infrastruktur zu verbringen und mehr Zeit in den Aufbau von Data Intelligence auf Basis ihrer Daten zu investieren.

So funktioniert die automatisierte S3-Anbindung

Das Verbinden eines Amazon S3-Buckets mit Databricks erfordert das Erstellen eines externen Speicherorts – eine in Unity Catalog registrierte Verbindung, die regelt, wie Databricks Ihre Daten liest und schreibt. Bisher bedeutete dies das Schreiben von 140-zeiligen IAM-Vertrauensrichtlinien (Trust Policies), das Konfigurieren von S3-Bucket-Berechtigungen, das Bereitstellen von CloudFormation-Vorlagen und das Hin- und Herwechseln zwischen der AWS-Konsole und Databricks, um alles korrekt zu registrieren.

Jetzt haben wir diesen Prozess auf wenige Klicks reduziert:

Was passiert im Hintergrund?

Dieser neue Ablauf basiert auf der temporären AWS IAM-Delegierung. Nachdem Sie Ihren S3-Bucket und die Zugriffsebene festgelegt haben, werden Sie aufgefordert, sich bei AWS einzuloggen, um Ihre Berechtigungen zu überprüfen. Wenn Sie über ausreichenden Zugriff verfügen, können Sie Databricks eine temporäre, zeitlich begrenzte Autorisierung erteilen, um die erforderlichen Ressourcen in Ihrem Namen bereitzustellen. Benutzer, die nicht über ausreichende AWS-Berechtigungen verfügen, können diese direkt im Ablauf von ihrem AWS-Administrator anfordern.

Sobald diese Delegierung eingerichtet ist, übernimmt Databricks automatisch den Rest:

• Speicherberechtigung (Storage Credential): Es wird eine IAM-Rolle mit den geringstmöglichen Berechtigungen (Least-Privilege-Prinzip) erstellt und die kontoübergreifende Vertrauensrichtlinie (Cross-Account Trust Policy) korrekt konfiguriert.
• Externer Speicherort (External Location): Ein vollständig konfigurierter externer Speicherort, der in Unity Catalog registriert und Ihrem angegebenen Bucket zugeordnet ist. Auto Loader und File Events werden automatisch aktiviert.
  Sobald die Einrichtung abgeschlossen ist, läuft die Autorisierung automatisch ab. Databricks behält niemals dauerhaften Zugriff auf Ihr AWS-Konto, und alle während der Bereitstellung durchgeführten Aktionen werden in AWS CloudTrail protokolliert.

Was das in der Praxis bedeutet

Die manuelle Konfigurationsarbeit, die zuvor über mehrere Konsolen hinweg erfolgen musste, findet nun in einer einzigen Sitzung nativ im Databricks-Workspace statt. Die automatisierte Bereitstellung eliminiert die häufigsten Fehlerursachen wie fehlerhafte Vertrauensrichtlinien, fehlende Bucket-Berechtigungen oder falsch konfigurierte ARNs und stellt gleichzeitig sicher, dass jede erstellte IAM-Rolle den Least-Privilege-Prinzipien entspricht, die an den Sicherheitsstandards von Unternehmen ausgerichtet sind.

Da sich immer mehr Anwender für die LTAP-Architektur entscheiden, beseitigt eine einfachere S3-Anbindung eine wichtige Infrastrukturbarriere. Sie bietet ein kontrolliertes Cloud-Speicherziel, auf dem operative Daten sofort von Analyse-Engines abgefragt werden können, ohne dass separate Pipelines erforderlich sind.

Mehr erfahren

Navigieren Sie in Ihrem Workspace zu Catalog Explorer → External Locations → Create (/explore/locations/create), um Ihren S3-Bucket automatisch über die automatische Einrichtung zu verbinden.

Weitere Informationen:

• Erfahren Sie mehr über die Einrichtungsoptions für externe Speicherorte
• Vom Monolithen über Lakebase zu LTAP: Die Datenbank vom Speicher her neu denken
• Erfahren Sie mehr über die temporäre AWS IAM-Delegierung

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag