Ankündigung der erstklassigen Unterstützung für das Iceberg-Format in Databricks Delta Sharing

Mit einem Nutzungswachstum von über 300 % im Jahresvergleich in zwei aufeinanderfolgenden Jahren ist Delta Sharing das am weitesten verbreitete offene Protokoll für das Teilen von Daten und KI. Führende Datenanbieter wie SAP, Walmart, Atlassian und LSEG nutzen Delta Sharing, um Daten mit ihren Partnern und Kunden über Clouds und Plattformen hinweg zu teilen. Wir freuen uns, heute bekannt zu geben, dass Databricks Delta Sharing erstklassige Unterstützung für das Apache-Iceberg-Format bietet.

Datenanbieter können jetzt Daten sicher und live von Databricks an jeden Client weitergeben, der die Apache Iceberg REST Catalog API unterstützt. Empfänger auf Plattformen wie Snowflake, Trino, Flink und Spark in allen Clouds können alle diese Funktion nutzen - und erweitern so das offene Ökosystem von Delta Sharing. 

Darüber hinaus starten wir eine Private Preview, die es Datenanbietern ermöglicht, Delta Sharing zu verwenden, um Iceberg-Tabellen zu teilen, die von Katalogen außerhalb von Databricks verwaltet werden – einschließlich AWS Glue, Hive Metastore, Snowflake Horizon und mehr.

Gemeinsam können Sie alle neuen oder vorhandenen Tabellen (Delta oder Iceberg, verwaltet oder fremd) freigeben. Dies führt zu einer vollständig offenen Interoperabilität. Sie können Iceberg-Tabellen aus jedem externen Katalog importieren, sie über Databricks und Unity Catalog verwalten und sie dann an jeden Empfänger weitergeben – egal, ob dieser auf Databricks, einem Iceberg-Client oder einem Delta-Client arbeitet. So können Sie Unity Catalog als Ihre einheitliche Data-Governance-Schicht nutzen, die Ihnen einen zentralen Ort für das gesamte Teilen bietet. 

In diesem Blogpost erklären wir, warum die offene Data Sharing wichtig ist. Außerdem werden wir uns in einer praxisnahen Demo damit befassen, wie Delta Sharing für Iceberg-Clients funktioniert.

Warum das wichtig ist: Offene vs. geschlossenes Teilen

Die meisten Data Sharing-Lösungen sind kein echtes Das Teilen – sie sind eine Falle. Sie sind grundsätzlich geschlossen und so konzipiert, dass sie eine Anbieterbindung gewährleisten, sodass Sie Daten nur mit anderen teilen können, die sich bereits in ihren geschlossenen Ökosystemen befinden. Das schränkt Ihre Möglichkeiten ein, erstickt Innovationen und führt zu einer massiven, sinnlosen Datenreplikation.

Delta Sharing ist der am weitesten verbreitete offene Standard für die sichere Data Sharing. Es wird von kategorieführenden Datenanbietern verwendet und ist für die Unterstützung verschiedener Clouds und Plattformen ausgelegt. Delta Sharing basiert auf drei Kernprinzipien:

• Geben Sie beliebige Assets (Vermögenswerte) frei.
• Für jeden freigeben.
• Reibungslos teilen.

Das Hinzufügen der Iceberg-Client-Unterstützung stärkt dieses Engagement. Damit können Sie eine Delta-Tabelle freigeben, während die Empfänger sie als native Iceberg-Tabelle nutzen. Das Teilen erfolgt über die Iceberg REST API, sodass Empfänger von jeder Iceberg-kompatiblen Plattform aus eine Verbindung herstellen können. Dadurch können Sie das Beste aus beiden Welten nutzen: Datenanbieter profitieren von erweiterten Delta Sharing-Features wie dem Teilen von Ansichten, während Empfänger native Iceberg-Tabellen über die Iceberg-REST-API erhalten.

Empfänger erhalten sicheren Live-Zugriff auf die Quelldaten. Dies beseitigt Silos und ermöglicht es Ihnen, Daten offen mit jedem zu teilen.

Dieses Feature ist ideal für Organisationen, die Daten extern mit Partnern und Kunden über Iceberg-Clients teilen müssen, z. B. mit solchen, die auf Snowflake arbeiten oder in Plattformen wie Trino, Flink oder Spark integriert sind. Unternehmen mit mehreren Geschäftsbereichen, die auf mehreren Plattformen tätig sind, profitieren ebenfalls, da sie einen nahtlosen, bidirektionalen Datenaustausch in Multi-Cloud- oder hybriden Umgebungen ermöglichen. Zu den Branchen, die diese Muster bereits nutzen, gehören das Gesundheitswesen, der Einzelhandel, die Finanzbranche, Ad-Tech und weitere.

Interoperabilität: Sowohl Quelle als auch Ziel 

Da wir an einen vollständig offenen Datenzugriff glauben, hören wir nicht damit auf, Daten für Iceberg-Clients freizugeben. Wir entwickeln jetzt die nächste Evolutionsstufe: Das Teilen von fremden Iceberg-Tabellen, die sich in externen Katalogen wie AWS Glue oder Snowflake Horizon befinden. Wir freuen uns, die Private Preview der Delta Sharing-Unterstützung für fremde Iceberg-Tabellen anzukündigen.

Sie fragen sich vielleicht: Warum sollte man eine Iceberg-Tabelle über Delta Sharing teilen, wenn sie sich in AWS Glue oder Snowflake befindet? Warum nicht direkt von dieser Plattform aus teilen?

Erstens erhalten Sie durch die Katalogisierung Ihrer externen Iceberg-Daten in Unity Catalog eine einheitliche Governance -Ebene in Unity Catalog, die Ihnen vollständige Transparenz und Governance über Ihren gesamten Datenbestand ermöglicht. Darüber hinaus können Sie mit Delta Sharing das Beste aus beiden Welten nutzen: Sie profitieren von den erstklassigen Freigabefunktionen von Delta Sharing, während Ihre Daten im Iceberg-Format bleiben. Dazu gehört beispielsweise die Möglichkeit, Ansichten über Delta Sharing für eine granulare Zugriffskontrolle freizugeben, was von der Iceberg IRC API nicht nativ unterstützt wird.

Mit dieser Private Preview ist das Databricks Lakehouse in beide Richtungen offen. Ihr Lakehouse kann Daten für das wachsende Iceberg-Ökosystem freigeben und Daten von diesem empfangen.

Diese Doppelfunktion bietet Ihnen:

• Einfache Zusammenarbeit: Arbeiten Sie zusammen, unabhängig davon, welches offene Tabellenformat Sie verwenden (Delta oder Iceberg).
• Gesteuerte Freigabe: Unity Catalog steuert den Zugriff und stellt Audit-Logs bereit.
• Größte Reichweite: Geben Sie Daten sowohl als Anbieter als auch als Empfänger frei und überwinden Sie so Plattformgrenzen.

Wie funktioniert das?

Stellen Sie sich vor, Ihr Unternehmen, die Provider Corp, verwendet Databricks und Delta Lake zur Verwaltung von Kundendaten. Sie müssen täglich eine Liste der Produkt-Vertrieb sicher mit der Partner Inc teilen, die Snowflake verwendet und das Iceberg-Format bevorzugt.

Vor diesem Feature: Provider Corp musste die Daten manuell exportieren, in ein für Snowflake lesbares Format umwandeln, in den Cloud-Speicher des Partners uploaden und einen komplexen Synchronisierungsjob einrichten. Dies ist langsam, kostspielig, mit erheblichem Verwaltungsaufwand verbunden und birgt das Risiko, dass die Daten veralten.

Mit Delta Sharing für Iceberg-Clients:

1. Provider Corp ermöglicht Iceberg-Lesevorgänge für Vertriebsdaten über UniForm (dies kann verwaltete und externe Delta-Tabellen, Ansichten, materialisierte Ansichten und Streamingtabellen umfassen) und gibt sie über Delta Sharing frei. Dies ermöglicht einen Live-Zugriff, ohne dass eine Duplizierung oder erneute Erfassung erforderlich ist.
2. Die Partner Inc richtet in Snowflake eine einfache Verbindung mit den bereitgestellten Anmeldeinformationen für eine sichere Authentifizierung über kurzlebige Bearer-Token ein.
3. Die Analysten von Partner Inc können die freigegebene Tabelle sofort mit Standard-SQL abfragen und sie wie eine native Iceberg-Tabelle in ihrer Snowflake-Umgebung behandeln.
4. Die Daten, die sie sehen, sind immer live (Zero-Copy), und Provider Corp behält die volle Sicherheit und Governance mit Auditing und Monitoring über den Unity Catalog.

Das macht das Data Sharing unmittelbar, sicher und völlig formatunabhängig.

Demo

In dieser Demo werden die Schritte zum Freigeben einer Tabelle und zum Lesen in Snowflake erläutert. 

1. Geben Sie die Tabelle über Delta Sharing frei und generieren Sie Anmeldeinformationen für den Empfänger.​
2. Der Empfänger lädt die Anmeldedatendatei herunter, lädt sie auf die Seite mit dem Aktivierungslink hoch und generiert den SQL. Der generierte SQL-Code enthält alle erforderlichen Anmeldeinformationen sowie die Katalog- und Tabellenreferenzen, die von ihrem Iceberg-Client (z. B. Snowflake) benötigt werden.
3. Nach Abschluss kann der Empfänger sofort Abfragen für die live freigegebenen Daten ausführen, als wären sie nativ auf seiner Plattform – keine manuelle Erfassung oder Kopien erforderlich.

Die nächsten Schritte

• Testen Sie jetzt die Public Preview von Delta Sharing für Iceberg-Clients direkt im Produkt – Leitfäden und Ressourcen finden Sie in der Databricks-Dokumentation und auf der Benutzeroberfläche Ihres Workspace.
• Wenn Sie an der Private Preview des Teilens von Foreign Iceberg Tables teilnehmen oder mehr über die vollständige Interoperabilität von Iceberg erfahren möchten, wenden Sie sich an Ihr Databricks-Account-Team.

Erste Schritte

• Lesen Sie die Dokumentation zu Delta Sharing, um mit Delta Sharing zu starten.
• Sehen Sie sich Delta Sharing in Action: Architecture and Best Practices vom Data and KI Summit 2025 an.
• Sehen Sie sich Securing Data Collaboration: A Deep Dive Into Security, Frameworks, and Use Cases vom Data and AI Summit 2025 an, um mehr über die Sicherheit, das Framework und die Anwendungsfälle von Delta Sharing zu erfahren.

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag