Wie verwaltete Tabellen in Unity Catalog Interoperabilität, Performance und einheitliche Governance in das Lakehouse bringen

Unity Catalog wurde für Interoperabilität im großen Stil entwickelt. Unternehmen haben die Flexibilität, jede Engine auf einer einzigen Datenkopie auszuführen, wobei die Governance zentral durchgesetzt wird.

Heute gehen wir bei der Interoperabilität noch einen Schritt weiter. Wir freuen uns, ankündigen zu können, dass der externe Zugriff auf von Unity Catalog (UC) verwaltete Delta-Tabellen jetzt in der Public Preview verfügbar ist.

Im vergangenen Jahr hat sich eine wachsende Liste von Engines – von Apache Spark und Flink bis hin zu Starburst und DuckDB – in von UC verwaltete Delta-Tabellen integriert, und das Ökosystem wächst weiter. Unternehmen profitieren von den Vorteilen beider Welten: dem hervorragenden Preis-Leistungs-Verhältnis von UC-verwalteten Tabellen und der Flexibilität, die für den jeweiligen Workload am besten geeignete Engine zu nutzen. Unity Catalog bleibt die zentrale Governance-Ebene und stellt sicher, dass Zugriffsrichtlinien über alle Engines hinweg konsistent durchgesetzt werden.

Bisher nutzten Teams, die Zugriff über mehrere Engines hinweg benötigten, externe Tabellen, bei denen es jedoch an Performance-Optimierungen und Governance-Garantien mangelt. Da der externe Zugriff nun in der Public Preview verfügbar ist, gehört dieser Kompromiss der Vergangenheit an. UC-verwaltete Tabellen sind die klare Wahl für das Lakehouse in Bezug auf Preis, Performance und Interoperabilität.

Warum sich Teams für von Unity Catalog verwaltete Tabellen entscheiden

UC-verwaltete Tabellen kombinieren die Interoperabilität von Delta Lake und Apache Iceberg mit automatischen, integrierten Funktionen, die die Abfrage-Performance verbessern, die Speicherkosten senken und Tabellen langfristig in einem guten Zustand halten. Sie bilden auch die Grundlage für Plattform-Features wie Disaster Recovery und Zerobus-Ingestion.

Databricks optimiert verwaltete Tabellen automatisch durch Predictive Optimization. Predictive Optimization bereinigt den Speicher, erfasst Abfragestatistiken und wählt automatisch Liquid-Clustering-Spalten aus, um Tabellenlayouts bei sich ändernden Abfragemustern anzupassen. Zusammen können diese Vorteile bis zu 50 % Speicherkosteneinsparungen und eine 20-mal schnellere Abfragegeschwindigkeit ermöglichen, während Datenteams Tabellen nicht mehr manuell optimieren müssen.

Wir haben vor Kurzem die allgemeine Verfügbarkeit (General Availability) von Katalog-Commits angekündigt, wodurch Unity Catalog zum Commit-Koordinator für UC-verwaltete Tabellen wird. Anstatt dass externe Clients Commits direkt im Cloud-Speicher durchführen, werden Schreibvorgänge in von UC verwaltete Delta-Tabellen über den Katalog koordiniert. Dies macht Unity Catalog zur Single Source of Truth für den Tabellenstatus, was wichtige Vorteile wie sichere externe Schreibvorgänge, Multi-Statement-Transaktionen und die Überwachung externer Vorgänge ermöglicht.

Erstellen, Lesen und Schreiben über externe Engines

Jetzt in der Public Preview können externe Engines:

• Von UC verwaltete Delta-Tabellen mit Katalog-Commits über Apache Spark (Batch und Streaming), Apache Flink, Starburst, DuckDB und Streamnative erstellen, lesen und beschreiben.
• Die Governance in Unity Catalog über alle Engines hinweg zentralisiert halten.
• Von Predictive Optimization profitieren, was die Kosten senkt und die Performance über alle Engines hinweg verbessert.

Der externe Zugriff basiert auf offenen APIs für Metadaten, Credential Vending und Commit-Koordination. Credential Vending stellt kurzlebige, bereichsbezogene Anmeldeinformationen basierend auf UC-Berechtigungen aus, während die Unity Catalog Delta-API Delta-Engines einen versionierten Vertrag für Erstellungs-, Lese- und Schreibvorgänge bietet. Da diese APIs offen sind und im Unity Catalog OSS-Projekt implementiert wurden, kann jede Engine mit Unterstützung für Erstellen, Lesen und Schreiben integriert werden. Das Ergebnis ist ein wachsendes Ökosystem von Engines, die auf derselben verwalteten Datenkopie in Databricks UC und in UC OSS arbeiten.

Partner entwickeln bereits auf unterschiedliche Weise Lösungen rund um diese APIs. Starburst beispielsweise lässt sich in Unity Catalog und Delta Lake integrieren, um das Erstellen, Lesen und Schreiben in von UC verwalteten Delta-Tabellen zu unterstützen.

„Starburst teilt die Vision von Databricks in Bezug auf Offenheit und Interoperabilität im gesamten Daten-Ökosystem. Durch die Integration mit von Unity Catalog verwalteten Tabellen ermöglichen wir es Kunden, eine Single Source of Truth für all ihre Daten zu schaffen – mit zentralisierter Governance und der Flexibilität, die Tools ihrer Wahl zu nutzen.“ —Justin Borgman, CEO, Starburst Data

Erweiterung des Ökosystems durch Delta Kernel

Der externe Zugriff auf UC-verwaltete Tabellen ist Teil einer umfassenderen Investition in das Delta Lake- und Unity Catalog OSS-Ökosystem. Das Ziel besteht darin, Delta an das von Iceberg entwickelte katalogverwaltete Modell anzupassen, damit Unternehmen von den Performance- und Konsistenzgarantien eines Katalogs profitieren und gleichzeitig die Interoperabilität mit jeder Engine beibehalten können.

Wir erweitern das Delta-Ökosystem mit Delta Kernel, das Bibliotheken zum Lesen, Schreiben und Committen in Delta-Tabellen bereitstellt, ohne das Protokoll von Grund auf neu implementieren zu müssen. In Kombination mit den UC Delta-APIs in UC OSS ermöglicht Delta Kernel einer Engine die nahtlose Integration in einen von Databricks verwalteten Katalog oder eine selbst gehostete UC OSS-Bereitstellung.

Beispielsweise hat DuckDB seine Delta- und Unity Catalog OSS-Erweiterungen auf Delta Kernel aufgebaut. Seit DuckDB v1.5.1 kann es UC-verwaltete Delta-Tabellen direkt lesen und beschreiben. Dies spiegelt unser Engagement für ein offenes, interoperables Ökosystem wider: Während sich das Delta-Protokoll weiterentwickelt, übernehmen auf dem Kernel basierende Engines automatisch die neuesten Features, sodass Kunden unabhängig von der gewählten Engine immer Zugriff auf die neuesten und besten Funktionen haben.

„DuckDB-Benutzer schätzen es, direkt mit offenen Lakehouse-Daten aus einer schlanken Analyse-Engine heraus arbeiten zu können. Die Integration von Delta Lake und Unity Catalog trägt dazu bei, diese Erfahrung auf verwaltete Unternehmenstabellen zu übertragen, einschließlich Workflows, bei denen über eine Engine geschriebene Daten von einer anderen konsistent gelesen werden können.“ —Hannes Mühleisen, CEO, DuckDB Labs

Wir arbeiten weiterhin mit der Community zusammen, um weitere Kernel-basierte Integrationen mit UC-verwalteten Delta-Tabellen zu entwickeln. Beispielsweise machen wir große Fortschritte dabei, Flink-Streaming-Workloads mit einem neuen Kernel-basierten Flink-Connector in UC-verwaltete Tabellen zu integrieren.

Zentralisierte Governance

Eine zentralisierte Governance ist für Pipelines mit mehreren Engines von entscheidender Bedeutung. Eine Streaming-Anwendung schreibt möglicherweise Daten in eine verwaltete Tabelle, Spark transformiert sie und Starburst oder DuckDB fragen sie ab – unabhängig von der Engine oder der Identität hinter der Abfrage müssen Zugriffskontrollen eingehalten werden.

Unity Catalog ist die einheitliche Governance-Ebene für jede Engine. Plattformteams steuern über UC-Berechtigungen, welche Principals extern auf Tabellen zugreifen können und was sie tun dürfen. Engine-übergreifendes ABAC erweitert dies noch und ermöglicht es Unity Catalog, Zeilen zu filtern oder Spalten bei Lesevorgängen von externen Engines zu maskieren. Feingranulare Zugriffskontrollen werden für UC-verwaltete Tabellen zentral durchgesetzt, ohne dass benutzerdefinierte Workarounds erforderlich sind.

Nutzen Sie UC-verwaltete Tabellen noch heute

Für Teams, die auf dem offenen Lakehouse aufbauen, bieten UC-verwaltete Tabellen das stabilste Fundament. Predictive Optimization optimiert automatisch Datenlayouts und führt Tabellenwartungen durch, was ohne manuellen Aufwand das beste Preis-Leistungs-Verhältnis liefert. Interoperabilität ist ebenfalls integriert: Verwaltete Tabellen werden im Delta- oder Iceberg-Format gespeichert und sind von jeder Engine aus zugänglich, sodass Teams sich nie zwischen Performance und Flexibilität entscheiden müssen.

Teams, die externe Tabellen nutzen, können vorhandene Tabellen direkt mit ALTER TABLE SET MANAGED upgraden. So profitieren sie von Predictive Optimization und Katalog-Commits, während sie den offenen Zugriff über mehrere Engines hinweg beibehalten, auf den sie sich bereits verlassen.

Unsere Vision ist klar: Kunden sollten in der Lage sein, die beste Engine für jeden Workload zu nutzen und gleichzeitig eine einzige Datenkopie in Unity Catalog mit dem besten Preis-Leistungs-Verhältnis und einer einheitlichen Governance zu verwalten.

Erste Schritte

Der externe Zugriff auf von UC verwaltete Delta-Tabellen ist in der Public Preview verfügbar, einschließlich der Unterstützung von Erstellungs-, Lese- und Schreibvorgängen durch externe Clients.

So legen Sie los:

1. Aktivieren Sie den externen Datenzugriff auf Ihrem Unity Catalog-Metastore.
2. Erteilen Sie EXTERNAL USE SCHEMA für das Schema, das die von UC verwalteten Delta-Tabellen enthält, auf die externe Engines zugreifen sollen.
3. Verbinden Sie Ihre Engine unter Verwendung von Delta 4.3 mit dem Unity Catalog 0.5.1-Client. Weitere Informationen finden Sie in der Dokumentation zum externen Zugriff.
4. Testen Sie das Erstellen, Lesen und Schreiben in von UC verwalteten Delta-Tabellen mit aktivierten Katalog-Commits über externe Engines (oder konvertieren Sie eine vorhandene externe Tabelle in eine verwaltete Tabelle).

Spezifische Informationen zu Delta-Konnektoren finden Sie unten:

• Apache Spark – siehe Databricks-Dokumentation und Community-Blog
• Apache Flink – siehe GitHub und Community-Blog
• StreamNative – siehe StreamNative-Blog
• Starburst – siehe Starburst-Dokumentation
• DuckDB – siehe DuckDB-Dokumentation und DuckDB-Blog

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag