Einführung in Cross-Engine ABAC

Im Dezember haben wir unsere Vision für die Vervollständigung des Lakehouse geteilt: offener Speicher, offener Zugriff und einheitliche Governance. Wir beschrieben eine Welt, in der Unternehmen feingranulare Zugriffsrichtlinien einmal im Unity Catalog definieren und diese über jede Engine, jede Tabelle und jeden Benutzer hinweg durchsetzen können. Heute erweitern wir diese Vision.

Wir kündigen die Beta-Version von Cross-Engine ABAC an, die es Unternehmen ermöglicht, attributbasierte Zugriffskontrollen (ABAC) auf externen Engines mithilfe der Iceberg REST Catalog APIs durchzusetzen. Mit Cross-Engine ABAC wird Unity Catalog zum ersten und einzigen Katalog, der Cross-Engine ABAC-Durchsetzung bietet und tagbasierte Zeilenfilter und Spaltenmasken von jeder Engine aus durchsetzen lässt.

Warum das wichtig ist

Das von Databricks eingeführte offene Lakehouse ermöglichte Interoperabilität. Offene Tabellenformate wie Delta Lake und Apache Iceberg befreiten Unternehmen von Lock-ins; jede Engine konnte dieselbe Datenkopie lesen, ohne Daten zu duplizieren oder in ein anderes Format zu konvertieren. Die Governance folgte jedoch nicht. Zeilen- und Spaltenrichtlinien blieben in einzelnen Engine-Runtimes isoliert.

Dies schuf einen schmerzhaften Kompromiss für Sicherheitsteams: Richtlinien manuell über jede Engine hinweg duplizieren und hoffen, dass sie synchron bleiben, separate Tabellenkopien für verschiedene Verbraucher pflegen oder breitere Zugriffe als beabsichtigt gewähren und das Risiko akzeptieren.

Cross-Engine ABAC eliminiert diesen Kompromiss.

Was Cross-Engine ABAC liefert

Mit dieser Beta-Version erzwingt Unity Catalog feingranulare Zugriffskontrollrichtlinien für Daten, die von externen Engines gelesen werden. Dies beinhaltet:

• Zeilenfilter und Spaltenmasken – die volle Ausdruckskraft von Unity Catalog-Richtlinien, einschließlich tagbasierter Regeln, bedingter Logik und SQL UDFs
• Multi-Engine-Unterstützung – da die Richtliniendurchsetzung über die Iceberg REST Catalog Scan APIs läuft, wird jeder Iceberg REST-Client unterstützt. Cross-Engine ABAC ist Open-by-Design und nicht an einen bestimmten Connector gebunden. Heute können Sie Apache Spark über die Iceberg-Spark und Delta-Spark-Konnektoren verwenden. Weitere Engine-Integrationen wie Starburst und DuckDB werden bald folgen.

Definieren Sie ABAC-Richtlinien einmal im Unity Catalog und stellen Sie sicher, dass sie überall durchgesetzt werden – auf Databricks oder jeder Engine, die sich in den Iceberg REST Catalog integriert.

Wie es funktioniert

Cross-Engine ABAC basiert auf den Iceberg REST Catalog Scan APIs, einer offenen Spezifikation, die jede Engine übernehmen kann, um die Richtliniendurchsetzung an den Katalog zu delegieren. Mit Cross-Engine ABAC übernimmt der Katalog die Richtliniendurchsetzung und die Engine die Abfrageverarbeitung. Unternehmen erhalten feingranulare Sicherheit, ohne die Flexibilität des Abfrageorts zu opfern.

Wenn ein Benutzer eine Tabelle mit feingranularen Zugriffskontrollrichtlinien von einer externen Engine abfragt:

1. Die Engine sendet eine Scan-Anfrage über die Iceberg REST Catalog Scan API an Unity Catalog
2. Unity Catalog wertet die Berechtigungen des Benutzers und alle anwendbaren Richtlinien aus
3. Unity Catalog gibt einen gefilterten Scan-Plan zurück, der auf die Daten beschränkt ist, auf die der Benutzer Zugriff hat
4. Die Engine schließt die Abfrage gegen die gefilterten Dateien im Scan-Plan ab

Die Durchsetzung erfolgt auf der Katalogebene, bevor die Daten die Engine erreichen. Die Engine muss keine Richtlinienlogik verstehen oder implementieren; sie verarbeitet nur die empfangenen Daten. Das bedeutet, dass Cross-Engine ABAC für jede Engine funktionieren kann, auch wenn diese keine native Governance-Laufzeit hat.

Ausblick

Cross-Engine ABAC bietet heute eine einheitliche Governance durch zentralisierte Durchsetzung: Der Katalog wertet Richtlinien aus und gibt nur die Daten zurück, auf die der Benutzer Zugriff hat. Dies ist der beste Ansatz für „nicht vertrauenswürdige“ Engines, die keine native Governance-Laufzeit haben, und funktioniert sofort mit jeder Engine, die die Iceberg REST Catalog Scan APIs übernimmt.

Die Branche benötigt auch einen skalierbaren Ansatz für den Austausch von Richtlinien und Metadaten – einen, bei dem Kataloge Governance-Metadaten austauschen können, damit Richtlinien nativ in externen Engines durchgesetzt werden können.

Wir tragen zu dieser Diskussion in der Apache Iceberg-Community bei mit einem Vorschlag für Kataloge zum Austausch von Labels, die Governance- und semantischen Kontext tragen. Mit gemeinsamen Labels können Engines im gesamten Lakehouse denselben Governance- und Geschäftskontext nutzen, unabhängig davon, wo Daten gelesen werden.

Zentralisierte Durchsetzung und Metadatenaustausch ergänzen sich. Unity Catalog wird beides unterstützen, während sich das Datenökosystem weiterentwickelt.

Erste Schritte

Cross-Engine ABAC ist jetzt als Beta-Version verfügbar. Um es auszuprobieren:

1. Vorschau aktivieren: Melden Sie sich für „Cross-Engine ABAC“ im Databricks-Vorschaufenster an (siehe Databricks-Vorschauen verwalten)
2. Definieren Sie Ihre ABAC-Richtlinien: Erstellen Sie tagbasierte Zeilenfilter und Spaltenmasken für Ihre Unity Catalog-Tabellen (siehe ABAC-Dokumentation)
3. Abfragen von einer externen Engine: Verbinden Sie Apache Spark über den Iceberg-Spark oder Delta-Spark-Konnektor und bestätigen Sie, dass die Richtlinien beim Lesen durchgesetzt werden

Vollständige Einrichtungsanleitungen und Konfigurationsdetails finden Sie in der Cross-Engine ABAC-Dokumentation.

Neu bei Unity Catalog? Folgen Sie den Anleitungen für den Einstieg für AWS, Azure oder GCP.

Besuchen Sie uns auf dem Data and AI Summit 2026

Der Data and AI Summit 2026 steht vor der Tür! Besuchen Sie uns vom 15. bis 18. Juni 2026 im Moscone Center in San Francisco, Kalifornien, um zu erfahren, wie führende Unternehmen Unity Catalog zur Verwaltung von Daten und KI über Engines hinweg einsetzen. Registrieren Sie sich noch heute, um einen ersten Einblick in die Zukunft der offenen, einheitlichen Governance zu erhalten.

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag