Interoperabilität zwischen Unity Catalog und Google BigQuery über Catalog Federation

Heute freuen wir uns bekannt zu geben, dass Kunden jetzt auf dieselbe Datenkopie entweder von Databricks Unity Catalog oder BigQuery zugreifen können, ohne Duplizierung. Dies ist ein wichtiger Meilenstein für offene Standards und die breitere Daten-Community.

Da offene Tabellenformate wie Delta Lake und Apache Iceberg an Bedeutung gewannen, bestand die nächste Herausforderung darin, die Kataloge zu verbinden, die sie verwalten. Zuerst ermöglichten die Unity Catalog Open APIs jedem externen Engine den Zugriff auf Unity Catalog-Daten. Dann führten wir Catalog Federation ein, mit der Kunden externe Kataloge registrieren, fremde Tabellen in Databricks ohne Datenkopie abrufen und die Governance über ihre gesamte Datenlandschaft mit Unity Catalog vereinheitlichen können.

Catalog Federation hat sich zum Industriestandard für Interoperabilität entwickelt, und Unity Catalog unterstützt bereits bidirektionale Interoperabilität mit Datenplattformen wie AWS, Microsoft Azure und Snowflake. Heute vertiefen wir unsere Zusammenarbeit mit Google Cloud und fügen BigQuery und die Lakehouse-Plattform von Google Cloud der wachsenden Liste von Plattformen hinzu, die mit Unity Catalog interoperabel sind.

Bidirektionale Catalog Federation zwischen Unity Catalog und Google Cloud Lakehouse

Wenn Sie ein Databricks-Kunde mit Daten in BigQuery sind oder ein BigQuery-Benutzer, der auf Unity Catalog-Tabellen zugreifen muss, erfahren Sie hier, was jetzt möglich ist und wie Sie loslegen können:

Tabellen lesen, die von Unity Catalog verwaltet werden, mit Google BigQuery

Um Ihnen die einfache Entdeckung und Analyse all Ihrer Unternehmensdaten zu erleichtern, die in Unity Catalog gespeichert sind, kündigt Google Cloud Catalog Federation in der Vorschau an (mehr erfahren). Kunden, die Engines wie BigQuery verwenden, können jetzt von Unity Catalog verwaltete Tabellen ohne Datenkopie lesen.

Tabellen lesen, die von Google Cloud Lakehouse verwaltet werden, mit Databricks

Wir freuen uns, die private Vorschau von Google Cloud Lakehouse Federation anzukündigen (hier anmelden für die Vorschau). Diese neue Funktion ermöglicht es Databricks-Kunden, die Google Cloud nutzen, fremde Iceberg-Tabellen zu verwalten und zu lesen, die von Cloud Lakehouse verwaltet werden. Kunden können eine Verbindung zu ihrem Lakehouse herstellen und dann fremde Iceberg-Tabellen nahtlos in Unity Catalog einbinden.

Vereinheitlichte Governance für federierte Daten

Die Richtlinien, feingranularen Zugriffssteuerungen und die Lineage-Nachverfolgung von Unity Catalog gelten konsistent, unabhängig davon, ob eine Iceberg-Tabelle in Unity Catalog erstellt oder aus Google Cloud Lakehouse federiert wurde. Ihre Geschäftsbenutzer können jetzt Genie verwenden, um Daten mit natürlicher Sprache abzufragen, da Ihre gesamte Datenlandschaft mit Unity Catalog gesichert und auf Geschäftslogik kontextualisiert ist.

Die Zukunft ist offen

Die heutige Ankündigung spiegelt wider, wie weit die Branche in Richtung eines offenen, interoperablen Datenökosystems gekommen ist. Während wir unsere Zusammenarbeit mit Google Cloud vertiefen, ist unsere Vision, dass Kunden nicht mehr zwischen Innovation und Interoperabilität wählen müssen, sondern beides haben können. Bleiben Sie dran für weitere Ökosystem-Updates, einschließlich neuer Funktionen wie dem Austausch von Katalogmetadaten über den Iceberg REST-Katalog, mit dem Sie Governance-Richtlinien einmal definieren und plattformübergreifend durchsetzen können.

Erste Schritte

• Mehr über die Catalog Federation von Google zu Unity Catalog erfahren
• Für die Federation von Unity Catalog mit Google Cloud Lakehouse anmelden

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag