Direkt zum Hauptinhalt

Mehr Interoperabilität für Kataloge mit Unity Catalog und dem grenzenlosen Lakehouse von Google Cloud

Erfahren Sie, wie Databricks und Google die Interoperabilität durch offene Standards vorantreiben.

von Alex Jiang, Parth Desai und John Spencer

  • Kunden können ohne Duplizierung entweder über BigQuery oder Databricks auf dieselbe Datenkopie zugreifen.
  • Google und Databricks setzen sich für eine langfristige Vision gemeinsam genutzter Katalogmetadaten ein.

Die Lakehouse-Architektur wird offener denn je. Was mit offenen Tabellenformaten – Delta Lake und Iceberg – begann, hat sich zu einer Katalogföderation für den Zero-Copy-Zugriff über mehrere Plattformen hinweg entwickelt. Durch unsere Partnerschaft und Open-Source-Beiträge treiben Databricks und Google Cloud die Weiterentwicklung der Open-Lakehouse-Community kontinuierlich voran.

Heute freuen wir uns, in Zusammenarbeit mit Google einen Meilenstein bei der Kataloginteroperabilität bekannt zu geben: Kunden können nun von Unity Catalog und dem grenzenlosen Lakehouse von Google Cloud aus auf eine einzige Datenkopie zugreifen. Die Partnerschaft zwischen Databricks und Google Cloud blüht weiter auf, und wir setzen uns dafür ein, eine nahtlose bidirektionale Interoperabilität zu ermöglichen.

Unity Catalog und das Lakehouse von Google Cloud: Bidirektionale Föderation

Daten von Google Cloud in Databricks zu bringen, ist ganz einfach. Mit der Lakehouse Federation für Google Cloud, die jetzt allgemein verfügbar ist, können Kunden Iceberg-Tabellen, die vom Lakehouse-Laufzeitkatalog von Google Cloud verwaltet werden, in Unity Catalog einbinden, um sie in Databricks zu analysieren.

Databricks-Katalogseite mit kürzlich angedachten Marktdatentabellen.

Diese Iceberg-Tabellen aus dem Lakehouse-Laufzeitkatalog von Google können dann vom Databricks Lakehouse, unserem serverlosen Data Warehouse, abgefragt oder über Genie analysiert werden, das Fragen zu Daten in natürlicher Sprache intelligent beantwortet – ganz ohne Code oder SQL.

Die Interoperabilität funktioniert auch in die andere Richtung. Daten aus Databricks können ebenfalls in das Lakehouse von Google Cloud übernommen werden (mehr erfahren). Dadurch können Kunden, die Engines wie BigQuery verwenden, von Unity Catalog verwaltete Tabellen ohne Datenkopie lesen.

Die nächste Stufe: Interoperable Katalogmetadaten

Databricks und Google Cloud machen große Fortschritte bei der Verbesserung der Interoperabilität, indem sie Katalogmetadaten offen gestalten. Wir sind überzeugt, dass Geschäfts- und Governance-Semantiken zugänglich sein sollten, statt an einen bestimmten Anbieter gebunden zu sein. In der Iceberg-Community haben wir dazu beigetragen, Katalog-Labels voranzutreiben und zu etablieren – einen Vorschlag, der es Katalogen ermöglicht, Metadaten über Schlüssel-Wert-Paare (sog. Labels) auszutauschen. Auf diese Weise behält eine Tabelle mit den Tags „domain=finance“ und „status=certified“ und einer Spalte mit dem Tag „pii=ssn“ ihre Tags auch dann bei, wenn sie von einem Katalog in einen anderen federiert wird (mehr erfahren).

Diagramm von Tags auf Tabelle t1, die zwischen Unity Catalog und Lakehouse durch Katalogföderation und IRC synchronisiert werden.

Geteilte Labels sind im Zeitalter von Agents für die Governance von entscheidender Bedeutung, da Katalogmetadaten verwendet werden können, um sensible Daten für die Maskierung zu kennzeichnen und Agents, die nach Assets zur Beantwortung von Datenfragen suchen, Kontext bereitzustellen. Durch unsere Partnerschaft engagieren sich Databricks und Google Cloud für die Vision einer offenen Governance. Da Datenbestände wachsen und KI-Agents immer fester in Unternehmens-Workflows integriert werden, gewinnt dieses gemeinsame Engagement zunehmend an Bedeutung. Wir steuern auf eine Zukunft zu, in der Governance und Geschäftskontext mit den Daten reisen können, ohne dass Unternehmen sie in jedem System neu definieren müssen.

Jetzt starten

Legen Sie los mit der Katalogföderation zwischen Unity Catalog und dem grenzenlosen Lakehouse von Google Cloud, indem Sie unsere Dokumentation lesen. Hier erfahren Sie auch mehr über die Katalogföderation von Google zu Unity Catalog.

Wenn Sie Ihre Anforderungen an die Interoperabilität teilen oder mehr über unsere Vision diesbezüglich erfahren möchten, wenden Sie sich bitte an Ihr Databricks-Account-Team.

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag

Verwandte Tags:

Unity Catalog, Lakehouse, Ankündigungen und Partner

Erhalten Sie die neuesten Beiträge in Ihrem Posteingang

Abonnieren Sie unseren Blog und erhalten Sie die neuesten Beiträge direkt in Ihren Posteingang.