Revenir au contenu principal

Améliorer l'interopérabilité des catalogues avec Unity Catalog et le Lakehouse sans frontières de Google Cloud

Découvrez comment Databricks et Google améliorent l'interopérabilité grâce aux standards ouverts.

par Alex Jiang, Parth Desai et John Spencer

  • Les clients peuvent accéder à la même copie de données depuis BigQuery ou Databricks sans duplication.
  • Google et Databricks s'engagent en faveur d'une vision à long terme des métadonnées de catalogue partagées.

L'architecture Lakehouse devient plus ouverte que jamais. Ce qui a commencé avec les formats de tables ouvertes – Delta Lake et Iceberg – a évolué vers la fédération de catalogues pour un accès sans copie sur plusieurs plateformes. Grâce à notre partenariat et à nos contributions Open Source, Databricks et Google Cloud continuent de stimuler les progrès de la communauté Open Lakehouse.

Aujourd'hui, nous sommes fiers d'annoncer une étape majeure dans l'interopérabilité des catalogues en collaboration avec Google : les clients peuvent désormais accéder à une seule et même copie de données depuis Unity Catalog et le Lakehouse sans frontières de Google Cloud. Le partenariat entre Databricks et Google Cloud continue de prospérer, et nous nous engageons à rendre l'interopérabilité bidirectionnelle transparente.

Unity Catalog et le Lakehouse de Google Cloud : fédération bidirectionnelle

Il est simple d'importer des données de Google Cloud dans Databricks. Grâce à la fédération Lakehouse vers Google Cloud, désormais disponible de manière générale, les clients peuvent monter des tables Iceberg gérées par le catalogue du runtime Lakehouse de Google Cloud dans Unity Catalog pour les analyser dans Databricks.

Page du catalogue Databricks affichant les tables de données de marché consultées récemment.

Ces tables Iceberg issues du catalogue du runtime Lakehouse de Google peuvent ensuite être interrogées par Databricks Lakehouse, notre data warehouse sans serveur, ou analysées via Genie, qui répond intelligemment aux questions sur les données en langage naturel (aucun code ou SQL requis).

L'interopérabilité fonctionne également dans l'autre sens. Les données de Databricks peuvent aussi être importées dans le Lakehouse de Google Cloud (en savoir plus). Cela permet aux clients utilisant des moteurs comme BigQuery de lire les tables gérées par Unity Catalog sans copier les données.

La prochaine étape : rendre les métadonnées de catalogue interopérables

Databricks et Google Cloud font de grands pas pour renforcer l'interopérabilité en ouvrant les métadonnées de catalogue. Nous pensons que la sémantique métier et la gouvernance doivent être accessibles plutôt que liées à un fournisseur spécifique. Dans la communauté Iceberg, nous avons contribué à promouvoir et à intégrer les étiquettes de catalogue (« catalog labels »), une proposition qui permet aux catalogues de partager des métadonnées via des paires clé-valeur (c'est-à-dire des étiquettes). Ainsi, une table étiquetée « domain=finance » et « status=certified » avec une colonne étiquetée « pii=ssn » conserve ses étiquettes même lorsque la table est fédérée d'un catalogue à un autre (en savoir plus).

Diagramme des étiquettes de la table t1 se synchronisant entre Unity Catalog et Lakehouse via la fédération de catalogues et IRC.

Les étiquettes partagées sont essentielles pour la gouvernance à l'ère des agents, car les métadonnées de catalogue peuvent être utilisées pour identifier des données sensibles en vue de leur masquage et pour fournir du contexte aux agents qui recherchent des ressources afin de répondre à des questions sur les données. Grâce à notre partenariat, Databricks et Google Cloud s'engagent à faire progresser la vision d'une gouvernance ouverte. À mesure que les volumes de données augmentent et que les agents IA s'intègrent davantage dans les flux de travail des entreprises, cet engagement partagé devient de plus en plus important. Nous nous dirigeons vers un avenir où la gouvernance et le contexte métier peuvent voyager avec les données sans obliger les entreprises à les redéfinir dans chaque système.

Commencez dès aujourd'hui

Commencez à utiliser la fédération de catalogues entre Unity Catalog et le Lakehouse sans frontières de Google Cloud en consultant notre documentation. Vous pouvez également en savoir plus sur la fédération de catalogues de Google vers Unity Catalog ici.

Si vous souhaitez partager vos besoins en matière d'interopérabilité ou en savoir plus sur notre vision de l'interopérabilité, veuillez contacter votre équipe de compte Databricks.

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original

Tags associés:

Unity Catalog, Lakehouse, Annonces et Partenaires

Recevez les derniers articles dans votre boîte mail

Abonnez-vous à notre blog et recevez les derniers articles directement dans votre boîte mail.