Interopérabilité entre Unity Catalog et Google BigQuery via la fédération de catalogues

Aujourd'hui, nous sommes ravis d'annoncer que les clients peuvent désormais accéder à la même copie de données depuis Databricks Unity Catalog ou BigQuery sans duplication. Ceci marque une étape importante pour les standards ouverts et la communauté des données au sens large.

Alors que les formats de tables ouverts comme Delta Lake et Apache Iceberg gagnaient en adoption, le défi suivant était de connecter les catalogues qui les gèrent. Premièrement, les API ouvertes d'Unity Catalog ont permis à tout moteur externe d'accéder aux données d'Unity Catalog. Ensuite, nous avons introduit la fédération de catalogues, qui permet aux clients d'enregistrer des catalogues externes, d'accéder à des tables étrangères dans Databricks sans copie de données, et d'unifier la gouvernance sur l'ensemble de leur patrimoine de données avec Unity Catalog.

La fédération de catalogues est devenue la norme de l'industrie pour l'interopérabilité et Unity Catalog prend déjà en charge l'interopérabilité bidirectionnelle avec des plateformes de données, notamment AWS, Microsoft Azure et Snowflake. Aujourd'hui, nous approfondissons notre collaboration avec Google Cloud, ajoutant BigQuery et le Lakehouse de Google Cloud à la liste croissante de plateformes qui interagissent avec Unity Catalog.

Fédération de catalogues bidirectionnelle entre Unity Catalog et le Lakehouse de Google Cloud

Si vous êtes un client Databricks avec des données dans BigQuery, ou un utilisateur BigQuery qui a besoin d'accéder aux tables Unity Catalog, voici ce qui est maintenant possible et comment commencer :

Lire les tables gérées par Unity Catalog en utilisant Google BigQuery

Pour vous aider à découvrir et analyser facilement toutes vos données d'entreprise stockées dans Unity Catalog, Google Cloud annonce la fédération de catalogues en préversion (en savoir plus). Les clients utilisant des moteurs comme BigQuery peuvent désormais lire les tables gérées par Unity Catalog sans copie de données.

Lire les tables gérées par le Lakehouse de Google Cloud en utilisant Databricks

Nous sommes ravis d'annoncer la préversion privée de la fédération du Lakehouse de Google Cloud (inscrivez-vous pour la préversion). Cette nouvelle fonctionnalité permet aux clients Databricks utilisant Google Cloud de gouverner et de lire des tables Iceberg étrangères gérées par le Cloud Lakehouse. Les clients peuvent créer une connexion à leur Lakehouse, puis monter de manière transparente des tables Iceberg étrangères dans Unity Catalog.

Gouvernance unifiée pour les données fédérées

Les politiques d'Unity Catalog, les contrôles d'accès fins et le suivi de lignage s'appliqueront de manière cohérente, qu'une table Iceberg soit créée dans Unity Catalog ou fédérée depuis le Lakehouse de Google Cloud. Vos utilisateurs métier peuvent désormais utiliser Genie pour interroger des données en langage naturel, car l'ensemble de votre patrimoine de données est sécurisé et contextualisé par rapport à la logique métier avec Unity Catalog.

L'avenir est ouvert

L'annonce d'aujourd'hui reflète le chemin parcouru par l'industrie vers un écosystème de données ouvert et interopérable. Alors que nous approfondissons notre collaboration avec Google Cloud, notre vision est que les clients n'aient plus besoin de choisir entre l'innovation et l'interopérabilité, mais puissent avoir les deux. Restez à l'écoute pour d'autres mises à jour de l'écosystème, y compris de nouvelles fonctionnalités telles que l'échange de métadonnées de catalogue via le catalogue REST Iceberg, qui vous permet de définir des politiques de gouvernance une fois et de les appliquer sur toutes les plateformes.

Commencer

• En savoir plus sur la fédération de catalogues de Google vers Unity Catalog
• Inscrivez-vous à la fédération du Lakehouse de Google Cloud d'Unity Catalog

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original