Interoperabilità tra Unity Catalog e Google BigQuery tramite federazione di cataloghi

Oggi siamo entusiasti di annunciare che i clienti possono ora accedere alla stessa copia dei dati da Databricks Unity Catalog o BigQuery senza duplicazione. Questo segna un traguardo importante per gli standard aperti e per la comunità dei dati in generale.

Man mano che formati di tabelle aperti come Delta Lake e Apache Iceberg guadagnavano adozione, la sfida successiva era collegare i cataloghi che li gestiscono. Innanzitutto, le API aperte di Unity Catalog hanno consentito a qualsiasi motore esterno di accedere ai dati di Unity Catalog. Successivamente, abbiamo introdotto la federazione di cataloghi, che consente ai clienti di registrare cataloghi esterni, accedere a tabelle esterne in Databricks senza copia dei dati e unificare la governance su tutta la loro infrastruttura dati con Unity Catalog.

La federazione di cataloghi è diventata lo standard del settore per l'interoperabilità e Unity Catalog supporta già l'interoperabilità bidirezionale con piattaforme dati tra cui AWS, Microsoft Azure e Snowflake. Oggi approfondiamo la nostra collaborazione con Google Cloud, aggiungendo BigQuery e il Lakehouse di Google Cloud all'elenco crescente di piattaforme che interoperano con Unity Catalog.

Federazione di cataloghi bidirezionale tra Unity Catalog e Lakehouse di Google Cloud

Se sei un cliente Databricks con dati in BigQuery, o un utente BigQuery che necessita di accedere alle tabelle Unity Catalog, ecco cosa è ora possibile e come iniziare:

Leggi tabelle gestite da Unity Catalog utilizzando Google BigQuery

Per aiutarti a scoprire e analizzare facilmente tutti i tuoi dati aziendali archiviati in Unity Catalog, Google Cloud sta annunciando la federazione di cataloghi in anteprima (ulteriori informazioni). I clienti che utilizzano motori come BigQuery possono ora leggere tabelle gestite da Unity Catalog senza copia dei dati.

Leggi tabelle gestite dal Lakehouse di Google Cloud utilizzando Databricks

Siamo entusiasti di annunciare l'anteprima privata della federazione del Lakehouse di Google Cloud (iscriviti per l'anteprima). Questa nuova funzionalità consente ai clienti Databricks che utilizzano Google Cloud di governare e leggere tabelle Iceberg esterne gestite dal Cloud Lakehouse. I clienti possono creare una connessione al loro Lakehouse e quindi montare senza problemi tabelle Iceberg esterne in Unity Catalog.

Governance unificata per dati federati

Le policy di Unity Catalog, i controlli di accesso granulari e il tracciamento della lineage si applicheranno in modo coerente sia che una tabella Iceberg venga creata in Unity Catalog o federata dal Lakehouse di Google Cloud. I tuoi utenti aziendali possono ora utilizzare Genie per interrogare i dati utilizzando il linguaggio naturale, poiché l'intera tua infrastruttura dati è protetta e contestualizzata alla logica aziendale con Unity Catalog.

Il futuro è aperto

L'annuncio di oggi riflette quanto l'industria abbia progredito verso un ecosistema dati aperto e interoperabile. Mentre approfondiamo la nostra collaborazione con Google Cloud, la nostra visione è che i clienti non debbano più scegliere tra innovazione e interoperabilità, ma possano avere entrambe. Resta sintonizzato per ulteriori aggiornamenti sull'ecosistema, incluse nuove funzionalità come lo scambio di metadati del catalogo tramite il catalogo REST Iceberg che ti consente di definire le policy di governance una volta e applicarle su tutte le piattaforme.

Inizia

• Ulteriori informazioni sulla federazione di cataloghi di Google a Unity Catalog
• Iscriviti alla federazione di Unity Catalog e al Lakehouse di Google Cloud

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale