Come le tabelle gestite di Unity Catalog offrono interoperabilità, prestazioni e governance unificata al Lakehouse

Unity Catalog è stato progettato per l'interoperabilità su scala. Le aziende hanno la flessibilità di eseguire qualsiasi motore su una singola copia dei dati con una governance applicata a livello centrale.

Oggi facciamo un ulteriore passo avanti sul fronte dell'interoperabilità. Siamo entusiasti di annunciare che l'accesso esterno alle tabelle Delta gestite da Unity Catalog (UC) è ora in anteprima pubblica.

Nell'ultimo anno, un numero sempre maggiore di motori, da Apache Spark e Flink fino a Starburst e DuckDB, si è integrato con le tabelle Delta gestite da UC, e l'ecosistema continua a crescere. Le aziende possono ottenere il meglio da entrambi i mondi: i vantaggi in termini di rapporto prezzo-prestazioni delle tabelle gestite da UC e la flessibilità di utilizzare i motori più adatti a ciascun carico di lavoro. Unity Catalog rimane il livello di governance centrale, garantendo che i criteri di accesso siano applicati in modo coerente tra i vari motori.

Fino ad ora, i team che necessitavano di un accesso multi-motore utilizzavano tabelle esterne, prive di ottimizzazioni delle prestazioni e di garanzie di governance. Con l'accesso esterno ora in anteprima pubblica, questo compromesso non è più necessario. Le tabelle gestite da UC sono la scelta ideale per il lakehouse in termini di prezzo, prestazioni e interoperabilità.

Perché i team scelgono le tabelle gestite da Unity Catalog

Le tabelle gestite da UC uniscono l'interoperabilità di Delta Lake e Apache Iceberg a funzionalità automatiche e integrate che migliorano le prestazioni delle query, riducono i costi di archiviazione e mantengono le tabelle integre nel tempo. Costituiscono inoltre la base per le funzionalità della piattaforma, come il disaster recovery e l'ingestione Zerobus.

Databricks ottimizza automaticamente le tabelle gestite tramite la Predictive Optimization. La Predictive Optimization pulisce l'archiviazione, raccoglie le statistiche delle query e seleziona automaticamente le colonne di clustering Liquid per evolvere i layout delle tabelle al variare dei pattern di query. Insieme, questi vantaggi possono offrire fino al 50% di risparmio sui costi di archiviazione e query fino a 20 volte più veloci, eliminando la necessità per i team di dati di ottimizzare le tabelle manualmente.

Di recente abbiamo annunciato la disponibilità generale dei commit del catalogo, che rendono Unity Catalog il coordinatore dei commit per le tabelle gestite da UC. Invece di fare in modo che i client esterni eseguano i commit direttamente sullo storage cloud, le scritture sulle tabelle Delta gestite da UC sono coordinate tramite il catalogo. Questo rende Unity Catalog l'unica fonte di verità per lo stato delle tabelle, sbloccando vantaggi chiave come scritture esterne sicure, transazioni multi-istruzione e il controllo delle operazioni esterne.

Creazione, lettura e scrittura da motori esterni

Ora in anteprima pubblica, i motori esterni possono:

• Creare, leggere e scrivere su tabelle Delta gestite da UC con commit del catalogo da Apache Spark (batch e streaming), Apache Flink, Starburst, DuckDB e Streamnative.
• Mantenere la governance centralizzata in Unity Catalog su tutti i motori.
• Beneficiare della Predictive Optimization, che riduce i costi e migliora le prestazioni su tutti i motori.

L'accesso esterno si basa su API aperte per i metadati, la distribuzione delle credenziali (credential vending) e la coordinazione dei commit. Il credential vending emette credenziali temporanee e con ambito limitato in base ai privilegi di UC, mentre l'API Delta di Unity Catalog offre ai motori Delta un contratto con versione per le operazioni di creazione, lettura e scrittura. Poiché queste API sono aperte e implementate nel progetto OSS di Unity Catalog, qualsiasi motore può integrarsi con il supporto per la creazione, la lettura e la scrittura. Il risultato è un ecosistema in crescita di motori che operano sulla stessa copia governata dei dati in Databricks UC e in UC OSS

I partner stanno già sviluppando soluzioni basate su queste API in diversi modi. Starburst, ad esempio, si integra con Unity Catalog e Delta Lake per supportare la creazione, la lettura e la scrittura nelle tabelle Delta gestite da UC.

"Starburst condivide la visione di Databricks di apertura e interoperabilità in tutto l'ecosistema dei dati. Integrandoci con le tabelle gestite da Unity Catalog, consentiamo ai clienti di creare un'unica fonte di verità per tutti i loro dati, con una governance centralizzata e la flessibilità di sfruttare gli strumenti di loro scelta." —Justin Borgman, CEO, Starburst Data

Espansione dell'ecosistema tramite Delta Kernel

L'accesso esterno alle tabelle gestite da UC fa parte di un investimento più ampio nell'ecosistema OSS di Delta Lake e Unity Catalog. L'obiettivo è allineare Delta al modello gestito dal catalogo introdotto da Iceberg, in modo che le aziende possano beneficiare delle garanzie di prestazioni e coerenza di un catalogo, mantenendo al contempo l'interoperabilità con qualsiasi motore.

Stiamo espandendo l'ecosistema Delta con Delta Kernel, che fornisce librerie per la lettura, la scrittura e il commit nelle tabelle Delta senza dover reimplementare il protocollo da zero. Abbinato alle API UC Delta in UC OSS, Delta Kernel consente a un motore di integrarsi perfettamente con un catalogo gestito da Databricks o con una distribuzione UC OSS self-hosted.

Ad esempio, DuckDB ha sviluppato le sue estensioni Delta e Unity Catalog OSS su Delta Kernel. A partire da DuckDB v1.5.1, è in grado di leggere e scrivere direttamente le tabelle Delta gestite da UC. Ciò riflette il nostro impegno per un ecosistema aperto e interoperabile: con l'evolversi del protocollo Delta, i motori basati sul Kernel ereditano automaticamente le funzionalità più recenti, in modo che i clienti abbiano sempre accesso alle funzionalità migliori e più aggiornate, indipendentemente dal motore scelto.

"Gli utenti di DuckDB apprezzano la possibilità di lavorare direttamente con i dati aperti del lakehouse da un motore analitico leggero. L'integrazione di Delta Lake e Unity Catalog contribuisce a portare questa esperienza nelle tabelle aziendali governate, inclusi i flussi di lavoro in cui i dati scritti tramite un motore possono essere letti in modo coerente da un altro." —Hannes Mühleisen, CEO, DuckDB Labs

Continuiamo a lavorare con la community per sviluppare ulteriori integrazioni basate su Kernel con le tabelle Delta gestite da UC. Ad esempio, stiamo facendo passi da gigante per portare i carichi di lavoro di streaming Flink nelle tabelle gestite da UC con un nuovo connettore Flink basato su Kernel.

Governance centralizzata

La governance centralizzata è fondamentale per le pipeline multi-motore. Un'applicazione di streaming può scrivere dati in una tabella gestita, Spark può trasformarli e Starburst o DuckDB possono interrogarli: indipendentemente dal motore o dall'identità dietro la query, i controlli di accesso devono essere rispettati.

Unity Catalog è l'unico livello di governance per tutti i motori. I team della piattaforma controllano quali principal possono accedere alle tabelle esternamente e cosa possono fare tramite i privilegi di UC. L'ABAC cross-engine estende ulteriormente questo aspetto, consentendo a Unity Catalog di filtrare le righe o mascherare le colonne durante le letture da motori esterni. I controlli di accesso granulari vengono applicati a livello centrale per le tabelle gestite da UC, senza richiedere soluzioni alternative personalizzate.

Inizia a usare le tabelle gestite da UC oggi stesso

Per i team che sviluppano sul lakehouse aperto, le tabelle gestite da UC rappresentano la base più solida disponibile. La Predictive Optimization ottimizza automaticamente i layout dei dati ed esegue la manutenzione delle tabelle, offrendo il miglior rapporto prezzo-prestazioni senza alcuno sforzo manuale. Anche l'interoperabilità è integrata: le tabelle gestite sono archiviate nel formato Delta o Iceberg e sono accessibili da qualsiasi motore, quindi i team non devono mai scegliere tra prestazioni e flessibilità.

I team che utilizzano tabelle esterne possono aggiornare le tabelle esistenti in loco con ALTER TABLE SET MANAGED, in modo da ottenere la Predictive Optimization e i commit del catalogo mantenendo l'accesso aperto e multi-motore su cui già fanno affidamento.

La nostra visione è chiara: i clienti devono poter utilizzare il motore migliore per ciascun carico di lavoro, mantenendo una sola copia dei dati in Unity Catalog con il miglior rapporto prezzo-prestazioni e una governance unificata.

Come iniziare

L'accesso esterno alle tabelle Delta gestite da UC è in anteprima pubblica, incluso il supporto per le operazioni di creazione, lettura e scrittura da client esterni.

Per iniziare:

1. Abilita l'accesso ai dati esterni sul metastore di Unity Catalog.
2. Concedi EXTERNAL USE SCHEMA sullo schema contenente le tabelle Delta gestite da UC a cui desideri che i motori esterni accedano.
3. Connetti il tuo motore utilizzando Delta 4.3 con il client Unity Catalog 0.5.1. Consulta la documentazione sull'accesso esterno.
4. Testa le operazioni di creazione, lettura e scrittura sulla tabella Delta gestita da UC con i commit del catalogo abilitati da motori esterni (o converti una tabella esterna esistente in gestita)

Le informazioni specifiche per i connettori Delta sono disponibili di seguito:

• Apache Spark - consulta la documentazione di Databricks e il blog della community
• Apache Flink - consulta GitHub e il blog della community
• StreamNative - consulta il blog di StreamNative
• Starburst – consulta la documentazione di Starburst
• DuckDB - consulta la documentazione di DuckDB e il blog di DuckDB

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale