Annuncio del supporto di prima classe per il formato Iceberg in Databricks Delta Sharing

Con una crescita dell'utilizzo superiore al 300% su base annua per 2 anni consecutivi, Delta Sharing è il protocollo aperto più adottato per la condivisione di dati e AI. I principali provider di dati, tra cui SAP, Walmart, Atlassian e LSEG, utilizzano Delta Sharing per condividere i dati con i loro partner e clienti su cloud e piattaforme. Oggi siamo lieti di annunciare che Databricks Delta Sharing offre un supporto di prima classe per il formato Apache Iceberg.

I fornitori di dati possono ora condividere i dati in modo sicuro e in tempo reale da Databricks a qualsiasi client che supporti l'API REST Catalog di Apache Iceberg. I destinatari su piattaforme come Snowflake, Trino, Flink e Spark su tutti i cloud possono utilizzare questa funzionalità, ampliando così l'ecosistema aperto di Delta Sharing. 

Inoltre, stiamo lanciando una Private Preview che consente ai data provider di utilizzare Delta Sharing per condividere tabelle Iceberg gestite da cataloghi esterni a Databricks, inclusi AWS Glue, Hive Metastore, Snowflake Horizon e altri.

Insieme, è possibile condividere qualsiasi tabella nuova o esistente (Delta o Iceberg, gestita o esterna). Questo costituisce un passo verso un'interoperabilità aperta e completa. È possibile importare tabelle Iceberg da qualsiasi catalogo esterno, gestirle tramite Databricks e Unity Catalog e quindi condividerle con qualsiasi destinatario, indipendentemente dal fatto che utilizzi Databricks, un client Iceberg o un client Delta. Ciò consente di sfruttare Unity Catalog come livello di governance dei dati unificato, offrendo un unico punto per tutta la condivisione. 

In questo post su un blog, spiegheremo perché la condivisione aperta di Data Sharing è importante. Approfondiremo anche il funzionamento dei client da Delta Sharing a Iceberg attraverso una demo pratica.

Perché è importante: condivisione aperta vs. chiusa

La maggior parte delle soluzioni di Data Sharing in realtà non serve a condividere, ma a intrappolare. Sono fondamentalmente chiuse e progettate per garantire il vendor lock-in, per cui è possibile condividere solo con chi si trova già all'interno dei loro ecosistemi chiusi. Questo limita le opzioni, soffoca l'innovazione e causa una replica massiccia e inutile dei dati.

Delta Sharing è lo standard aperto più diffuso per il Data Sharing sicuro. Utilizzato dai principali fornitori di dati del settore, è progettato per supportare diversi cloud e piattaforme. Delta Sharing si basa su tre principi fondamentali:

• Condividi qualsiasi asset.
• Condividi con chiunque.
• Condividi senza intoppi.

L'aggiunta del supporto per i client Iceberg rafforza questo impegno. Consente di condividere una tabella Delta mentre i destinatari la utilizzano come una tabella Iceberg nativa. La condivisione avviene tramite l'API REST di Iceberg, quindi i destinatari possono connettersi da qualsiasi piattaforma compatibile con Iceberg. Ciò consente di ottenere il meglio di entrambi i mondi: i provider di dati beneficiano delle funzionalità avanzate di Delta Sharing, come la condivisione di viste, mentre i destinatari ricevono tabelle Iceberg native tramite l'API REST di Iceberg.

I destinatari ottengono un accesso sicuro e in tempo reale ai dati di origine. Questo elimina i silos e consente di condividere i dati apertamente con chiunque.

Questa funzionalità è ideale per le organizzazioni che devono condividere dati esternamente con partner e clienti che utilizzano client Iceberg, come quelli che operano su Snowflake o si integrano con piattaforme come Trino, Flink o Spark. Le aziende con più unità di business che operano su più piattaforme traggono vantaggio anche dalla possibilità di uno scambio di dati bidirezionale e senza interruzioni in ambienti multi-cloud o ibridi. I settori industriali che già sfruttano questi modelli includono sanità, retail, finanza, ad-tech e altri ancora.

Interoperabilità: sia origine che destinazione 

Poiché crediamo nel pieno accesso aperto ai dati, non ci fermiamo alla condivisione dei dati con i client Iceberg. Stiamo ora sviluppando la prossima evoluzione: la condivisione di tabelle Iceberg esterne che risiedono in cataloghi esterni come AWS Glue o Snowflake Horizon. Siamo entusiasti di annunciare la Private Preview del supporto di Delta Sharing per le tabelle Iceberg esterne.

Ti chiederai: perché condividere una tabella Iceberg tramite Delta Sharing se si trova in AWS Glue o Snowflake? Perché non condividere direttamente da quella piattaforma?

Innanzitutto, catalogando i dati Iceberg esterni in Unity Catalog, si ottiene un livello di governance unificata in Unity Catalog, che consente di avere piena visibilità e governance su tutto il patrimonio di dati. Inoltre, l'utilizzo di Delta Sharing consente di ottenere il meglio di entrambi i mondi: si beneficia delle funzionalità di condivisione di prima classe di Delta Sharing, mantenendo i dati nel formato Iceberg. Ciò include, ad esempio, la possibilità di utilizzare la funzione Delta Share Views per un controllo granulare degli accessi, non supportata nativamente dall'API IRC di Iceberg.

Con questa Private Preview, il Databricks Lakehouse è aperto in entrambe le direzioni. Il tuo Lakehouse può condividere dati con l'ecosistema Iceberg in crescita e riceverne.

Questa duplice abilità ti offre:

• Collaborazione semplice: collaborate indipendentemente dal formato di tabella aperta che utilizzate (Delta o Iceberg).
• Condivisione governata: Unity Catalog controlla l'accesso e fornisce i log di audit.
• Massima portata: condividi dati sia come provider che come destinatario, abbattendo le barriere tra piattaforme.

Come funziona?

Immagina che la tua azienda, Provider Corp, utilizzi Databricks e Delta Lake per gestire i dati dei clienti. Devi condividere in modo sicuro un elenco giornaliero delle vendite dei prodotti con Partner Inc, che utilizza Snowflake e preferisce il formato Iceberg.

Prima di questa funzionalità: Provider Corp avrebbe dovuto esportare manualmente i dati, trasformarli in un formato leggibile da Snowflake, caricarli nello spazio di archiviazione cloud del partner e configurare un complesso job di sincronizzazione. Questo processo è lento, costoso, comporta un notevole sovraccarico amministrativo e rischia di rendere i dati obsoleti.

Con Delta Sharing per client Iceberg:

1. Provider Corp abilita le letture Iceberg sui dati di vendita tramite UniForm (ciò può includere tabelle Delta gestite ed esterne, viste, viste materializzate e tabelle di streaming) e li condivide tramite Delta Sharing. Questo fornisce un accesso in tempo reale senza che siano necessarie duplicazioni o nuove ingestioni.
2. Partner Inc imposta una connessione semplice in Snowflake utilizzando le credenziali fornite per l'autenticazione sicura tramite token di connessione di breve durata.
3. Gli analisti di Partner Inc possono interrogare immediatamente la tabella condivisa utilizzando SQL standard, trattandola come una tabella Iceberg nativa nel loro ambiente Snowflake.
4. I dati visualizzati sono sempre in tempo reale (zero-copy) e Provider Corp mantiene sicurezza e governance complete con audit e monitoraggio tramite Unity Catalog.

Questo rende la Data Sharing istantanea, sicura e completamente agnostica rispetto al formato.

Demo

Guarda questa demo che illustra i passaggi per condividere una tabella e leggerla in Snowflake. 

1. Condividi la tabella tramite Delta Sharing, generando le credenziali per il destinatario.​
2. Il destinatario scarica il file delle credenziali, lo carica nella pagina del link di attivazione e genera l'SQL. L'SQL generato includerà tutte le credenziali necessarie, nonché i riferimenti al catalogo e alle tabelle richiesti dal loro client Iceberg (ad esempio, Snowflake).
3. Una volta completata l'operazione, il destinatario può eseguire immediatamente query sui dati live condivisi come se fossero nativi della propria piattaforma, senza necessità di acquisizione manuale o copie.

Passaggi successivi

• Prova subito l'anteprima pubblica di Delta Sharing per client Iceberg direttamente nel prodotto: consulta la documentazione di Databricks e l'interfaccia utente del tuo workspace per guide e risorse.
• Se si desidera partecipare alla Private Preview della condivisione di tabelle Iceberg esterne o saperne di più sulla piena interoperabilità di Iceberg, contattare il team del proprio account Databricks.

Comincia

• Leggi la documentazione di Delta Sharing per iniziare a usare Delta Sharing
• Guarda il video Delta Sharing in Action: Architecture and Best Practices del Data and AI Summit 2025
• Per saperne di più su sicurezza, framework e casi d'uso di Delta Sharing, guarda il video Securing Data Collaboration: A Deep Dive Into Security, Frameworks, and Use Cases del Data and AI Summit 2025

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale