Presentiamo OpenSharing: la prossima evoluzione di Delta Sharing per l'era agentica

Quando Databricks ha introdotto per la prima volta Delta Sharing nel 2021, volevamo risolvere un problema che ogni team dati conosceva fin troppo bene: condividere dati live oltre i confini organizzativi era un processo lento, fragile e pieno di compromessi. O si copiavano i dati — creando repliche non aggiornate e grattacapi legati alla conformità — o ci si limitava a condividere solo con partner sulla stessa piattaforma, riducendo così drasticamente l'innovazione.

Delta Sharing ha cambiato tutto questo. Un unico protocollo aperto. Nessuna copia dei dati. Nessun silo di piattaforma. E nei cinque anni successivi, è diventato il protocollo aperto di condivisione dati zero-copy più adottato al mondo — con oltre 28.000 destinatari dei dati e il 33% delle condivisioni che passano da una piattaforma all'altra tramite connettori aperti. Aziende leader come SAP, Atlassian, Mercedes-Benz, The Trade Desk, LSEG, S&P Global e molte altre hanno adottato Delta Sharing per condividere i dati e collaborare.

Ma il mondo è andato avanti. L'ascesa dell'AI agentica ha cambiato radicalmente ciò che le aziende devono condividere. Oggi facciamo un passo avanti.

Siamo entusiasti di annunciare OpenSharing — la prossima evoluzione di Delta Sharing, e il primo protocollo aperto del settore creato per l'era agentica. OpenSharing trasforma Delta Sharing in un progetto open source indipendente, ampliando il suo raggio d'azione dalla condivisione dei dati all'intero stack AI: modelli, agenti — su qualsiasi cloud, fornitore e formato.

Perché i protocolli di condivisione devono evolversi per l'AI

Delta Sharing è stato creato per un mondo di tabelle e file. Ma oggi le organizzazioni devono scambiare contesto semantico, competenze AI, dati non strutturati e agenti autonomi oltre i confini di cloud, fornitori e aziende. I protocolli di condivisione odierni rimangono vincolati a formati specifici dei fornitori, non sono in grado di gestire la logica dell'AI e dipendono da reti fragili che richiedono settimane per essere configurate per ogni nuovo partner.

Il risultato: la collaborazione rallenta, i silos di dati persistono e il valore racchiuso nei dati aziendali rimane inutilizzato.

OpenSharing risolve questo problema. È un unico protocollo aperto che condivide dati e AI tra qualsiasi formato, cloud e confine organizzativo — supportando nativamente Delta Lake, Apache Iceberg e Parquet, in modo che i dati rimangano dove si trovano e fluiscano verso chiunque ne abbia bisogno.

"Delta Sharing ha dimostrato che il settore preferisce soluzioni aperte rispetto a quelle proprietarie. OpenSharing estende questo principio all'intero stack AI, espandendo al contempo l'ecosistema multipiattaforma ai destinatari di Iceberg e ai provider on-premise. L'era agentica merita una base aperta, e OpenSharing la offre." — Matei Zaharia, Co-fondatore e CTO di Databricks.

OpenSharing su Databricks

OpenSharing esiste su due livelli. Il protocollo open source — ora ospitato dalla Linux Foundation — è la specifica pubblicata che qualsiasi fornitore o membro della community può implementare. Databricks OpenSharing è l'implementazione enterprise del protocollo aperto, creata sulla base di altre funzionalità di Databricks come Unity Catalog per la governance e i log di audit, Marketplace per la scopribilità e altro ancora.

Siamo entusiasti di lanciare una suite di funzionalità per OpenSharing su Databricks.

Condivisione di Genie Agent: condividi un'esperienza AI governata, non solo i dati

Per la prima volta, le organizzazioni possono condividere esperienze AI governate — non solo dataset — oltre i confini organizzativi.

I Genie Agent sono gli ambienti di analisi conversazionale basati su AI di Databricks. Con OpenSharing, un provider può ora condividere i Genie Agent — inclusi il contesto semantico sottostante, le metriche aziendali e la logica AI riutilizzabile — con qualsiasi partner o cliente, con una governance end-to-end tramite Unity Catalog. Inoltre, i provider possono controllare il modo in cui i destinatari accedono ai dati, ad esempio nascondendo le istruzioni proprietarie di Genie, limitando l'accesso ai dati al solo Genie Agent, impostando quote giornaliere per i prompt e ponendo un limite all'esportazione delle righe. Questi controlli aprono nuove opportunità di monetizzazione per i provider di dati, come tariffe basate sul consumo anziché una licenza dati completa.

SecureConnect e Global Distribution: rete multi-cloud più semplice, costi di egress inferiori

La condivisione dei dati tra cloud diversi ha sempre presentato due problemi distinti. Ora OpenSharing su Databricks li risolve entrambi.

Il primo riguarda la rete. Quando lo storage del provider si trova dietro una rete privata — il che accade quasi sempre per gli scambi di dati sensibili o nei settori regolamentati — l'abilitazione di un nuovo destinatario può richiedere settimane di inserimento manuale degli IP in allowlist, coordinamento dei firewall e scambi continui con gli amministratori cloud. Per i provider con decine o centinaia di destinatari, questo sistema non è scalabile. SecureConnect risolve questo problema: un proxy gestito da Databricks che instrada l'accesso allo storage per conto di tutti i destinatari. Basta configurarlo una volta: non saranno mai più necessarie modifiche al firewall per singolo destinatario. Leggi il blog dell'annuncio.

Il secondo è il costo di egress. Le query tra cloud diversi generano tariffe di egress che si accumulano su larga scala, diventando un costo significativo e imprevedibile che rende la condivisione multi-cloud diffusa economicamente impraticabile. Global Distribution risolve questo problema con la replica automatica tra aree geografiche e cloud diversi. I destinatari interrogano una replica locale — in modo rapido e senza tariffe di egress. I provider ottengono una struttura dei costi prevedibile. I team globali ottengono un accesso a bassa latenza, indipendentemente da dove risiedono i dati di origine.

Interoperabilità client aperta ed ecosistema di storage on-premise: incontra i tuoi partner dove si trovano

OpenSharing si basa sulla convinzione che gli ecosistemi di dati prosperino quando sono veramente aperti, non solo a parole, ma nei fatti. Ciò significa supportare i formati, i sistemi di storage e i client già utilizzati dai tuoi partner.

Ecosistema di storage: governa tutto, ovunque risieda

Non tutti i dati aziendali possono — o devono — essere spostati nel cloud. I vincoli normativi, la data gravity, la latenza edge e ragioni puramente economiche fanno sì che alcuni dei dati più preziosi al mondo rimangano on-premise. OpenSharing li raggiunge.
Il Databricks Storage Ecosystem porta la Databricks Data Intelligence Platform direttamente negli ambienti on-premise, cloud privato ed edge — con la potenza di OpenSharing. I partner di storage implementano il server OpenSharing, collegando il proprio patrimonio di dati a Unity Catalog senza spostare un singolo byte. Nessuna migrazione. Nessuna duplicazione. Leggi l'annuncio.
I partner di lancio includono MinIO (GA), Everpure (Private Preview), Qumulo (a breve in Private Preview) e VAST Data (a breve in Private Preview) — con Cohesity, Commvault, NetApp e Nutanix in arrivo entro la fine dell'anno. Insieme, questi partner gestiscono centinaia di exabyte di dati aziendali.

Interoperabilità di Iceberg
Delta Sharing è già supportato in un'ampia gamma di piattaforme e connettori, tra cui Databricks, Tableau, Power BI, Apache Spark e Snowflake. OpenSharing ha ora aggiunto il supporto per le API REST Catalog di Apache Iceberg, rendendo possibile la condivisione dei dati con qualsiasi client compatibile con Iceberg. I provider possono anche condividere tabelle da cataloghi esterni, tra cui AWS Glue, Hive Metastore e Snowflake Horizon — portando i dati esterni nell'ecosistema governato di OpenSharing senza alcuna replica.

Come funziona OpenSharing

Basandosi sulla stessa semplicità che ha decretato il successo di Delta Sharing, OpenSharing estende il protocollo per supportare l'intero stack di risorse AI:

1. Il provider di dati crea una condivisione in Unity Catalog — definendo quali dataset, modelli, agenti o Genie Agent condividere e impostando autorizzazioni di accesso granulari.
2. Il destinatario riceve credenziali sicure e interroga la condivisione direttamente dai propri strumenti esistenti, dal cloud o dal client Iceberg, senza dover essere su Databricks.
3. Unity Catalog applica la governance end-to-end, monitorando ogni accesso, applicando controlli a livello di riga e colonna e garantendo che le policy di conformità accompagnino ogni risorsa condivisa.
4. I dati non vengono mai spostati: i destinatari interrogano i dati in tempo reale direttamente dallo storage cloud del provider, garantendo un'unica fonte di verità.

Per le distribuzioni enterprise su Databricks, SecureConnect e Global Distribution si integrano sopra questo flusso, gestendo automaticamente la rete cross-cloud e la replica, senza alcuna modifica al modo in cui i provider o i destinatari interagiscono con le loro condivisioni.

Pronto a iniziare con OpenSharing?

• Visita la pagina del prodotto OpenSharing su https://www.databricks.com/product/opensharing
• Visita il sito del progetto OSS su opensharing.io per saperne di più e iniziare.
• Leggi il comunicato stampa completo di Databricks per maggiori dettagli sull'annuncio di OSS.

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale