Passa al contenuto principale
Prodotto

Delta Sharing: risposte alle 10 domande più frequenti - Parte 1

Trova le risposte alle 10 domande principali su Delta Sharing, il protocollo di condivisione aperto più ampiamente adottato

di Bilal Obeidat, Akram Chetibi, Tia Chang, Darshana Sivakumar e Harish Gaur

  • Delta Sharing ti consente di condividere dati live e asset AI senza copiare file, eliminando le duplicazioni e garantendo che i destinatari abbiano sempre le informazioni più aggiornate.
  • Puoi condividere tabelle, viste, stream, notebook, modelli, ecc. e chiunque può estrarre i dati con strumenti di uso comune come Python, Spark, Power BI.
  • Sta crescendo rapidamente (300% YoY) e il 40% delle sue condivisioni attive avviene con utenti esterni all'ecosistema Databricks, dimostrando che funziona come protocollo di condivisione dati aperto e multipiattaforma.

Delta Sharing si è evoluto in OpenSharing, il primo protocollo aperto e neutrale rispetto ai fornitori per condividere in modo sicuro gli asset di AI, tra cui Agent Skills, modelli di AI e dati non strutturati. Leggi l'annuncio.

Delta Sharing sta registrando un momento incredibile, con una crescita del 300% anno su anno delle condivisioni attive. Non si tratta solo di trasferimenti di file una tantum; rappresenta una collaborazione continua e costante che dimostra lo scambio di un valore reale.

Un fattore chiave di questa crescita è la filosofia aperta della piattaforma. Delta Sharing consente ai clienti di condividere qualsiasi asset di dati e AI, con chiunque, senza alcuna frizione. Il 40% delle condivisioni attive di Delta Sharing avviene con destinatari esterni all'ecosistema Databricks. Ciò dimostra che Delta Sharing sta alimentando un ecosistema di collaborazione aperto che si estende su diverse piattaforme e cloud.

In questo post abbiamo raccolto le 10 domande più frequenti su Delta Sharing. Continua a leggere per avere una panoramica, capire perché è diverso, quali sono i casi d'uso più comuni e cosa ti serve per iniziare.

1. Cos'è Delta Sharing?

Delta Sharing è il protocollo aperto più ampiamente adottato per la condivisione sicura dei dati. Consente alle organizzazioni di scambiare dati in tempo reale e asset di AI tra diverse piattaforme e cloud.

Delta Sharing

2. Cosa rende Delta Sharing diverso?

La maggior parte degli strumenti di condivisione costringe a copiare i dati in una nuova destinazione, creando silo obsoleti ed espandendo la superficie di attacco. Delta Sharing consente di leggere i dati in tempo reale alla fonte, quindi non c'è nulla da spostare o duplicare.

In secondo luogo, poiché Delta Sharing è open source, non è legato a un singolo ecosistema. Puoi condividere dal tuo lakehouse Databricks o altrove, e i destinatari possono utilizzare i dati indipendentemente dal fatto che usino Databricks o meno.

Infine, i destinatari si connettono tramite connettori standard e aperti: Python, Apache Spark, Java, Power BI e altri ancora, per leggere le tabelle condivise che autorizzi.

Nel complesso, Delta Sharing offre una collaborazione indipendente dalla piattaforma per dati e AI tra team, strumenti e cloud. Puoi lavorare senza vincoli di lock-in, senza copie e senza lacune di governance.

3. Delta Sharing funziona con Iceberg? Se uso Apache Iceberg, come posso sfruttare Delta Sharing?

Sì, Delta Sharing è completamente compatibile con Apache Iceberg. Scegliendo Delta Sharing, ottieni il meglio di entrambi i mondi: l'accesso al più ampio ecosistema di collaborazione con Apache Iceberg che funziona perfettamente come origine e destinazione dei dati, sfruttando al contempo tutta la potenza di Delta Sharing.

Delta Sharing rende la condivisione una primitiva di prim'ordine in Iceberg. Con funzionalità uniche come la federazione dei token OIDC, che consente ai destinatari aperti di autenticarsi con IdP personalizzati, e Network Gateway, che semplifica e scala la configurazione di rete, i clienti sbloccano la piena interoperabilità tra i formati di tabella.

Le tabelle gestite in Unity Catalog possono ora essere condivise con client Iceberg come Snowflake, Trino e Spark. Inoltre, le tabelle Iceberg esterne gestite da cataloghi come Hive Metastore o AWS Glue possono essere federate in Unity Catalog e quindi condivise tramite lo stesso protocollo. In entrambi i casi, registri le tabelle in Unity Catalog, crei una condivisione e aggiungi i destinatari pertinenti, sia all'interno che all'esterno di Databricks. Ciò garantisce che gli utenti di Iceberg possano collaborare con i clienti Databricks utilizzando dati in tempo reale e governati, senza spostarli o duplicarli.

4. Posso utilizzare Delta Sharing per condividere dati con utenti che non sono clienti Databricks?

Sì, puoi condividere i dati con tutti i tuoi destinatari, indipendentemente dal fatto che utilizzino Databricks o qualsiasi altra piattaforma. Delta Sharing è un protocollo aperto che funziona sia per la condivisione Databricks-to-Databricks, sia per l'Open Sharing. Delta Sharing fornisce connettori aperti che i destinatari possono utilizzare su qualsiasi piattaforma, tra cui un connettore Apache Spark, un connettore Pandas, un connettore Iceberg REST Catalog, nonché connettori PowerBI, Tableau ed Excel. L'Open Sharing consente di condividere non solo tabelle, ma anche viste, partizioni e change data feed, consentendoti di ottimizzare l'esperienza di condivisione dei dati anche quando condividi esternamente.

5. Perché usare Delta Sharing? Quali problemi risolve?

Abbiamo analizzato il modo in cui migliaia di clienti utilizzano Delta Sharing e abbiamo individuato quattro modi principali in cui fa davvero la differenza per il loro business.

Caso d'usoDescrizioneEsempio di cliente/partner
Condivisione internaAbbattimento dei silo di dati all'interno di un'azienda, tra business unit e cloud.Mercedes-Benz lo utilizza per creare un data mesh unificato per i suoi team globali.
Condivisione peer-to-peerCollaborazione sicura con partner, fornitori e clienti.Procore offre ai clienti l'accesso diretto ai dati critici di progetto per scopi di analytics.
Licenza di dati di terze partiConcessione in licenza e integrazione di dati esterni e modelli di AI.S&P Global rende disponibili i suoi dataset di market intelligence sul Databricks Marketplace
Condivisione di applicazioni SaaSConnessione ai dati bloccati in varie applicazioni SaaS.Oracle Autonomous Database, insieme a Oracle Fusion Data Intelligence, può ora condividere i dati in modo sicuro e trasparente con Databricks e altre piattaforme

Perché usare Delta Sharing

6. Se condivido già i dati tramite SFTP, S3, Dropbox o e-mail, perché dovrei aver bisogno di Delta Sharing?

Se condividi ancora i dati tramite SFTP, S3, Dropbox o e-mail, stai esponendo la tua organizzazione a rischi e inefficienze inutili. Guarda cosa è successo a Finastra, dove i cybercriminali hanno sfruttato le vulnerabilità di SFTP rubando circa 400 GB di dati sensibili.

Questi vecchi metodi possono funzionare, ma sono obsoleti e fragili. Ti ritrovi a copiare file interi, a gestire password statiche o chiavi che non scadono mai e a creare innumerevoli copie non sincronizzate che aprono gravi lacune in termini di sicurezza e conformità. Delta Sharing sostituisce tutto questo con un approccio moderno, sicuro e verificabile. Puoi condividere solo le tabelle, le righe o le colonne specifiche di cui qualcuno ha bisogno (oltre ai modelli di AI), e chi estrae i dati vede sempre la versione più recente perché non ci sono copie extra in circolazione.

Anche la sicurezza è più solida. Invece di distribuire password statiche o chiavi di accesso, Delta Sharing distribuisce token a breve scadenza e può collegarsi al sistema di identità che già utilizzi, in modo da non dover mai gestire un set separato di credenziali. Ogni volta che qualcuno consulta i dati, l'operazione viene registrata in Unity Catalog, il che rende l'auditing e la conformità molto più semplici.

Se vuoi proteggere seriamente i dati sensibili e semplificare la collaborazione, Delta Sharing non è un semplice "optional"; oggi rappresenta lo standard di base per lo scambio sicuro di dati.

Scopri in che modo Kythera Labs, un partner Built-On Databricks, risparmia oltre 2 milioni di dollari all'anno grazie a Delta Sharing

Kythera Labs risparmia oltre 2 milioni di dollari all'anno grazie a Delta Sharing

7. Quali tipi di asset posso condividere utilizzando Delta Sharing?

Con Delta Sharing puoi condividere quasi ogni tipo di dati o asset AI, e questa ampiezza è davvero unica. Questi includono tabelle (e partizioni di tabelle), tabelle di streaming, tabelle Iceberg gestite, schemi e tabelle esterni, viste (incluse le viste dinamiche per il filtraggio di righe/colonne), viste materializzate, volumi, notebook e modelli AI. Se condividi un intero schema (database), tutto ciò che contiene (tabelle, viste, volumi, modelli) viene condiviso immediatamente, e anche eventuali nuovi asset aggiunti in seguito diventeranno disponibili per i destinatari. Tutti questi asset sono collegati a un singolo metastore di Unity Catalog, mantenendo la condivisione pulita e organizzata.

Asset di Delta Sharing

8. In che modo Delta Sharing garantisce la sicurezza dei dati quando un provider li condivide con un destinatario?

Delta Sharing utilizza un approccio zero-trust basato su token. Quando qualcuno richiede dei dati, il server di condivisione controlla Unity Catalog, quindi rilascia un token di sola lettura a breve durata o un URL pre-firmato che punta direttamente allo storage, in modo che nessuna password permanente lasci mai il provider. Tutto il traffico è protetto da crittografia TLS e ogni richiesta viene registrata per l'audit. All'interno di Databricks-to-Databricks, l'handshake viene gestito automaticamente; gli utenti esterni possono autenticarsi con semplici file di credenziali o tramite federazione OIDC, ma si applica lo stesso modello con token temporaneo, crittografato e completamente controllato. Questo garantisce che solo le persone giuste possano vedere i dati corretti, e solo per un periodo di tempo limitato. Leggi In che modo Delta Sharing consente una collaborazione end-to-end sicura per un'analisi approfondita.

9. Sembra un'ottima soluzione. Quali sono le implicazioni in termini di costi dell'utilizzo di Delta Sharing?

Iniziare a usare Delta Sharing non costa nulla: non ci sono costi per impostare, configurare o condividere un set di dati o un modello AI. Riceverai un addebito solo quando qualcuno interroga effettivamente i dati e, anche in quel caso, i costi si suddividono in tre parti chiare.

In primo luogo, il costo di calcolo (la potenza di elaborazione necessaria per eseguire la query) è solitamente pagato da chi esegue la query, anche se il proprietario dei dati può scegliere di coprirlo se lo ritiene più opportuno.

In secondo luogo, c'è il costo di egress per lo spostamento dei dati al di fuori del cloud del provider; la nuova modalità R2 (ora GA) offre persino un'opzione "zero egress", consentendo di evitare completamente tale addebito.

In terzo luogo, il costo di storage rileva solo se decidi di conservare una copia replicata: l'accesso live e immediato non richiede spazio aggiuntivo.

Ecco un esempio di condivisione da Databricks a Databricks: immagina che un fornitore su AWS condivida una vista materializzata con un rivenditore su Azure. Quando i dati vengono condivisi, il fornitore paga i costi di egress per i dati che lasciano AWS, e quando il rivenditore esegue una query sui dati condivisi, quest'ultimo paga i costi di calcolo per la query.

10. Di cosa ho bisogno per iniziare a utilizzare Delta Sharing?

I requisiti dipendono dal fatto che tu stia condividendo con un destinatario Databricks o non Databricks.

La condivisione esterna deve essere abilitata e le organizzazioni dovrebbero monitorare la governance e i potenziali costi di egress cross-cloud.

Vuoi iniziare?

Resta sintonizzato per la prossima serie di domande, in cui esploreremo argomenti tra cui la sicurezza, il modo in cui Delta Sharing supporta prodotti come Clean Rooms e Databricks Marketplace, e altre funzionalità avanzate.

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale

Ricevi gli ultimi articoli nella tua casella di posta

Iscriviti al nostro blog e ricevi gli ultimi articoli direttamente nella tua casella di posta.