Annunciata la disponibilità in commercio di Delta Sharing

Oggi siamo lieti di annunciare che Delta Sharing è ora disponibile a livello generale (GA) su AWS e Azure. Con la versione GA, puoi contare sul massimo livello di stabilità, supporto e predisposizione per l'uso aziendale da parte di Databricks per i carichi di lavoro mission-critical sulla Databricks Lakehouse Platform.

In questo blog, analizzeremo come le organizzazioni utilizzano Delta Sharing per massimizzare il valore commerciale dei loro dati, alcune delle funzionalità chiave disponibili nella versione GA e come iniziare a usare Delta Sharing sulla Databricks Lakehouse Platform.

I clienti vincono con lo standard aperto per il Data Sharing dal lakehouse

Il Data Sharing è diventato importante nell'economia digitale, poiché le aziende cercano di scambiare dati in modo facile e sicuro con clienti, partner, fornitori e linee di business (LOB) interne per collaborare meglio e ricavare valore da tali dati. Tuttavia, la mancanza di un protocollo di Data Sharing basato su standard ha portato a soluzioni legate a un unico fornitore o prodotto commerciale, introducendo i rischi del vendor lock-in. Queste sfide dei clienti hanno spinto Databricks a creare una soluzione aperta per la Data Sharing, Delta Sharing.

Databricks Delta Sharing offre una soluzione aperta per la condivisione sicura di dati "live" dal lakehouse aziendale a qualsiasi piattaforma informatica. I destinatari dei dati non devono necessariamente trovarsi sulla Databricks Lakehouse Platform, sullo stesso cloud o su un cloud qualsiasi. I fornitori di dati possono condividere set di dati esistenti su larga scala basati sui formati Apache Parquet o Delta Lake, senza replicare o copiare i set di dati in un altro sistema. I destinatari dei dati hanno il vantaggio di accedere sempre alla versione più recente dei dati e possono eseguire query, visualizzare, trasformare, acquisire o arricchire i dati condivisi con gli strumenti che preferiscono, riducendo il time-to-value. Dato che la governance e la sicurezza sono le principali preoccupazioni per molte organizzazioni, Delta Sharing è integrato in modo nativo con Unity Catalog, consentendo di gestire, governare, controllare e monitorare l'utilizzo dei dati condivisi su un'unica piattaforma.

Dal lancio di Delta Sharing in anteprima privata l'anno scorso, centinaia di clienti hanno adottato Delta Sharing e oggi vengono condivisi petabyte di dati tramite Delta Sharing.

Nasdaq: "Delta Sharing ci ha aiutato a semplificare il processo di distribuzione dei dati per set di dati di grandi dimensioni. Ciò consente ai nostri clienti di utilizzare il proprio ambiente compute per leggere dati nuovi e curati con un lavoro di integrazione minimo o nullo, e a noi consente di continuare ad ampliare il nostro catalogo di prodotti di dati unici e di alta qualità" - William Dague, Head of Alternative Data

Shell: "Riconosciamo che l'apertura dei dati svolgerà un ruolo chiave nel raggiungimento delle ambizioni Carbon Net Zero di Shell. Delta Sharing fornisce a Shell un protocollo standard, controllato e sicuro per condividere facilmente grandi quantità di dati con i nostri partner per raggiungere questi obiettivi, senza che i partner debbano trovarsi sulla stessa piattaforma di Data Sharing" - Bryce Bartmann, Chief digitale tecnologia Advisor

SafeGraph: "In quanto data company, è fondamentale fornire ai nostri clienti l'accesso ai nostri set di dati. La Databricks Lakehouse Platform con Delta Sharing semplifica davvero questo processo, consentendoci di raggiungere in modo sicuro una base di utenti molto più ampia, indipendentemente dal cloud o dalla piattaforma" - Felix Cheung, VP of Engineering

“Con Delta Sharing, i nostri clienti hanno accesso in modo pressoché istantaneo a set di dati curati, con la possibilità di integrarli con strumenti di analisi scelti da loro. Il dialogo con i nostri clienti spazia dall'assistenza tecnica a basso valore sull'acquisizione dei dati a discussioni analitiche ad alto valore con cui offriamo al cliente esperienze di successo. Con la progressiva evoluzione dei rapporti con i nostri clienti, siamo in grado di fornire nuovi set di dati e aggiornare quelli esistenti grazie a Delta Sharing, per tenere i clienti sempre allineati con gli sviluppi dei loro rispettivi settori.” — Anup Segu, Data Engineering Tech Lead

“Sfruttando le funzionalità avanzate di Delta Sharing di Databricks, Pumpjack Dataworks può realizzare un'esperienza di onboarding più veloce, senza bisogno di esportare, importare e rimodellare i dati, così da offrire ai nostri clienti un valore immediato. Risultati più rapidi offrono maggiori opportunità commerciali per i nostri clienti e i loro partner" - Corey Zwart, Chief Technology Officer

Cosa c'è di nuovo in Delta Sharing con la GA?

Sebbene Delta Sharing disponga di una serie di straordinarie funzionalità nella release GA, di seguito sono riportate alcune delle funzionalità principali che stiamo distribuendo con questa release:

Condivisione fluida da Databricks a Databricks

Per i clienti Databricks, Delta Sharing rende la Data Sharing sulla lakehouse estremamente semplice, efficiente e sicura. Con pochi clic dell'interfaccia utente o comandi SQL, i provider di dati possono condividere facilmente i dati esistenti con i destinatari su Databricks, senza replicarli. Ad esempio, un provider di dati che usa Databricks su AWS può condividere i dati esistenti con un destinatario che usa Databricks su Azure o viceversa. Puoi consultare la guida per l'utente per tutti i dettagli. Nella condivisione da Databricks a Databricks, il provider di dati non deve gestire le credenziali token per i destinatari che utilizzano Databricks; la connessione di condivisione viene stabilita in modo sicuro tramite la piattaforma Databricks. Per accedere è sufficiente un account Databricks, al resto pensa la piattaforma. Oltre alla Data Sharing tra account, un altro importante caso d'uso è la Data Sharing interna. Se si dispone di più metastore di Unity Catalog nello stesso account in aree geografiche diverse, è possibile condividere facilmente i dati tra tali metastore utilizzando Delta Sharing senza copiare alcun dato. Esempio di flusso di lavoro SQL dal punto di vista di un provider di dati:

Esempio di flusso di lavoro SQL dal punto di vista di un destinatario dei dati:

Condivisione di Change Data Feed

Delta Sharing ora supporta la condivisione del Change Data Feed (CDF). Oltre alla condivisione di una tabella, un provider di dati può scegliere di includere il CDF della tabella, consentendo ai destinatari di eseguire query sulle modifiche tra versioni o timestamp specifici della tabella. Con questa funzionalità, i destinatari possono eseguire query solo sui nuovi dati o sulle modifiche incrementali invece che sull'intera tabella ogni volta. Un provider di dati può condividere facilmente una tabella con CDF e un destinatario dei dati può eseguire query sulle modifiche della tabella con una sintassi semplice:

Funzionalità di sicurezza avanzate

Nella versione GA di Delta Sharing è disponibile anche una serie di funzionalità di sicurezza per rendere la condivisione ancora più sicura. Un esempio di queste funzionalità di sicurezza è la lista di accesso IP. I provider di dati possono ora configurare un elenco di accesso IP per ciascuno dei loro destinatari utilizzando connettori aperti. Questo garantisce che il download delle credenziali e l'accesso ai dati possano essere avviati solo dall'indirizzo IP di destinazione. Abbiamo anche aggiunto alcune altre autorizzazioni correlate a Delta Sharing (ad es. CREATE SHARE, CREATE RECIPIENT) e ha introdotto il concetto di proprietario per gli oggetti Delta Sharing come Share e Recipient. Con queste primitive, Delta Sharing su Databricks offre un modello di controllo degli accessi più flessibile e anche gli utenti non amministratori possono eseguire attività operative di condivisione.

Come iniziare a usare Delta Sharing su Databricks

Guarda la demo qui sotto per scoprire come Delta Sharing può aiutarti a condividere senza problemi i dati in tempo reale dal tuo lakehouse a qualsiasi piattaforma di elaborazione.

Se sei già cliente Databricks, segui la guida per iniziare (AWS | Azure). Leggi le note di rilascio per saperne di più su cosa è incluso in questa versione GA. Se non sei ancora cliente Databricks, registrati per una prova gratuita con un workspace Premium o Enterprise.