Annuncio della disponibilità generale di Delta Sharing

Oggi siamo entusiasti di annunciare che Delta Sharing è generalmente disponibile (GA) su AWS e Azure. Con il rilascio GA, puoi aspettarti il massimo livello di stabilità, supporto e prontezza per il livello enterprise da Databricks per i carichi di lavoro mission-critical sulla Databricks Lakehouse Platform.

In questo blog esploreremo come le organizzazioni sfruttano Delta Sharing per massimizzare il valore aziendale dei loro dati, alcune delle funzionalità chiave disponibili nella release GA e come iniziare a utilizzare Delta Sharing sulla Databricks Lakehouse Platform.

I clienti vincono con lo standard aperto per la condivisione dei dati dal lakehouse

La condivisione dei dati è diventata importante nell'economia digitale, poiché le aziende cercano di scambiare dati in modo semplice e sicuro con clienti, partner, fornitori e linee di business (LOB) interne per collaborare meglio e sbloccare il valore di tali dati. Tuttavia, la mancanza di un protocollo di condivisione dei dati basato su standard ha portato a soluzioni vincolate a un singolo fornitore o prodotto commerciale, introducendo rischi di vendor lock-in. Queste sfide per i clienti ci hanno spinto, in Databricks, a creare una soluzione aperta di condivisione dei dati, Delta Sharing.

Delta Sharing offre una soluzione aperta per condividere in modo sicuro dati live dal tuo lakehouse a qualsiasi piattaforma di calcolo. I destinatari dei dati non devono necessariamente utilizzare la Databricks Lakehouse Platform, trovarsi sullo stesso cloud o su un cloud qualsiasi. I provider di dati possono condividere dataset esistenti su larga scala basati sui formati Apache Parquet o Delta Lake, senza replicare o copiare i dataset in un altro sistema. I destinatari dei dati beneficiano dell'accesso costante alla versione più recente dei dati, con la possibilità di interrogare, visualizzare, trasformare, importare o arricchire i dati condivisi con gli strumenti preferiti, riducendo il time-to-value. Poiché la governance e la sicurezza sono priorità assolute per molte organizzazioni, Delta Sharing è integrato nativamente con Unity Catalog, consentendo di gestire, governare, controllare e tracciare l'utilizzo dei dati condivisi su un'unica piattaforma.

Dal lancio di Delta Sharing in private preview lo scorso anno, centinaia di clienti hanno adottato Delta Sharing e, oggi, petabyte di dati vengono condivisi tramite Delta Sharing.

Nasdaq: "Delta Sharing ci ha aiutato a semplificare il nostro processo di distribuzione dei dati per dataset di grandi dimensioni. Ciò consente ai nostri clienti di utilizzare il proprio ambiente di calcolo per leggere dati aggiornati e curati con un lavoro di integrazione minimo o nullo, e ci permette di continuare a espandere il nostro catalogo di prodotti dati unici e di alta qualità" - William Dague, Head of Alternative Data

Shell: "Riconosciamo che l'apertura dei dati svolgerà un ruolo chiave nel raggiungimento degli obiettivi Carbon Net Zero di Shell. Delta Sharing fornisce a Shell un protocollo standard, controllato e sicuro per condividere facilmente grandi quantità di dati con i nostri partner per lavorare verso questi obiettivi, senza richiedere che i nostri partner utilizzino la stessa piattaforma di condivisione dei dati" - Bryce Bartmann, Chief Digital Technology Advisor

SafeGraph: "In qualità di azienda di dati, offrire ai nostri clienti l'accesso ai nostri dataset è fondamentale. La Databricks Lakehouse Platform con Delta Sharing semplifica notevolmente questo processo, consentendoci di raggiungere in modo sicuro una base utenti molto più ampia, indipendentemente dal cloud o dalla piattaforma" - Felix Cheung, VP of Engineering

YipitData: "Con Delta Sharing, i nostri clienti possono accedere a dataset curati quasi istantaneamente e integrarli con gli strumenti di analytics di loro scelta. Il dialogo con i nostri clienti si sposta da un continuo confronto tecnico di scarso valore sull'ingestione a una discussione analitica di alto valore in cui guidiamo esperienze di successo per i clienti. Man mano che le relazioni con i clienti si evolvono, possiamo fornire senza problemi nuovi dataset e aggiornare quelli esistenti tramite Delta Sharing per tenere i clienti informati sulle tendenze chiave nei loro settori." - Anup Segu, Data Engineering Tech Lead

Pumpjack Dataworks: "Sfruttare le potenti funzionalità di Delta Sharing di Databricks consente a Pumpjack Dataworks di avere un'esperienza di onboarding più rapida, eliminando la necessità di esportare, importare e rimodellare i dati, il che porta un valore immediato ai nostri clienti. Risultati più rapidi generano maggiori opportunità commerciali per i nostri clienti e i loro partner" - Corey Zwart, Chief Technology Officer

Quali sono le novità di Delta Sharing con la GA?

Sebbene Delta Sharing offra una serie di straordinarie funzionalità nella release GA, di seguito sono riportate alcune delle caratteristiche principali incluse in questo rilascio:

Condivisione fluida da Databricks a Databricks

Per i clienti Databricks, Delta Sharing rende la condivisione dei dati sul lakehouse estremamente semplice, efficiente e sicura. Con pochi clic sull'interfaccia utente (UI) o comandi SQL, i provider di dati possono condividere facilmente i propri dati esistenti con i destinatari su Databricks, senza replicare i dati. Ad esempio, un provider di dati che utilizza Databricks su AWS può condividere dati esistenti con un destinatario che utilizza Databricks su Azure o viceversa. Puoi consultare la guida utente per tutti i dettagli. Nella condivisione da Databricks a Databricks, il provider di dati non deve gestire le credenziali dei token per i destinatari che utilizzano Databricks; la connessione di condivisione viene stabilita in modo sicuro tramite la piattaforma Databricks. Tutto ciò di cui hai bisogno è un account Databricks per accedere e al resto pensa la piattaforma. Oltre alla condivisione dei dati tra account diversi, un altro caso d'uso importante è la condivisione interna dei dati. Se disponi di più metastore Unity Catalog nello stesso account in aree geografiche diverse, puoi condividere facilmente i dati tra tali metastore utilizzando Delta Sharing senza copiare alcun dato. Esempio di flusso di lavoro SQL dal punto di vista di un provider di dati:

Esempio di flusso di lavoro SQL dal punto di vista di un destinatario di dati:

Condivisione del Change Data Feed

Delta Sharing ora supporta la condivisione del Change Data Feed (CDF). Oltre a condividere una tabella, un provider di dati può scegliere di includere il CDF della tabella, consentendo ai destinatari di interrogare le modifiche tra versioni o timestamp specifici della tabella. Con questa funzionalità, i destinatari possono interrogare solo i nuovi dati o le modifiche incrementali anziché l'intera tabella ogni volta. Un provider di dati può condividere facilmente una tabella con CDF e un destinatario di dati può interrogare le modifiche della tabella con una sintassi semplice:

Funzionalità di sicurezza avanzate

Nella release GA di Delta Sharing, abbiamo introdotto anche un set di funzionalità di sicurezza per rendere la condivisione ancora più sicura. Un esempio di queste funzionalità di sicurezza è la IP Access List. I provider di dati possono ora configurare un elenco di accesso IP per ciascuno dei loro destinatari utilizzando connettori aperti. Ciò garantisce che il download delle credenziali e l'accesso ai dati possano essere avviati solo dall'indirizzo IP di destinazione. Abbiamo anche aggiunto altre autorizzazioni relative a Delta Sharing (ad es. CREATE SHARE, CREATE RECIPIENT) e introdotto il concetto di owner per gli oggetti di Delta Sharing come Share e Recipient. Con queste primitive, Delta Sharing su Databricks offre un modello di controllo degli accessi più flessibile e anche gli utenti non amministratori possono eseguire operazioni di condivisione.

Iniziare a utilizzare Delta Sharing su Databricks

Guarda la demo qui sotto per scoprire come Delta Sharing ti consente di condividere in modo fluido dati in tempo reale dal tuo lakehouse a qualsiasi piattaforma di calcolo.

Se sei già un cliente Databricks, segui la guida per iniziare (AWS | Azure). Leggi le note di rilascio per saperne di più su cosa è incluso in questa release GA. Se non sei ancora un cliente Databricks, iscriviti per una prova gratuita con un workspace Premium o Enterprise.

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale