Novità sulla condivisione dei dati e la collaborazione

In Databricks, la nostra missione è democratizzare i dati e l'AI. Un approccio aperto alla condivisione e alla collaborazione è fondamentale per massimizzare la portata e l'impatto. All'interno della nostra piattaforma di data intelligence, il protocollo aperto Delta Sharing aiuta i nostri clienti a condividere in modo semplice e sicuro dati e asset di AI per accelerare l'innovazione. Per la collaborazione con dati di terze parti, il Databricks Marketplace è il marketplace aperto per tutte le tue esigenze di dati, analytics e AI. Con un ecosistema in crescita di partner di dati che condividono un'ampia gamma di asset di dati e AI, il Databricks Marketplace offre ai consumatori di dati la capacità di generare innovazione. Databricks Clean Rooms offre una collaborazione sicura per la privacy che consente alle aziende di collaborare facilmente in un ambiente sicuro su qualsiasi cloud. La scorsa settimana abbiamo annunciato 12 nuovi partner leader del settore per espandere l'ecosistema aperto di Delta Sharing. Oggi siamo entusiasti di annunciare come stiamo accelerando la crescita del nostro ecosistema e i nuovi aggiornamenti sul rilascio delle funzionalità di Delta Sharing. Siamo inoltre entusiasti di annunciare la disponibilità della collaborazione sicura per la privacy con Databricks Clean Rooms in Public Preview (prossimamente disponibile) su AWS e Azure.

Accelerare la crescita della condivisione dei dati con Delta Sharing

I clienti di Databricks stanno promuovendo collaborazioni cross-platform e cross-cloud con i loro clienti e partner su un ecosistema flessibile, sicuro e aperto, senza vincoli di vendor lock-in. L'impegno di Databricks verso l'innovazione e la collaborazione ha prodotto risultati significativi nell'ultimo anno, con una crescita straordinaria dell'ecosistema.

Abbiamo registrato una crescita massiccia in tutto il nostro ecosistema, con oltre 16.000 destinatari di dati provenienti da un'ampia gamma di organizzazioni che hanno adottato Delta Sharing per collaborare con partner e clienti. Oggi siamo entusiasti di annunciare una crescita superiore al 300% su base annua (YoY) per i Delta Shares attivi nel nostro ecosistema aperto, con il 40% dei Delta Shares che utilizza i nostri connettori aperti cross-platform che supportano Apache Spark, Pandas, Power BI e il recentemente annunciato Tableau per accedere e leggere i dati condivisi.

L'ultimo gruppo di partner di Delta Sharing sta creando soluzioni di condivisione dei dati, espandendo le partnership "Built on" esistenti per nuove funzionalità e promuovendo partnership tecnologiche che aiutano i clienti comuni a condividere i dati in modo fluido tra le piattaforme. Queste nuove partnership includono Acxiom, Amperity, Atlassian, Aveva, HealthVerity, Shutterstock, Stocktwits, T-Mobile, TetraScience e The Trade Desk. Databricks annuncia inoltre l'espansione delle partnership con Epsilon, LiveRamp, S&P Global e Tableau.

"Atlassian Analytics ha recentemente lanciato Data Shares, sfruttando Delta Sharing di Databricks, per aumentare la flessibilità e accelerare il time-to-insight dei clienti. … L'ecosistema aperto di connettori di Delta Sharing, tra cui Tableau, PowerBI e Spark, consente ai clienti di alimentare facilmente i propri ambienti con i dati provenienti direttamente dall'Atlassian Data Lake." —Ben Jackson, Senior Group Product Manager, Data & Analytics, Atlassian

Le nuove innovazioni di Delta Sharing favoriscono il successo di dati e AI

Tre anni fa abbiamo annunciato il progetto Delta Sharing open source, il primo protocollo aperto del settore per la condivisione sicura dei dati. Da allora, Delta Sharing ha continuato a innovare e a rendere più semplice per i clienti la condivisione di dati live e AI tra piattaforme, cloud e aree geografiche, senza alcuna necessità di replica.

Basandoci su questo approccio aperto, il nostro principio guida è rendere Delta Sharing lo strumento più aperto, sicuro e flessibile, in cui chiunque possa condividere qualsiasi asset di dati con qualsiasi destinatario su qualsiasi piattaforma, per qualsiasi caso d'uso, da SQL a AI. A tal fine, abbiamo continuato a sviluppare nuove funzionalità di condivisione aperta sia per i provider che per i destinatari dei dati e siamo lieti di annunciare diverse nuove innovazioni di prodotto per Delta Sharing.

Recentemente rilasciate in Public Preview, siamo felici di annunciare che due funzionalità di Delta Sharing sono ora generalmente disponibili, Volume Sharing e il supporto per Cloudflare R2. I "Volumi" sono un nuovo tipo di oggetto in Unity Catalog per raccolte di directory e file. Con Volume Sharing, ora hai la flessibilità di condividere grandi quantità di dati non strutturati o non tabulari (ad esempio immagini, audio, video o file PDF) tra i vari workspace e senza la necessità di costose repliche. Questa nuova funzionalità aiuta ad accelerare l'innovazione per l'elaborazione di dati non strutturati/non tabulari per i carichi di lavoro di data science, AI e machine learning. Il supporto per Cloudflare R2 aiuta i clienti comuni dell'offerta di storage di oggetti distribuito "zero egress" di Cloudflare a usufruire di tariffe di uscita pari a zero, senza costose repliche tra aree geografiche e senza vendor lock-in. Questa partnership strategica con Cloudflare ha già aiutato clienti come Allium a risparmiare fino a 645.000 $ all'anno utilizzando sia Delta Sharing e Cloudflare R2.

Cross-Platform View Sharing è una nuova ed entusiasmante funzionalità che consente ai provider di dati di condividere facilmente le viste con qualsiasi destinatario. Sebbene le viste siano state per anni un meccanismo molto diffuso per consentire la condivisione dinamica dei dati, la condivisione delle viste è spesso limitata alla stessa piattaforma e area cloud, rendendo difficile raggiungere tutti gli utenti ovunque si trovino. Siamo entusiasti di condividere che i clienti di Databricks saranno in grado di condividere in modo sicuro le viste con qualsiasi destinatario, indipendentemente dal cloud, dall'area geografica o dalla piattaforma che utilizzano. Cross-Platform View Sharing sarà presto disponibile in Private Preview e puoi registrarti ora per richiedere l'accesso alla preview quando sarà disponibile. Un'altra funzionalità di Delta Sharing che stiamo rilasciando è Materialized Views and Streaming Tables Sharing in Private Preview. I clienti che utilizzano Delta Live Tables per creare facilmente pipeline di dati affidabili e convenienti possono ora condividere facilmente l'output di queste pipeline con i loro destinatari, senza la necessità di creare e mantenere copie o pipeline aggiuntive. Registrati per richiedere l'accesso alla preview.

I clienti ci hanno riferito di aver bisogno di un ecosistema di condivisione in grado di accedere a tutti i dati necessari, ovunque essi si trovino. Siamo entusiasti di annunciare Sharing for Lakehouse Federation, una nuova funzionalità che consente ai clienti di condividere i dati direttamente dal luogo in cui sono archiviati, senza la necessità di copiarli in Databricks. Ciò consente ai provider di dati di concedere facilmente l'accesso ai dati archiviati nel loro data warehouse o database (ad esempio Snowflake, BigQuery, Redshift, MySQL, PostgreSQL, ecc.), consentendo ai clienti di Databricks di accedere al set di dati più ampio possibile senza alcun sovraccarico aggiuntivo per i provider. Questa funzionalità sarà presto disponibile in Private Preview. Registrati per richiedere l'accesso alla preview.

Tutte queste incredibili nuove funzionalità si aggiungono alle recenti innovazioni degli ultimi sei mesi, tra cui AI Model Sharing, attualmente in Public Preview, che consente di condividere modelli con partner e clienti, i quali possono distribuirli nel proprio ambiente Databricks utilizzando Mosaic AI. AI Model Sharing offre vantaggi rivoluzionari per condividere facilmente i modelli tra cloud e aree geografiche, consentendo al contempo ai destinatari di proteggere la privacy dei propri dati quando utilizzano modelli di terze parti.

Annuncio della Public Preview di Clean Rooms su AWS + Azure

Databricks Clean Rooms offre un ambiente sicuro per la privacy per la collaborazione su tutti i tuoi asset di dati e AI, senza accesso diretto ai dati sensibili. Oggi annunciamo che Databricks Clean Rooms sarà presto disponibile in Public Preview su AWS e Azure. Puoi registrarti qui per ottenere l'accesso anticipato alla preview.

Le organizzazioni cercano modi per condividere in sicurezza i propri dati e collaborare con partner esterni per promuovere l'innovazione basata sui dati. In passato, le organizzazioni disponevano di soluzioni di condivisione dei dati limitate, perdendo il controllo sulle modalità di condivisione dei dati sensibili con i partner e avendo una visibilità scarsa o nulla su come venivano consumati i dati. Ciò comportava il rischio di un potenziale uso improprio dei dati e di violazioni della privacy dei dati. I clienti che hanno provato a utilizzare altre soluzioni di clean room ci hanno riferito che queste sono limitate e non soddisfano le loro esigenze, poiché spesso richiedono a tutte le parti di copiare i propri dati nella stessa piattaforma, non consentono analisi sofisticate oltre alle query SQL di base e offrono una visibilità o un controllo limitati sui dati.

Le organizzazioni hanno bisogno di un modo aperto, flessibile e sicuro per la privacy per collaborare sui dati, e Databricks Clean Rooms soddisfa queste esigenze fondamentali.

• Qualsiasi cloud, qualsiasi piattaforma. La collaborazione sicura, aperta e flessibile è basata su Delta Sharing; Clean Rooms consente di collaborare tra cloud, aree geografiche e persino tra piattaforme diverse grazie al nuovo Sharing for Lakehouse Federation (vedere i dettagli sopra).
• Qualsiasi linguaggio e carico di lavoro a tua scelta: a differenza di altre data clean room sul mercato, Databricks Clean Rooms supporta qualsiasi linguaggio o carico di lavoro, incluso il supporto nativo per ML e AI con Python. Clean Rooms è una soluzione flessibile e interoperabile che consente alle organizzazioni di collaborare con chiunque, indipendentemente dal cloud o dalla piattaforma, senza necessità di replicare i dati.
• Qualsiasi scala: Clean Rooms supporta anche la collaborazione e le funzionalità operative su larga scala. Grazie al supporto per API, comandi SQL e all'orchestrazione integrata di Databricks Workflows, puoi automatizzare facilmente i carichi di lavoro di Clean Room. Inoltre, i collaboratori ricevono i dati di output approvati direttamente nel proprio Unity Catalog, pronti per essere utilizzati comodamente per i casi d'uso successivi. Prossimamente, più collaboratori potranno lavorare insieme in una Databricks Clean Room.

Crescita dell'ecosistema e innovazione di prodotto di Databricks Marketplace

Molti marketplace sono ecosistemi chiusi, limitati a cloud o data warehouse specifici e spesso incentrati esclusivamente su dati o applicazioni semplici. A giugno 2023 abbiamo lanciato il Databricks Marketplace, una piattaforma aperta progettata per soddisfare tutte le tue esigenze di dati, analytics e AI. Basato su Delta Sharing, il Marketplace offre una vasta gamma di dataset, modelli AI, notebook e soluzioni.

Nell'ultimo anno, Databricks Marketplace ha introdotto diverse innovazioni come AI Model Sharing on Marketplace, Volume Sharing on Marketplace (vedi il recente blog, Shutterstock Uses Volume Sharing for Seamless Collaboration), Databricks to Open Sharing, Private Exchanges e Solution accelerators per aiutare i consumatori di dati a scoprire e valutare i prodotti di dati più rapidamente e ad accelerare le loro iniziative di analytics e AI. La tabella seguente fornisce una rapida panoramica del rilascio di queste funzionalità del prodotto e dei vantaggi per i clienti.

Anche Databricks Marketplace ha registrato una crescita straordinaria, con oltre 2.000 offerte di dataset, modelli AI e acceleratori di soluzioni disponibili sul Databricks Marketplace, con un incremento del 320% anno su anno delle offerte e un aumento del 300% di nuovi provider di dati.

"Shutterstock sta portando la sua vasta collezione di quasi un miliardo di risorse di contenuti creativi su Databricks Marketplace, una piattaforma rinomata per la promozione dei dati aperti e della collaborazione sull'AI. Questa integrazione offre un accesso senza precedenti alla nostra vasta libreria di contenuti visivi di provenienza etica, promuovendo iniziative di AI e ML responsabili in vari settori. Siamo entusiasti di aggiungere Delta Sharing como metodo per distribuire i dati. I clienti che utilizzano il nostro ricco dataset su Databricks possono cogliere nuove opportunità, catalizzare l'innovazione dei prodotti e assicurarsi un vantaggio competitivo." —Aimee Egan, Chief Enterprise Officer, Shutterstock

Inizia a utilizzare la condivisione dei dati e la collaborazione in Databricks

Databricks consente la condivisione e la collaborazione aperta dei dati e non vediamo l'ora di scoprire come utilizzerai Delta Sharing, Databricks Marketplace e Databricks Clean Rooms per innovare e realizzare le tue iniziative di dati e AI.

Assicurati di rimanere sintonizzato su tutti i nostri aggiornamenti relativi alla condivisione dei dati e alla collaborazione al Data and AI Summit dal 10 al 13 giugno, oppure segui le dirette streaming dei keynote e di sessioni selezionate.

Invia la tua richiesta di adesione tramite il modulo di interesse per Databricks Clean Rooms prima del rilascio della Public Preview. Puoi anche registrarti per la private preview di Delta Sharing Cross-Platform View Sharing e per la private preview di Delta Sharing Materialized Views and Streaming Table Sharing.

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale