Annunciata la Public Preview della condivisione delle viste cross-platform

Siamo entusiasti di annunciare la Public Preview della condivisione delle viste cross-platform. Disponibile da oggi, consente ai data provider di condividere viste su diverse piattaforme, cloud e regioni, promuovendo un ecosistema di dati aperto e interoperabile.

La condivisione delle viste si è rivelata utile; anche altri vendor la offrono. Ma finora è stata per lo più limitata alla stessa piattaforma. Era possibile condividere le viste all'interno di una singola piattaforma, ma non su più piattaforme e cloud. Databricks risolve questo problema con la condivisione delle viste cross-platform, consentendo di condividere le viste in modo fluido tra ambienti diversi. Si tratta di una svolta importante, perché amplia la portata dei data provider ed evita il vendor lock-in per i consumatori di dati, rendendo la collaborazione più semplice e veloce.

La condivisione cross-platform si allinea con la visione di condivisione aperta di Databricks, abilitando uno scambio di dati sicuro e fluido tra diverse piattaforme, cloud e regioni

Capire la condivisione delle viste

Per comprendere la condivisione delle viste, capiamo innanzitutto cosa sono le viste. In Databricks, le viste sono rappresentazioni di dati in sola lettura create a partire da tabelle o altre viste. Memorizzano il testo della query ma non i dati stessi. Le viste fanno parte di Unity Catalog

La condivisione delle viste consente agli utenti di condividere le viste utilizzando il protocollo Delta Sharing. Delta Sharing è il primo protocollo aperto del settore per la condivisione sicura dei dati, che semplifica la condivisione con altre organizzazioni indipendentemente dalle piattaforme dati utilizzate. La condivisione delle viste promuove la riutilizzabilità e riduce la ridondanza, poiché più utenti possono accedere e utilizzare le stesse viste per l'analisi.

In precedenza, quando una vista veniva condivisa tra account Databricks, i consumatori potevano interrogarla solo utilizzando Databricks Serverless SQL. Databricks Serverless SQL funziona su tutti e tre i principali cloud provider: AWS, Azure e Google Cloud Platform (GCP), consentendo la condivisione delle viste tra cloud diversi.

Ora, con la condivisione delle viste cross-platform, i consumatori di dati possono sfruttare qualsiasi tipo di cluster Databricks o persino utilizzare client Delta Sharing aperti per accedere e interrogare le viste condivise. I client Delta Sharing aperti sono strumenti o piattaforme che supportano il protocollo Delta Sharing, consentendo agli utenti di accedere alle viste condivise senza dover utilizzare Databricks. Questi client includono sistemi diffusi come Apache Spark™, Pandas, Power BI, Tableau e altri. Ciò consente agli utenti su altre piattaforme (ovvero che non utilizzano Databricks) di accedere comunque alle viste condivise e interrogarle tramite Delta Sharing.

Diamo un'occhiata a questa demo per vedere la condivisione delle viste cross-platform in azione

Casi d'uso

Condivisione Databricks to Databricks (D2D)

In questo scenario, due clienti Databricks possono condividere le viste in modo fluido all'interno dell'ecosistema Databricks. Perché è importante? Le organizzazioni collaborano con partner che potrebbero trovarsi su cloud e in regioni differenti, e desiderano condividere le viste con clienti/partner in diversi cloud e regioni. Sfruttando la tecnologia Delta Sharing, possono condividere le viste in modo fluido e sicuro, senza creare copie duplicate dei dati.

Condivisione Databricks to Open (D2O)

In questo scenario, i clienti Databricks possono condividere le viste con destinatari esterni che non utilizzano Databricks. La condivisione delle viste cross-platform supporta connettori aperti (come Apache Spark™, Pandas, Power BI, Tableau, ecc.), consentendo ai destinatari di accedere alle viste condivise tramite il protocollo Delta Sharing. Questa funzionalità è particolarmente vantaggiosa per i business analyst e gli utenti delle linee di business che necessitano di un accesso semplificato ai dati senza dover interagire direttamente con piattaforme dati complesse.

I data provider di Databricks Marketplace beneficiano della condivisione delle viste cross-platform ampliando in modo significativo la loro portata di mercato e le opportunità di monetizzazione. Questa funzionalità consente loro di condividere le viste con un pubblico più ampio, compresi i clienti che non utilizzano Databricks, aumentando così la loro base di clienti potenziali. I consumatori di dati non sono limitati a interrogare le viste dalla piattaforma Databricks, evitando così il lock-in con Databricks.

La condivisione delle viste cross-platform è una svolta importante per i nostri clienti. Portare la condivisione dei dati zero-copy nelle aziende complesse su scala richiede flessibilità. La possibilità di condividere le viste tra piattaforme diverse ci consente di offrire i vantaggi in termini di sicurezza e prestazioni di Delta Sharing a un numero maggiore di clienti, aiutandoli a estrarre valore dai dati dei clienti più rapidamente.— Derek Slager, CTO e co-fondatore di Amperity

Cosa ci aspetta

Nei prossimi mesi, Databricks introdurrà diverse funzionalità avanzate di condivisione dei dati. Le prossime funzionalità includono Sharing per Lakehouse Federation, che consente ai data provider di condividere i dati direttamente da varie piattaforme (ad es. Amazon Redshift, Azure Synapse, Google BigQuery, Snowflake) senza necessità di replica.

Inoltre, il supporto OAuth per D2O migliorerà la sicurezza consentendo ai destinatari di autenticarsi utilizzando token OAuth dai propri Identity Provider (IdP) attendibili. Inoltre, la condivisione di viste materializzate e Delta Live Tables consentirà una distribuzione efficiente dei risultati delle query pre-elaborati e dei dati in streaming, fornendo dati aggiornati con prestazioni migliori e costi inferiori.

Per iniziare

La condivisione delle viste cross-platform è disponibile da oggi in Public Preview per i clienti AWS, GCP e Azure. Scopri come utilizzare il protocollo di condivisione aperta Delta Sharing per condividere i dati dal tuo workspace Databricks abilitato per Unity Catalog con qualsiasi utente su qualsiasi piattaforma di calcolo, ovunque

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale