Annuncio della disponibilità generale della data governance cross-cloud

Siamo entusiasti di annunciare che la possibilità di accedere ai dati AWS S3 su Azure Databricks tramite Unity Catalog per abilitare la data governance cross-cloud è ora disponibile a livello generale. In quanto unica soluzione di governance unificata e aperta del settore per tutti gli asset di dati e IA, Unity Catalog consente alle organizzazioni di gestire i dati ovunque si trovino, garantendo sicurezza, conformità e interoperabilità tra i cloud. Con questa release, i team possono configurare e interrogare direttamente i dati AWS S3 da Azure Databricks senza dover migrare o copiare i dataset. Ciò semplifica la standardizzazione di policy, controlli di accesso e auditing sia sullo storage ADLS che su S3.

In questo blog parleremo di due argomenti chiave:

• In che modo Unity Catalog abilita la data governance cross-cloud
• Come accedere e lavorare con i dati AWS S3 da Azure Databricks

Cos'è la data governance cross-cloud su Unity Catalog?

Man mano che le aziende adottano architetture ibride e cross-cloud, si trovano spesso ad affrontare controlli di accesso frammentati, policy di sicurezza incoerenti e processi di governance duplicati. Questa complessità aumenta i rischi, fa lievitare i costi operativi e rallenta l'innovazione.

La data governance cross-cloud con Unity Catalog semplifica tutto questo estendendo un unico modello di autorizzazione, l'applicazione centralizzata delle policy e un auditing completo su tutti i dati archiviati in più cloud, come AWS S3 e Azure Data Lake Storage, il tutto gestito all'interno della piattaforma Databricks.

I principali vantaggi derivanti dall'utilizzo della data governance cross-cloud su Unity Catalog includono:

• Governance unificata – Gestisci le policy di accesso, i controlli di sicurezza e gli standard di conformità da un unico punto, senza dover destreggiarti tra sistemi isolati
• Accesso ai dati senza ostacoli – Individua, interroga e analizza in modo sicuro i dati tra diversi cloud in un unico workspace, eliminando i silos e riducendo la complessità
• Maggiore sicurezza e conformità – Ottieni visibilità centralizzata, tagging, lineage, classificazione dei dati e auditing su tutti i tuoi storage cloud

Collegando la governance tra i diversi cloud, Unity Catalog offre ai team un'unica interfaccia sicura per gestire e massimizzare il valore di tutti i loro asset di dati e IA, ovunque si trovino.

Come funziona

In precedenza, quando si utilizzava Azure Databricks, Unity Catalog supportava solo posizioni di archiviazione all'interno di ADLS. Ciò significava che, se avevi dati archiviati in un bucket AWS S3 ma avevi bisogno di accedervi ed elaborarli con Unity Catalog su Azure Databricks, l'approccio tradizionale richiedeva l'estrazione, la trasformazione e il caricamento (ETL) di tali dati in un container ADLS: un processo costoso e dispendioso in termini di tempo. Questo aumentava anche il rischio di mantenere copie duplicate e non aggiornate dei dati.

Con questa release GA, ora puoi configurare una posizione S3 esterna cross-cloud direttamente da Unity Catalog su Azure Databricks. Ciò ti consente di leggere e gestire i tuoi dati S3 in modo trasparente, senza migrazioni o duplicazioni.

Puoi configurare l'accesso al tuo bucket AWS S3 in pochi semplici passaggi:

1. Configura le tue credenziali di archiviazione e crea una posizione esterna. Una volta eseguito il provisioning delle risorse AWS IAM e S3, puoi creare le tue credenziali di archiviazione e la posizione esterna direttamente in Catalog Explorer di Azure Databricks.
   • Per creare le tue credenziali di archiviazione, vai su Credentials all'interno di Catalog Explorer. Seleziona AWS IAM Role (Read-only), compila i campi richiesti e aggiungi lo snippet della trust policy quando richiesto.​
   • Per creare una posizione esterna, vai su External locations all'interno di Catalog Explorer. Quindi, seleziona la credenziale appena configurata e completa i dettagli rimanenti.
2. Applica le autorizzazioni. Nella pagina Credentials all'interno di Catalog Explorer, ora puoi vedere i tuoi dati ADLS e S3 insieme in un unico posto in Azure Databricks. Da lì, puoi applicare autorizzazioni coerenti su entrambi i sistemi di archiviazione.

3. Inizia a eseguire query! Ora puoi interrogare i tuoi dati S3 direttamente dal tuo workspace Azure Databricks.

Cosa è supportato nella release GA?

Con la GA, ora supportiamo l'accesso a tabelle e volumi esterni in S3 da Azure Databricks. Nello specifico, le seguenti funzionalità sono ora supportate in modalità di sola lettura:

• Credenziali di archiviazione basate su ruoli AWS IAM
• Posizioni esterne S3
• Tabelle esterne S3
• Volumi esterni S3
• Accesso S3 tramite dbutils.fs
• Delta Sharing di dati S3 da UC su Azure

Per iniziare

Per provare la data governance cross-cloud su Azure Databricks, consulta la nostra documentazione su come configurare le credenziali di archiviazione per i ruoli IAM per lo storage S3 su Azure Databricks. È importante notare che il tuo cloud provider potrebbe addebitare tariffe per l'accesso a dati esterni ai suoi servizi cloud. Per iniziare a usare Unity Catalog, segui la nostra guida di Unity Catalog per Azure.

Unisciti al team di prodotto e ingegneria di Unity Catalog al Data + AI Summit, dal 9 al 12 giugno al Moscone Center di San Francisco! Scopri in anteprima le ultime innovazioni nella governance dei dati e dell'IA. Registrati ora per assicurarti un posto!

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale