Novità di Databricks Unity Catalog al Data + AI Summit 2025

Quattro anni fa, Databricks ha riscontrato un'enorme complessità nel panorama dei dati: cataloghi separati per ogni piattaforma, strumenti di governance isolati tra i cloud e nessun modo unificato per proteggere gli asset di IA. Abbiamo introdotto la Unified Governance lanciando Unity Catalog, un livello di catalogo aperto e flessibile per gestire l'accesso, la lineage, l'audit e l'individuazione tra tutti i dati e gli asset di IA.

Oggi, Unity Catalog è diventato la base della Databricks Data Intelligence Platform e l'unica soluzione di governance unificata del settore per dati e IA tra formati, cloud e motori. Dalla condivisione aperta dei dati alla sicurezza granulare e alla knowledge governance, Unity Catalog aiuta le organizzazioni a portare contesto, controllo e fiducia nel loro patrimonio di dati.

Al Data + AI Summit di quest'anno, stiamo annunciando importanti innovazioni in tutto Unity Catalog, offrendo il miglior catalogo per Apache Iceberg™, nuove esperienze utente business e governance intelligente per proteggere i dati sensibili e garantire la qualità dei dati affidabili su vasta scala.

Ecco le novità.

Il miglior catalogo per Apache Iceberg™

Le organizzazioni che adottano un lakehouse sono spesso costrette a scegliere tra Delta Lake e Apache Iceberg™. Tale scelta crea silos artificiali, limitando l'accesso ai dati e agli strumenti di IA che i team possono utilizzare, frammentando la governance e bloccando i metadati in cataloghi specifici per formato.

Unity Catalog elimina la necessità di scegliere. Basato su standard aperti, Unity Catalog è l'unico catalogo unificato che funziona perfettamente tra formati, motori e cloud, rendendolo la base dell'open lakehouse. Nell'ultimo anno, in seguito all'acquisizione di Tabular, abbiamo investito molto in Apache Iceberg per estendere questa visione. Siamo entusiasti di annunciare:

• Supporto completo per l'API Iceberg REST Catalog, che consente ai motori esterni di leggere (disponibilità generale) e scrivere (anteprima pubblica) nelle tabelle Iceberg gestite da Unity Catalog. Questo è un importante elemento di differenziazione nel mercato, che elimina il blocco del formato e consente la piena interoperabilità senza pari rispetto a qualsiasi altra soluzione. 
• Le tabelle gestite Iceberg sono ora in anteprima pubblica e offrono il miglior prezzo e le migliori prestazioni della categoria, liquid clustering, predictive optimization e piena integrazione con Databricks e tra motori esterni, tra cui Trino, Snowflake e Amazon EMR.
• La federazione del catalogo Iceberg è in anteprima pubblica e consente di governare ed eseguire query sulle tabelle Iceberg gestite in AWS Glue, Hive Metastore e Snowflake Horizon senza copiare i dati.
• Delta Sharing per Iceberg è ora in anteprima privata e consente di condividere tabelle Unity Catalog e tabelle Delta con qualsiasi destinatario utilizzando Delta Sharing e di utilizzarle in qualsiasi client che supporti l'API Iceberg REST Catalog.

Insieme, queste funzionalità abbattono i silos di formato e distinguono Unity Catalog come l'unico catalogo che offre governance e interoperabilità veramente aperte e unificate. Dai un'occhiata al nostro blog sul supporto di Iceberg per saperne di più su questi annunci. 

Espansione di Unity Catalog agli utenti business

Le piattaforme dati non dovrebbero fermarsi all'utente tecnico. Gli utenti business hanno bisogno di un modo chiaro e coerente per trovare, fidarsi e lavorare con i dati. Unity Catalog offre ora una base unificata per il contesto aziendale per colmare il divario tra i team di dati e quelli aziendali. 

Metriche di Unity Catalog: un livello semantico per tutti i carichi di lavoro di dati e IA

Definizioni di metriche incoerenti tra strumenti e team hanno a lungo causato confusione, disallineamento e mancanza di fiducia nei dati. Le metriche di Unity Catalog, ora in anteprima pubblica su AWS, Azure e GCP e in disponibilità generale entro la fine dell'estate, risolvono questo problema rendendo le metriche aziendali asset di prima classe nel lakehouse. A differenza delle metriche definite solo nel livello di BI, che limitano il riutilizzo e l'integrazione, la definizione delle metriche a livello di dati rende la semantica aziendale riutilizzabile in tutti i carichi di lavoro, come dashboard, modelli di IA e processi di data engineering. Le metriche di Unity Catalog sono anche completamente indirizzabili tramite SQL per garantire che tutti nell'organizzazione possano avere la stessa visualizzazione delle metriche, indipendentemente dallo strumento scelto.

• Definisci una volta, usa ovunque: crea metriche una volta in Unity Catalog e usale in dashboard AI/BI, Genie, notebook, SQL e processi Lakeflow. Le prossime integrazioni estenderanno il supporto a strumenti di BI come Tableau, Hex, Sigma, ThoughtSpot, Omni e strumenti di osservabilità come Anomalo e Monte Carlo.
• Governato e controllabile per impostazione predefinita: le metriche certificate sono dotate di audit e lineage predefiniti, consentendo informazioni dettagliate affidabili e conformi tra i team.

"Le metriche di Unity Catalog ci offrono una posizione centrale per definire i KPI aziendali e standardizzare la semantica tra i team, garantendo che tutti lavorino con le stesse definizioni affidabili tra dashboard, SQL e applicazioni di IA." — Richard Masters, Vice President, Data & AI, Virgin Atlantic

"Le metriche di Unity Catalog rappresentano un'opportunità entusiasmante per i clienti di Tableau di sfruttare il valore della governance centralizzata con Databricks Unity Catalog. Grazie alla nostra profonda integrazione e alla roadmap in espansione con Databricks, siamo entusiasti di aiutare a rimuovere gli attriti per i nostri clienti nello sfruttare Databricks per definire le loro metriche aziendali principali." — Nicolas Brisoux, Sr. Director Product Management, Tableau

Nuove esperienze di individuazione curate con informazioni dettagliate intelligenti

Per responsabilizzare pienamente gli utenti business, è necessario rendere i dati affidabili facili da trovare, comprendere e utilizzare. Unity Catalog sta estendendo la sua governance business-aware con una nuova Discover experience, ora in anteprima privata, un marketplace interno curato di prodotti dati certificati organizzati per domini aziendali come Vendite, Marketing o Finanza. 

I suggerimenti basati sull'IA e la curatela dei data steward aiutano a far emergere gli asset di valore più elevato, come metriche, dashboard, tabelle, agenti di IA e spazi Genie arricchiti con documentazione, proprietà e informazioni sull'utilizzo. Nuovi segnali intelligenti evidenziano la qualità dei dati, i modelli di utilizzo, le relazioni e lo stato di certificazione, aiutando gli utenti a valutare rapidamente l'affidabilità e la pertinenza. Inoltre, con Databricks Assistant integrato, gli utenti possono porre domande in linguaggio naturale e ottenere risposte chiare e consapevoli del contesto basate su metriche governate.

Stiamo inoltre introducendo nuove funzionalità intelligenti in tutto Databricks per rendere l'individuazione dei dati più semplice e intuitiva, ovunque gli utenti lavorino nella piattaforma. Basate su Unity Catalog, queste funzionalità aiutano i team a trovare dati affidabili più velocemente e a comprenderne il contesto a colpo d'occhio.

• Domini (in arrivo): organizza i dati per area aziendale per allineare l'individuazione alle operazioni dell'organizzazione.
• Certificazioni e tag di obsolescenza (beta): segnala l'affidabilità dei dati e la pertinenza aziendale tra set di dati, metriche e dashboard. Gli asset taggati visualizzano in modo prominente il loro stato nelle superfici di authoring come l'editor SQL, mantenendo i segnali di qualità dei dati visibili durante tutto il flusso di lavoro dell'utente. Le certificazioni e i tag di obsolescenza sono disponibili come parte di Tag Policies Beta. 
• Richiesta di accesso (anteprima privata): per semplificare la consegna, gli utenti possono richiedere immediatamente l'accesso ai dati direttamente all'asset.

Ulteriori funzionalità di governance avanzate ora disponibili 

Governance ad alta leva con controlli scalabili basati sugli attributi

La scalabilità della data governance diventa sempre più impegnativa man mano che le organizzazioni crescono, con più utenti, team e asset di dati da gestire. Le policy statiche e i controlli manuali non riescono a tenere il passo, portando a lacune di governance, rischi per la sicurezza e colli di bottiglia operativi. 

Per affrontare queste sfide, Unity Catalog offre ora automazione intelligente e controlli flessibili e scalabili per classificare i dati sensibili, applicare policy in modo coerente e accelerare l'accesso sicuro ai dati in tutto il lakehouse. 

• Controllo degli accessi basato sugli attributi (ABAC): definisci policy di accesso flessibili utilizzando tag che possono essere applicati a livello di catalogo, schema o tabella. ABAC è disponibile in versione beta per la sicurezza a livello di riga e colonna su AWS, Azure e GCP. 

• Policy dei tag: le policy dei tag applicano un livello di governance per il modo in cui i tag vengono creati, assegnati e utilizzati in Databricks. Queste policy a livello di account garantiscono che i tag rimangano coerenti e affidabili, supportando tutto, dalla classificazione dei dati all'attribuzione dei costi. Le policy dei tag sono disponibili in versione beta su AWS, Azure e GCP. 

• Classificazione dei dati: rileva e tagga in modo intelligente i dati sensibili in Unity Catalog. I nuovi dati vengono scansionati entro 24 ore per rilevare automaticamente nuovi PII, riducendo al minimo lo sforzo manuale e consentendo ai team di rimanere al passo con l'accesso ai dati. Se utilizzata con ABAC, la classificazione dei dati protegge automaticamente i dati sensibili in base alle policy di controllo degli accessi. La classificazione dei dati è disponibile in versione beta su AWS, Azure e GCP. 

“L'implementazione del column masking su più di 5.000 tabelle era un enorme sforzo manuale. Con ABAC, siamo in grado di applicare policy coerenti in modo dinamico, migliorando drasticamente sia la velocità che la governance.” — Ramesh Balasubramanyan, Databricks Admin, SAIF

“La classificazione dei dati di Databricks è stata un punto di svolta nella nostra strategia di privacy e sicurezza dei dati. In combinazione con ABAC, ci consente di proteggere automaticamente i dati sensibili senza limitare i dati di cui i nostri analisti hanno bisogno. Il vantaggio maggiore è stato la velocità, con la classificazione e il masking automatizzati che hanno ridotto significativamente l'overhead manuale, liberando le nostre risorse e risparmiando al nostro team innumerevoli ore ogni settimana.” — Mary Tesfay, Data & Analytics Lead, Corp IT, Navitas

Monitoraggio automatizzato della qualità dei dati su vasta scala

Unity Catalog ora rileva in modo intelligente e aiuta a risolvere i problemi di qualità dei dati in tutte le tabelle con il monitoraggio della qualità dei dati, disponibile in beta su AWS, Azure e GCP. Il monitoraggio della qualità dei dati controlla la freshness, ovvero la frequenza con cui i dati sono stati aggiornati di recente, e la completezza, ovvero se i volumi di dati sono quelli previsti, utilizzando la data intelligence su interi schemi. I consumatori sono in grado di comprendere lo stato dei dati a colpo d'occhio con indicatori di integrità, mentre i proprietari dei dati possono comprendere la priorità dei problemi in base alla lineage a valle, scoprire la causa principale e impostare avvisi utilizzando la registrazione e le dashboard integrate. 

Inizia a utilizzare Unity Catalog, la base della Data Intelligence

Unity Catalog continua a evolversi come l'unico livello di governance unificato del settore, la base per piattaforme dati sicure, intelligenti e business-aware. Che tu stia creando agenti di IA, fornendo dashboard di BI o condividendo dati tra le organizzazioni, Unity Catalog connette tutto tramite un unico catalogo aperto.

Per iniziare, segui le guide di Unity Catalog per AWS, Azure e GCP. 

Guarda il keynote del Data + AI Summit 2025 di Matei Zaharia, co-fondatore e Chief Technology Officer di Databricks, per saperne di più su questi recenti annunci. 

Registrati al Data + AI Summit ed esplora il percorso di governance dei dati e dell'IA

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale