Annuncio della disponibilità generale e del rilascio open source di Unity Catalog Business Semantics

Con dati e intelligenza artificiale sempre più centrali per ogni azienda, una comprensione coerente dei concetti di business è fondamentale. Analisti, ingegneri, dirigenti e ora agenti AI interpretano spesso gli stessi dati in modo diverso, con conseguente deriva delle metriche, report contrastanti e calo della fiducia.

Per anni, questi concetti di business sono rimasti all'interno di strumenti di BI e dashboard. Nell'era dell'AI agentiva, in cui gli agenti ragionano sui dati e agiscono autonomamente, le definizioni frammentate non creano solo confusione, ma la amplificano. Le aziende necessitano di una base semantica unificata definita al centro della piattaforma dati e AI, governata una volta e applicata ovunque. E deve essere aperta. La semantica di business definisce come le organizzazioni misurano ricavi, crescita, valore del cliente e rischio. Queste definizioni sono asset strategici che non possono essere bloccati in sistemi proprietari o confinati a un singolo livello applicativo.

Oggi cambiamo questo scenario con la Disponibilità Generale di Unity Catalog Business Semantics, una base semantica unificata e aperta che fornisce un contesto coerente e affidabile per dashboard di BI, flussi di lavoro degli sviluppatori e agenti AI. Per rendere questa base veramente portatile, stiamo anche rilasciando come open source la sua implementazione principale in Apache Spark, con supporto in Unity Catalog OSS v0.5 in arrivo.

Perché gli approcci tradizionali alla semantica di business non sono sufficienti

I clienti hanno a lungo utilizzato layer semantici specifici per gli strumenti di BI che forniscono coerenza all'interno di quello strumento, ma tale approccio presenta delle limitazioni:

• Proprietari e frammentati: In un mondo multi-strumento e multi-agente, ogni modello di BI parla la propria lingua. Di conseguenza, le definizioni rimangono bloccate all'interno di dashboard, modelli e fogli di calcolo, rendendo quasi impossibile governarle, applicare le policy di accesso o tracciare la lineage nell'intera organizzazione.
• Definizioni troppo a valle: Poiché questi layer si trovano al livello di presentazione anziché alla base dati, i team ridefiniscono ripetutamente le stesse metriche per dashboard e report diversi. Questo approccio a valle rende la semantica fragile, incoerente e difficile da scalare.
• Inflessibili per l'AI: I layer tradizionali si basano su modellazione pesante e predefinita che non può tenere il passo con le domande di business in rapida evoluzione o i prompt aperti degli agenti AI. Ogni modifica richiede l'intervento di esperti, rallentando la risposta e minando la fiducia.

Queste limitazioni hanno a lungo frustrato i team di dati e AI. Nel panorama odierno guidato dall'AI, dove agilità e risposte affidabili sono non negoziabili, sono diventate una barriera critica al progresso.

Unity Catalog Business Semantics: Un approccio unificato e aperto alla semantica di business

Unity Catalog Business Semantics rappresenta un cambiamento fondamentale poiché la semantica è ora unificata e governata al centro della Databricks Data Intelligence Platform. Integrati direttamente in Unity Catalog, estendono la stessa governance, sicurezza e lineage su cui già fate affidamento e rendono tali definizioni disponibili ovunque lavoriate.

Questo approccio offre tre benefici chiave:

1. Aperto e riutilizzabile: Accessibili tramite SQL e API, la semantica di business può essere interrogata da dashboard, notebook, applicazioni e agenti AI. Memorizzate in un formato aperto, sono completamente portatili e non confinate a strumenti proprietari.
2. Governato al centro: Eredita le stesse policy di governance dei dati sottostanti. Questo approccio upstream garantisce un utilizzo coerente, governance, lineage e controllo degli accessi per fornire un'unica fonte di verità sia per i dati che per il significato di business.
3. Progettato per l'AI: I ricchi metadati semantici forniscono il contesto necessario agli agenti per rispondere accuratamente a nuove domande e adattarsi all'evoluzione dei concetti di business, senza una pesante modellazione preliminare.

Metric Views ci ha aiutato a standardizzare le nostre metriche e a ridurre drasticamente il carico di lavoro aziendale nel riconciliare i numeri. Le query sono significativamente più veloci, in alcuni casi fino a 10 volte, i dashboard sono più facili da costruire e abbiamo visto miglioramenti significativi nell'accuratezza di Genie grazie a dati più coerenti e pre-aggregati. — Pedro Alves, Data Manager, Tech Growth, iFood

Unity Catalog Business Semantics presenta un'opportunità entusiasmante per stabilire coerenza, fiducia e controllo nel modo in cui le metriche di business vengono definite e consumate in Zalando. È un contributo promettente per decisioni allineate e basate sui dati attraverso i nostri dashboard di BI, notebook e altri strumenti. — Timur Yüre, Engineering Manager, Zalando

Base open source per la semantica di business

Uno degli obiettivi principali di Unity Catalog Business Semantics è garantire che i clienti possano definire il significato di business in modo aperto, portatile e progettato per funzionare nell'ecosistema esistente, senza vendor lock-in. Le definizioni semantiche dovrebbero integrarsi perfettamente con gli strumenti di BI, i carichi di lavoro SQL e gli agenti AI, rimanendo durature all'evolversi delle piattaforme e dei modelli di consumo.

Per raggiungere questo obiettivo, stiamo rilasciando come open source l'implementazione principale di Metric View in Apache Spark OSS, puntando alla prossima release di Apache Spark (potete seguire i progressi in SPARK-54119), con supporto in Unity Catalog OSS v0.5 in arrivo. Questo consente ai clienti di definire la semantica di business utilizzando SQL standard in sistemi aperti, governati alla base dati anziché incorporati in strumenti a valle, e riutilizzati in modo coerente attraverso superfici di analytics e AI.

Databricks supporta anche sforzi più ampi del settore per migliorare l'interoperabilità attorno alla semantica di business. L'azienda è entrata a far parte dell'iniziativa Open Semantic Interchange (OSI) e vi sta contribuendo attivamente. Consideriamo iniziative come OSI un passo importante verso l'allineamento dell'ecosistema e contribuiremo di conseguenza, continuando a concentrarci sulla costruzione di una base semantica aperta e governata su cui i clienti possano fare affidamento su larga scala.

Scopri le novità della release GA

Metric Views: KPI affidabili e coerenti

Al centro di questa release GA ci sono Metric Views, che stabiliscono definizioni affidabili e coerenti di KPI di business con metadati semantici come nomi visualizzati, formati e sinonimi che aiutano sia gli esseri umani che l'AI a interpretare e applicare tali definizioni con fiducia. Metric Views consente di definire mappature dati, misure e dimensioni centralmente in SQL e governarle direttamente in Unity Catalog. Le definizioni diventano quindi portatili su ogni superficie: Dashboard AI/BI, Genie, Notebook, applicazioni SQL e strumenti di terze parti connessi a Databricks. Poiché ogni metrica è definita in modo dichiarativo, il motore compila ed esegue il SQL sottostante in modo deterministico al momento della query, garantendo che ogni consumatore, sia umano che agente AI, ottenga lo stesso risultato dalla stessa definizione, indipendentemente da come o dove vi accede.

Novità:

Materializzazione per le prestazioni delle query:  Unity Catalog Business Semantics abbina definizioni governate a prestazioni su larga scala tramite materializzazioni. Invece di costringere i team a decidere quale tabella di aggregazione utilizzare, duplicare la logica per diversi livelli di prestazioni o creare pipeline separate per carichi di lavoro diversi, il layer semantico gestisce le prestazioni automaticamente. Ecco come:

• Pre-aggregazione automatica: Quando definisci le materializzazioni per una metrica, la piattaforma mantiene risultati ottimizzati e pre-aggregati senza intervento manuale
• Aggiornamento incrementale: I risultati materializzati rimangono aggiornati tramite aggiornamenti incrementali, quindi le metriche non diventano mai obsolete e la rielaborazione completa è raramente necessaria
• Riscrittura intelligente delle query: Al momento dell'esecuzione della query, il motore riscrive le query per sfruttare la migliore materializzazione disponibile
• Routing trasparente: Gli utenti interrogano le metriche nello stesso modo in cui hanno sempre fatto, mentre il sistema instrada ogni richiesta al percorso più veloce dietro le quinte

La materializzazione è in anteprima e per saperne di più, consulta la documentazione (AWS, Azure, GCP).

Autore con nuova interfaccia utente ed esperienze AI agentive: Ora, in anteprima pubblica, puoi creare e gestire Metric Views tramite una nuova interfaccia utente point-and-click in Unity Catalog Explorer, rendendo la modellazione semantica accessibile sia agli utenti tecnici che a quelli non tecnici, senza richiedere SQL complessi o una profonda competenza nella modellazione dei dati. L'interfaccia utente ti consente di definire visivamente le relazioni tra le tabelle, visualizzare le metriche inline e testare tutto end-to-end prima della pubblicazione, il tutto senza lasciare il browser. Per saperne di più sull'authoring basato sull'interfaccia utente, consulta la documentazione (AWS, Azure, GCP).

Genie Code accelera ulteriormente il processo di authoring portando l'AI agentiva direttamente nel flusso di lavoro di authoring. Invece di partire da una pagina bianca, Genie Code può:

• Avviare modelli semantici più velocemente: Suggerire misure, dimensioni, sinonimi e documentazione in modo che i team possano iniziare in pochi minuti anziché in settimane
• Rifinire e refattorizzare: Identificare problemi nelle definizioni esistenti e consigliare miglioramenti man mano che la logica di business evolve
• Validare le modifiche: Testare le modifiche proposte rispetto ai dati reali in modo da poter individuare gli errori prima che si propaghino
• Abilitare la gestione granulare delle modifiche: Rivedere e approvare le singole modifiche alle metriche con piena visibilità su ciò che è cambiato e perché

Metric Views va oltre la definizione dei KPI. Ogni Metric View contiene metadati semantici ricchi, nomi visualizzati, formati e sinonimi, che la rendono comprensibile e utilizzabile sia dagli esseri umani che dall'AI, garantendo una presentazione coerente su dashboard e interfacce utente conversazionali, aiutando al contempo l'AI a interpretare correttamente la terminologia aziendale e le query in linguaggio naturale.

Come la semantica aziendale potenzia Databricks AI/BI

Con questa versione GA, i dashboard AI/BI e Genie sono ora completamente integrati con le Business Semantics di Unity Catalog. In pratica, ciò sblocca tre vantaggi chiave:

In pratica, ciò sblocca tre vantaggi chiave:

1. Dashboard AI/BI basati su metriche governate: Ora puoi creare dashboard direttamente su Metric Views in Unity Catalog. Ogni visualizzazione, filtro, drill-through e confronto utilizza lo stesso set certificato di misure e dimensioni, garantendo numeri coerenti tra team e strumenti.
2. Genie basato sul tuo linguaggio aziendale: Gli spazi Genie possono essere creati direttamente sopra le Metric Views, il che significa che ogni query in linguaggio naturale a cui Genie risponde è basata su definizioni governate e deterministiche, non su logica inferita. Poiché le Metric Views vengono compilate in query logiche al momento dell'esecuzione, gli utenti ottengono sempre risultati corretti e coerenti. Genie non sta più allucinando metriche; le sta risolvendo da un'unica fonte di verità.
3. Promuovi la logica del dashboard al tuo livello semantico: Quando crei un nuovo dashboard AI/BI senza una Metric View esistente, qualsiasi join di tabelle, filtro o campo calcolato che costruisci può ora essere promosso a una nuova Metric View in Unity Catalog con una singola azione. Diventa istantaneamente parte del livello semantico della tua organizzazione, disponibile tramite Genie, SQL, notebook e strumenti BI esterni. Inoltre, il tuo dashboard beneficerà automaticamente della materializzazione delle Metric Views, migliorando significativamente le prestazioni delle sue query sottostanti.

Estendi la tua semantica ai tuoi strumenti preferiti

Una solida base semantica diventa ancora più preziosa quando viaggia oltre una singola piattaforma. Ecco perché lavoriamo a stretto contatto con un ricco ecosistema di partner tecnologici che si integrano direttamente con le Business Semantics di Unity Catalog.

• Tableau: Tableau prevede di aggiungere il supporto per le semantiche delegate da provider di metriche esterni, comprese le Business Semantics di Databricks Unity Catalog, all'interno del suo modello di dati relazionale. Ciò garantirà che gli analisti possano fidarsi che le metriche siano definite in modo coerente e aggregate accuratamente dal livello semantico sottostante. L'integrazione è prevista per la fine del 2026.

  Tableau è entusiasta di portare le Business Semantics di Unity Catalog nel nostro modello di dati relazionale, offrendo ad analisti e organizzazioni la possibilità di definire metriche e metadati una sola volta e far sì che Tableau applichi automaticamente le giuste semantiche per insight coerenti e affidabili. — Nicolas Brisoux, Sr. Director Product Management, Tableau

• Sigma Computing: Sigma si integra direttamente con le Business Semantics di Databricks Unity Catalog interrogando le Metric Views in tempo reale, garantendo che le definizioni più aggiornate vengano riflesse istantaneamente senza spostamento dei dati. Questa architettura consente a Sigma di funzionare come un'estensione trasparente del tuo Lakehouse, ereditando rigorosamente i protocolli di sicurezza e governance di Unity Catalog al momento dell'esecuzione

  In Sigma, stiamo lavorando duramente per integrarci con le Business Semantics di Unity Catalog perché consente ai nostri clienti di combinare l'esperienza simile a un foglio di calcolo di Sigma con definizioni aziendali governate, garantendo analisi veloci, coerenti e affidabili per tutti. — Jordan Stein, Product Manager, Sigma

• ThoughtSpot: Più tardi quest'anno, ThoughtSpot aggiungerà il supporto nativo per le Metric Views di Unity Catalog, consentendo agli utenti di Spotter di interrogare istantaneamente metriche Databricks governate in linguaggio naturale. Ciò elimina SQL personalizzato e offre alle organizzazioni un accesso flessibile, accurato e rapido a metriche aziendali affidabili in tutto il loro stack di dati.

  ThoughtSpot è entusiasta di approfondire la nostra partnership con Databricks attraverso le Business Semantics di Unity Catalog, offrendo ai clienti molta più flessibilità su come e dove gestire le loro semantiche aziendali. — Francois Lopitaux, SVP of Product, ThoughtSpot

• Hex: Le Viste Metriche di Unity Catalog sono ora completamente integrate in Hex. Gli utenti possono consultare le Viste Metriche direttamente dalle loro connessioni Databricks, interrogarle con SQL nei notebook Hex e creare app di dati basate su definizioni governate. Ciò semplifica il passaggio dall'esplorazione alle app di produzione senza ridefinire le metriche.

Con le Viste Metriche di Unity Catalog di Databricks in Hex, i team lavorano con metriche attendibili e governate, riducendo le incongruenze e procedendo più velocemente con insight affidabili. — Armin Efendic, Partner Engineer, Hex

• Omni: Con Omni, i team possono analizzare le Viste Metriche attraverso esperienze familiari come fogli di calcolo, SQL o chat basate sull'IA.  Omni consente inoltre agli utenti aziendali di definire nuove metriche e dimensioni durante l'esplorazione dei dati, per poi reinviare tali aggiornamenti a Unity Catalog tramite API. Ciò crea un'unica fonte di verità in Unity Catalog, consentendo agli esperti aziendali di contribuire direttamente al modello semantico dell'organizzazione. Ciò consente sia ai team di dati che agli esperti aziendali di contribuire direttamente al modello semantico.

  Fondare l'IA sul contesto aziendale è l'unico modo per renderla affidabile. La nostra integrazione con le Viste Metriche di Unity Catalog porta definizioni governate in ogni interfaccia: IA, fogli di calcolo, dashboard e SQL. Con la sincronizzazione bidirezionale tra Omni e Databricks, i team possono definire e aggiornare le metriche in entrambi i sistemi mantenendo tutto allineato. Questa coerenza aiuta i clienti a scalare il self-service, accelerare l'adozione dell'IA e potenziare prodotti di dati affidabili rivolti ai clienti. — Jamie Davidson, Co-founder, Omni

• Atlan: L'integrazione nativa di Atlan con le Metriche UC porta le tue metriche più critiche direttamente nel Grafico di Contesto di Atlan, collegandole a lineage, proprietari e definizioni aziendali senza aggiungere alcun overhead di permessi. Ciò offre ai team una visione unica e affidabile delle metriche nel flusso di lavoro, sbloccando una risoluzione dei problemi più rapida, un processo decisionale migliore e dati pronti per l'IA su larga scala.

  Le metriche sono il battito cardiaco della piattaforma Dati & IA di ogni impresa. Portando le Metriche UC nel Grafico di Contesto di Atlan - con lineage, contesto aziendale e zero permessi aggiuntivi - i nostri clienti ottengono un'intelligenza operativa che prima era irraggiungibile. Questo è un passo significativo verso dati pronti per l'IA su larga scala. — Chandru, Product Leader, Atlan

• Monte Carlo: Monte Carlo ora supporta le Viste Metriche in Unity Catalog, offrendoti osservabilità end-to-end attraverso le tue metriche aziendali standardizzate e le pipeline che le alimentano

  Dati e IA affidabili iniziano con metriche aziendali governate. Le Metriche di Unity Catalog semplificano la standardizzazione dei KPI su larga scala, e con Monte Carlo, i leader dei dati possono fidarsi di questi insight per guidare un reale impatto aziendale. — Lior Gavish, Co-founder e CTO, Monte Carlo

• Collibra: Collibra porta una visibilità affidabile nelle tue metriche Databricks in modo che sia gli esseri umani che gli agenti IA possano scoprirle e utilizzarle facilmente per le decisioni aziendali. L'integrazione migliorata migliora la visualizzazione delle metriche, consente alle metriche approvate da Collibra di fluire direttamente in Databricks e aggiunge la sincronizzazione bidirezionale per garantire metriche coerenti e affidabili in tutto il tuo patrimonio di dati.

  Metriche governate e coerenti sono necessarie affinché gli agenti IA e gli utenti dei dati comprendano, si fidino e automatizzino i flussi di lavoro. I nostri clienti congiunti continuano a desiderare una stretta collaborazione tra Databricks e Collibra. — Tom Dejonghe, VP, Product Management, Data Governance, Collibra

• Domo: Ora si integra con le Viste Metriche di Unity Catalog, consentendo alle metriche governate di Databricks di fluire direttamente nei dashboard, nell'analisi e nei flussi di lavoro basati sull'IA di Domo. Ciò riduce la duplicazione, rafforza la governance e accelera il time-to-insight su KPI affidabili.

  Integrare le metriche governate di Databricks con Domo aiuta i clienti a ridurre la duplicazione, migliorare la governance e accelerare gli insight su KPI affidabili. — Matthew Payne, VP Engineering, Domo

• Anomalo: Anomalo si unisce come partner di lancio per le Metriche Governatte di Unity Catalog, abbinando il livello semantico unificato di Databricks al monitoraggio automatico delle metriche di Anomalo. Questa integrazione aiuta le imprese a rilevare precocemente anomalie e problemi di qualità dei dati, garantendo metriche accurate e affidabili per decisioni critiche.

  Combinando il livello semantico unificato di Databricks con il monitoraggio delle metriche di Anomalo, aiutiamo i clienti a rilevare precocemente le anomalie e a mantenere le loro metriche accurate e affidabili su larga scala. — Amy Reams, Vice President of Business Development and Marketing, Anomalo

Insieme, queste integrazioni e quelle future garantiscono che le semantiche coerenti e governate fluiscano attraverso il più ampio ecosistema di analisi e IA, estendendosi ben oltre Databricks

Iniziare con le Semantiche Aziendali di Unity Catalog

Siamo incredibilmente entusiasti di questo lancio. Con le semantiche ora parte integrante della tua piattaforma dati, il contesto aziendale fluisce ovunque, dai dashboard e agenti IA ai notebook e agli strumenti BI esterni, eliminando silos di metriche, vendor lock-in e incongruenze tra gli strumenti. Costruito su una base aperta, il tuo livello semantico funziona ovunque vadano i tuoi dati.
Esplora la  documentazione  (AWS, Azure,  GCP) per una guida dettagliata su come iniziare a definire le semantiche aziendali, controllare i permessi e i vari metodi di consumo. 
Esplora le demo di prodotto per vedere le semantiche aziendali in azione con dashboard IA/BI e spazi Genie

• Panoramica delle Viste Metriche di Unity Catalog
• Visualizzazione delle Viste Metriche in IA/BI
• Interrogazione delle Viste Metriche da un Editor SQL

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale