Passa al contenuto principale

Sbloccare la semantica per l'AI: come Mercedes-Benz Korea ha sviluppato una soluzione "Talk to Data" affidabile su larga scala

Come Mercedes-Benz Korea e Databricks hanno implementato in via sperimentale una semantica pronta per l'AI e agenti AI utilizzando Unity Catalog, Metric Views, Genie e Agent Bricks

di Sai Yang, Fares Kamal, Alina Kamal, Andreas Jäck, Johannes Laufer e Manuel Culebras

  • Un unico livello KPI: Mercedes-Benz Korea ha fatto leva sul suo stack Lakehouse e Power BI consolidato rendendo disponibili oltre 500 definizioni di KPI in un livello semantico aperto e pronto per l'AI sulle metric views di Unity Catalog, utilizzando un transpiler automatizzato da DAX a Metric View di Databricks per accelerare la transizione.
  • Semantica controllata per BI e AI: con le metric views di Unity Catalog, Mercedes-Benz Korea ha esteso il suo livello semantico controllato per i KPI aziendali. Questo livello supporta sia i report BI esistenti sia le nuove esperienze "Talk to Data", con Genie e Agent Bricks che forniscono risposte coerenti con le definizioni dei KPI esistenti.
  • Scalare "Talk to Data" su diversi mercati: basandosi sulle metric views di Unity Catalog, Genie e Agent Bricks, Mercedes-Benz Korea sta definendo un playbook per agenti AI basati su personas sopra un livello KPI condiviso, che può fungere da riferimento per altri mercati di vendita Mercedes-Benz nell'abilitare l'analisi self-service per i team di vendita, prodotto, finanza e marketing.

“Talk to Data” sta diventando rapidamente una funzionalità importante in tutti i settori, e offrirla con una qualità di livello enterprise richiede una solida base semantica. L'affidabilità delle risposte è massima quando l'AI può attingere a una logica di business chiaramente governata, anziché dedurla da schemi complessi, logiche KPI specifiche dei report o dashboard scollegate. Definizioni coerenti dei KPI, una logica di business allineata e join e aggregazioni ben definite sono ciò che offre ai dirigenti le risposte spiegabili di cui hanno bisogno.

Mercedes-Benz Korea e Databricks hanno affrontato questo percorso insieme. Invece di considerare “Talk to Data” come un semplice progetto di chatbot, Mercedes-Benz Korea ha esteso la sua base di analytics esistente con un layer semantico governato per l'AI aziendale. Per abilitare una semantica in grado di alimentare sia la BI che l'AI, Mercedes-Benz Korea ha reso disponibile la logica dei KPI in Unity Catalog Business Semantics, oltre che in Power BI. Sfruttando Metric Views, Genie e Agent Bricks sulla Databricks Data Intelligence Platform, Mercedes-Benz Korea ha avviato il pilot di un'architettura unificata per dati, semantica e AI agentica. Gli insegnamenti tratti dal pilot in Corea possono fungere da riferimento per altri mercati Mercedes-Benz.

La visione di Mercedes-Benz Korea per “Talk to Data”: semantica unificata per BI e AI

Mercedes-Benz è leader di mercato nel segmento automobilistico di lusso di fascia alta e gestisce una rete di vendita globale in cui il processo decisionale basato sui dati e specifico per ogni mercato è una priorità costante. La self-service analytics di “Talk to Data” è una delle funzionalità in fase di esplorazione per supportare ulteriormente questa priorità.

Mercedes-Benz Korea dispone di una solida base di dati. Nel corso del tempo, Mercedes-Benz Korea ha stabilito dati di reporting di livello gold, un catalogo KPI master e definizioni condivise nel Lakehouse e in Unity Catalog su Databricks. Questa base funge da unica fonte di verità per il reporting BI, l'automazione e altri prodotti di dati, coprendo oltre 500 KPI in domini aziendali quali vendite, prodotto, marketing, servizio clienti e finanza. Sulla base di questa infrastruttura, Mercedes-Benz Korea è stata selezionata per pilotare l'approccio “Talk to Data”.

Allo stesso tempo, una quota significativa della semantica di business di Mercedes-Benz Korea era definita in Power BI. Come parte della preparazione per i casi d'uso dell'AI, queste definizioni sono state integrate da un layer semantico aperto e pronto per l'AI nel Lakehouse.

La visione più ampia di Mercedes-Benz Korea per “Talk to Data” era quella di stabilire una base semantica unificata, governata e pronta per l'AI per il processo decisionale aziendale, in grado di supportare reporting, self-service analytics ed esperienze di AI su un insieme coerente di definizioni di business. In linea con questa visione, Mercedes-Benz Korea non ha affrontato “Talk to Data” come una migrazione da Power BI, ma ha perseguito tre obiettivi chiave:

  • Contesto coerente per l'AI: La logica di business e i KPI erano già definiti su due livelli: nel linguaggio DAX di Power BI per il reporting e in tabelle silver e gold curate nel Lakehouse, pronte per essere utilizzate dall'AI. Il passo successivo consiste nello spostare il contesto semantico dai report BI a Unity Catalog per arricchire i prodotti di dati esistenti nel Lakehouse. Ciò consente a Genie e ad altri agenti AI di accedere a tutte le definizioni dei KPI in un unico posto, in modo che la stessa domanda, ad esempio “Quali sono le nostre vendite al dettaglio totali MTD per classe di veicolo?”, produca risposte coerenti in tutte le esperienze di AI.
  • Architettura in evoluzione verso l'AI agentica: Mercedes-Benz Korea dispone di uno stack BI consolidato che combina Databricks per la data engineering e il data warehousing con Power BI per la modellazione semantica e il reporting. Il passo successivo in questa evoluzione consiste nell'estenderlo con un layer semantico unificato e pronto per l'AI basato sulla logica di business dei report BI, in modo che gli strumenti BI a valle e gli agenti AI possano operare sugli stessi KPI governati.
  • Dagli utenti di reporting agli agenti basati su personas: La governance per gli utenti finali a livello di tabella e report era già attiva come parte dell'infrastruttura dati esistente. Il passo successivo consiste nell'estendere tale governance con il controllo degli accessi basato su personas in Unity Catalog e regole di orchestrazione per gli agenti basati su personas, in modo che ruoli come il CFO o il Sales VP possano avere un'esperienza di agente personalizzata per i loro domini senza modificare la semantica di business sottostante.

Seguire questi principi supporta l'obiettivo di consentire ai futuri strumenti di AI e BI di utilizzare la stessa logica di business convalidata. Ciò contribuisce alla coerenza, alla spiegabilità e alla qualità delle risposte richieste per l'uso aziendale.

Un'architettura unificata per dati, semantica e AI

image12.png

Per abilitare una semantica pronta per l'AI, Mercedes-Benz Korea ha implementato “Talk to Data” con un'architettura unificata sulla Databricks Data Intelligence Platform, alimentando un'AI affidabile su scala.

La soluzione si basa sulla collaborazione di diverse funzionalità Databricks:

  1. Lakeflow e il Lakehouse acquisiscono i dati aziendali da vari sistemi di origine e li preparano per i carichi di lavoro BI e AI.
  2. La semantica di business di Unity Catalog funge da unica fonte di verità per i KPI, traducendo le misure DAX di Power BI in metric views: origini, join, misure, dimensioni, commenti e sinonimi risiedono tutti insieme ai dati, governati dalle stesse autorizzazioni delle tabelle sottostanti.
  3. Gli spazi Genie consentono ai team aziendali di “parlare” con i propri dati. Gli spazi Genie sono organizzati per dominio aziendale, ciascuno supportato da un insieme curato di metric views. Poiché i KPI nelle metric views sono definiti direttamente sopra i dati di livello gold, Genie non ha bisogno di congetture o join complessi per trovare le risposte corrette, aumentando sia la velocità che l'accuratezza delle sue risposte.
  4. Agent Bricks compone agenti basati su personas sopra molteplici spazi Genie, in modo che il CFO, il Sales VP e il responsabile marketing ricevano ciascuno un'esperienza "Talk to Data" ottimizzata per il proprio ruolo.
  5. Databricks Apps fornisce un front-end personalizzato, connessioni a servizi esterni e altre funzionalità estese per gli agenti composti, con memoria e stato memorizzati in Lakebase.

Prima di questo pilot, i dati di reporting erano memorizzati in Hive metastore e “Talk to Data” veniva esplorato con altre soluzioni AI basate su una semantica incentrata sui report nei report di Power BI. In quella configurazione, il contesto semantico per BI e AI era distribuito su più componenti, il che rendeva più difficile per il layer AI catturare la semantica in modo coerente tra utenti e carichi di lavoro. Anche il controllo degli accessi basato su personas per i KPI non era ancora disponibile e altre soluzioni AI richiedevano una guida più esplicita e un tuning dei prompt rispetto a Genie, che opera direttamente sul layer dei KPI governati in Unity Catalog.

L'adozione di questa architettura su Databricks fornisce la base per un'esperienza “Talk to Data” semplificata per gli utenti aziendali.

Accelerare il pilot: un transpiler automatico da DAX a Metric View

Rendere la logica di business di Power BI DAX disponibile anche nelle metric views di Unity Catalog è stato un passo fondamentale per la creazione di un layer semantico aperto. Con oltre 500 KPI definiti in DAX presso Mercedes-Benz Korea, era necessario un approccio efficiente e standardizzato. Per supportare questo obiettivo, Databricks ha creato un transpiler automatico da DAX a Metric View per il team di Mercedes-Benz Korea.

image3.png

Il transpiler viene eseguito come una pipeline che trasforma le misure DAX di Power BI in metric views di Databricks distribuibili. Esso:

  • Analizza i modelli semantici di Power BI ed estrae ogni misura DAX.
  • Crea un catalogo di metadati, come tabelle dei fatti, tabelle delle dimensioni, relazioni di join, chiavi di join, ecc., per ogni misura estratta dai modelli semantici di Power BI.
  • Mappa le tabelle di origine di ciascuna misura con le corrispondenti in Unity Catalog.
  • Genera bozze di definizioni di metric views (origini, join, dimensioni, misure), traducendo la semantica DAX in misure di metric views e nelle istruzioni SQL pronte per l'esecuzione che creano le metric views.
  • Segnala le misure non automatizzabili, in genere quelle che coinvolgono funzionalità complesse specifiche di DAX come la manipolazione del contesto di riga, per una revisione manuale.
  • Valida la sintassi e la logica di aggregazione prima di compilare le metric view.
image9.png

Al termine della pipeline, viene generato un report di valutazione con statistiche di conversione, lacune e strategie di risoluzione per la conversione delle misure DAX non automatizzabili.

L'output costituisce un ottimo punto di partenza con metric view pronte all'uso per le misure DAX automatizzabili, risparmiando centinaia di ore di lavoro manuale sulla migrazione semantica. Da lì, il team convalida ogni misura rispetto al report Power BI corrispondente e itera con Genie Code, che perfeziona e ottimizza le definizioni delle metric view a partire da input in linguaggio naturale.

Dopo aver riscontrato un successo iniziale con questo transpiler, Databricks ha integrato queste funzionalità in una nuova skill di Genie Code per la migrazione di Power BI, ora in Private Preview e accessibile direttamente all'interno di Genie Code senza strumenti aggiuntivi, supportando l'ulteriore implementazione presso Mercedes-Benz.

Creare una semantica affidabile e pronta per l'AI

La qualità delle risposte è una priorità assoluta per gli utenti aziendali di "Talk to Data" presso Mercedes-Benz Korea. L'integrazione dei KPI come metric view negli spazi Genie è un passaggio fondamentale, ma da sola non garantisce risposte affidabili da parte dell'AI agentica. Una metric view è pronta per l'AI solo dopo che le risposte di Genie sono state convalidate. L'obiettivo interno di Mercedes-Benz Korea è il perfetto allineamento delle risposte di Genie con i corrispondenti report di Power BI: una corrispondenza del 100% per ogni KPI interessato.

Durante il progetto pilota, Mercedes-Benz Korea e Databricks hanno documentato congiuntamente le best practice per curare, integrare e ottimizzare le metric view e gli spazi Genie, incluso l'uso di metadati degli agenti e benchmark. Queste pratiche supportano una semantica aziendale pronta per l'AI e risposte coerenti per i team aziendali che interagiscono con i dati aziendali.

Seguendo un processo iterativo in cinque fasi documentato durante il pilota, Mercedes-Benz Korea ha creato una semantica aziendale pronta per l'AI sulla Databricks Data Intelligence Platform su cui gli utenti aziendali possono fare affidamento. Databricks sta inoltre sviluppando una soluzione App per automatizzare questo processo, che Mercedes-Benz potrebbe sfruttare per l'ulteriore implementazione.

Fase 1: Preparazione. Scegli i KPI da integrare e mappa ciascuno di essi alle relative tabelle di origine in Unity Catalog. Per le migrazioni semantiche di Power BI, identifica le misure DAX e i modelli semantici pertinenti. Questa fase stabilisce l'ambito e l'unica fonte di verità.

Fase 2: Creazione del livello semantico. Crea metric view di Unity Catalog con origini dati, dimensioni, misure, commenti e metadati dell'agente. Convalida ogni KPI singolarmente prima di aggiungere il successivo. Per i KPI che interessano più tabelle dei fatti, crea prima una vista di base e sovrapponi la metric view. Aggiungi sempre descrizioni a livello di metric view, dimensione e misura; Genie ragiona su tutti e tre i livelli.

Fase 3: Organizzazione per dominio, non per report. Struttura gli spazi Genie attorno ai domini aziendali (ad es. "Marketing") e le metric view attorno ai gruppi di KPI all'interno dei sottodomini (ad es. "Online Marketing Conversion Metrics"). Limita ogni spazio Genie a 30 elementi di Unity Catalog e includi sempre una descrizione dello spazio in modo che un sistema multi-agente possa instradare correttamente le domande.

Fase 4: Test incrementali. Integra le misure in modo incrementale. Convalida ciascuna con domande di esempio. Salva le query verificate come SQL di esempio. Quindi crea dei benchmark: variazioni nella formulazione di ogni domanda abbinate a SQL ground-truth, utilizzate per misurare sistematicamente l'accuratezza delle risposte. Attiva il prompt matching in modo che Genie possa mappare il linguaggio dell'utente sui valori reali dei dati.

Fase 5: Convalida e rilascio. Esegui test di regressione dopo ogni modifica; se un benchmark precedentemente superato fallisce, l'aggiunta più recente è la causa più probabile. Una volta stabile, distribuisci a un piccolo gruppo di utenti aziendali per ottenere feedback reali. Utilizza la scheda Monitor per tracciare, esaminare e gestire tutti i feedback degli utenti in un unico posto. Sia i fallimenti di regressione che i feedback degli utenti tornano direttamente alla Fase 4.

L'output è un livello semantico in cui le risposte dell'AI si allineano con il report BI corrispondente per ogni KPI interessato, supportando l'affidabilità che gli utenti aziendali si aspettano.

Da un singolo spazio Genie a un sistema multi-agente con governance integrata

Un singolo spazio Genie può rispondere a domande su un singolo dominio. Una vera esperienza "Talk to Data" per un mercato Mercedes-Benz deve spaziare tra vendite, prodotto, marketing, servizio clienti, finanza e altro ancora, personalizzando al contempo ciò che ogni persona vede in base al proprio ruolo e alle proprie autorizzazioni.

image11.png

È qui che entra in gioco Agent Bricks. L'architettura implementata da Mercedes-Benz Korea prevede:

  • Un agente supervisore principale instrada ogni domanda a un agente persona con istruzioni specifiche per il ruolo.
  • L'agente persona (ad es. "CFO", "Sales Manager", "Marketing Analyst") consolida gli insight provenienti dagli spazi Genie appropriati nei domini pertinenti, selezionando l'ambito corretto di metric view per rispondere alla domanda.
  • Le policy di governance di Unity Catalog applicano l'accesso a livello di riga e colonna, in modo che un regional manager veda solo i dati consentiti dal proprio ruolo, anche quando formula domande in linguaggio naturale.
  • Gli agenti vengono esposti tramite Databricks Apps con un front-end personalizzato e funzionalità estese come la visualizzazione personalizzata, la memoria dell'agente e database transazionali su Lakebase. L'app consente inoltre di integrare gli agenti composti con gli strumenti e i servizi già utilizzati dagli utenti aziendali, in modo che "Talk to Data" viva all'interno del loro flusso di lavoro quotidiano anziché come destinazione separata.

Poiché le metric view risiedono in Unity Catalog, sono aperte e riutilizzabili in tutti gli spazi Genie, gli agenti e le app. Ogni risposta è completamente governata, verificabile e tracciata tramite lineage fino ai dati di origine. Questo pattern multi-agente può fungere da riferimento per portare "Talk to Data" in altri mercati Mercedes-Benz.

Scalare il progetto pilota: un playbook ripetibile per i mercati globali

La Corea è ancora all'inizio di questo percorso e i primi risultati sono incoraggianti. Il progetto pilota attuale dimostra che quando "Talk to Data" si basa su una semantica governata, gli utenti aziendali possono ricevere risposte in linea con le definizioni dei KPI stabilite e con la logica di reporting esistente. Sulla base di questi risultati, Mercedes-Benz Korea ha documentato un playbook che altri mercati possono riutilizzare:image10.png

  1. Integra i dati di mercato da sistemi di origine sia globali che locali in Unity Catalog.
  2. Crea Lakeflow Spark Declarative Pipelines per curare i dati di reporting del livello gold.
  3. Definisci la qualità dei dati e la documentazione dei KPI nel livello gold.
  4. Esegui il transpiler da DAX a Metric View per generare le prime bozze dei modelli semantici.
  5. Convalida le Metric View rispetto al catalogo Master KPI di Mercedes-Benz.
  6. Crea, testa e ottimizza gli spazi Genie utilizzando il processo in cinque fasi sopra descritto.
  7. Distribuisci gli agenti persona con Agent Bricks su Genie e Unity Catalog.
  8. Integra gli agenti personalizzati in Databricks Apps o in strumenti di terze parti, ovunque l'utente stia già lavorando.

I mercati che scelgono di adottare il playbook possono riutilizzare l'architettura e concentrarsi su ciò che è locale per loro: i loro dati, i loro KPI e i loro agenti AI. Insieme a Databricks, Mercedes-Benz Korea sta documentando gli insegnamenti tratti dal progetto pilota "Talk to Data" che possono fungere da riferimento per altri mercati Mercedes-Benz.

Per iniziare

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale

Ricevi gli ultimi articoli nella tua casella di posta

Iscriviti al nostro blog e ricevi gli ultimi articoli direttamente nella tua casella di posta.