Operazionalizzare la Genie Ontology nel tuo data stack

Oltre il modello semantico: creare un contesto aziendale condiviso per gli agenti AI

I modelli linguistici di grandi dimensioni sanno come ragionare, ma non conoscono la tua azienda. Fornire all'AI aziendale il contesto di business di cui ha bisogno significa molto più che collegarla semplicemente ai dati. Gli agenti devono anche comprendere le tue definizioni, relazioni, regole aziendali, fonti autorevoli e autorizzazioni. Genie Ontology colma questo divario combinando la semantica aziendale modellata con il contesto appreso da tabelle governate, query, dashboard, notebook e altri asset supportati che i tuoi team già utilizzano. Genie classifica tale contesto in base all'autorevolezza e alla pertinenza, applica le autorizzazioni e fornisce il contesto più utile a Genie al momento della risposta. Anche gli agenti esterni possono accedere all'intelligenza di Genie tramite MCP.

Un buon modello semantico fornisce un nucleo autorevole. I modelli semantici catturano i concetti aziendali definiti deliberatamente; un'ontologia estende questa base con relazioni, conoscenze e contesti più ampi di cui l'AI ha bisogno per comprendere come opera effettivamente l'azienda. Nel linguaggio di Databricks, Unity Catalog Semantics combina Metric Views, Pages e Domains per stabilire le tue definizioni aziendali attendibili. Genie Ontology si basa poi su quel nucleo modellato incorporando il contesto dedotto dai tuoi asset esistenti, offrendo agli agenti una comprensione dell'azienda molto più ampia di quella che un modello semantico da solo potrebbe fornire.

La chiave è modellare la "testa" e lasciare che Genie Ontology deduca la "coda". Genie lavora a partire da ciò che può apprendere automaticamente fin dal primo giorno, mentre una cura intenzionale migliora le definizioni e le fonti critiche che devono essere corrette.

I seguenti sei livelli sono pratiche progressive per aumentare la fiducia nel tempo, non prerequisiti affinché Genie inizi a generare valore.

Esaminiamo ogni livello per comprendere meglio.

Livello 0: Prepara una solida base di dati per gli agenti

Prima di descrivere o modellare qualsiasi cosa, i dati sottostanti devono essere in una forma su cui un agente possa ragionare. Questo livello riguarda le fondamenta fisiche: tabelle di dati pulite, schemi solidi e un'identità coerente per ogni entità del mondo reale. La modellazione logica del business arriva più tardi, nel Livello 2. Questo livello è facile da saltare ma costoso da correggere in seguito, perché nessuna quantità di metadati validi o di modellazione semantica può compensare una base fisica compromessa.

Creare una solida base di dati significa concentrarsi su due aree chiave:

1. Modella il livello gold duraturo attorno ai processi aziendali. Ciò include l'identificazione dei fatti con una granularità chiara e dimensioni conformi e riutilizzabili. Uno schema a stella o un modello ibrido ti offre una base affidabile di fatti e dimensioni senza copiare la logica di business in ogni tabella a valle. Questo non significa che gli agenti debbano ragionare su tabelle dimensionali grezze. L'interfaccia vista da un agente può essere più limitata, e spesso dovrebbe esserlo: una Metric View o una vista creata ad hoc che esegue il pre-join delle dimensioni comuni per un dominio, espone solo i campi importanti, documenta la granularità e definisce le sue misure in modo canonico. Costruirai esattamente questo nel Livello 2. Il punto è modellare deliberatamente la superficie di consumo sopra un modello solido, piuttosto che dare in pasto all'agente un dump di dati. Una tabella ampia non è il problema. Una tabella ampia con granularità miste, concetti aziendali duplicati e nessuna definizione metrica canonica è un invito a tirare a indovinare.
2. Risolvi le entità in record golden. Se "cliente" significa account attivi nelle Vendite e qualsiasi account mai registrato nell'Assistenza, un agente non saprà di quale definizione fidarsi. Se lo stesso cliente ha tre ID diversi tra i vari sistemi, rischia anche di essere conteggiato due volte. Riconcilia la stessa entità del mondo reale tra le diverse fonti in modo che un cliente sia effettivamente un unico cliente.

Livello 1: Arricchisci i tuoi metadati

I metadati sono la base descrittiva che aiuta sia il livello semantico sia l'estrazione del contesto a comprendere i tuoi dati. Quando una tabella si chiama fct_rev_daily e una colonna si chiama rev_amt, un agente deve indovinare cosa significano. Quando la stessa tabella ha una descrizione che dice "ricavi giornalieri riconosciuti, al netto dei rimborsi, per prodotto" e la colonna ha un commento che dice "ricavi riconosciuti in USD", l'agente ha elementi concreti su cui ragionare. Le buone descrizioni sono uno degli investimenti a più alto rendimento e minor costo che puoi fare, e migliorano ogni strumento a valle, non solo Genie.

Ecco tre passaggi essenziali da compiere.

1. Aggiungi descrizioni delle tabelle e commenti alle colonne in Unity Catalog. Scrivi pensando a un nuovo analista che non conosce il tuo schema: spiega cosa rappresentano i dati, qual è il loro scopo aziendale e segnala eventuali avvertenze note. Concentra l'impegno dove conviene di più, sulle tabelle curate e pronte per il business che le dashboard e gli agenti interrogano effettivamente.
2. Applica i tag per classificare e organizzare. Le descrizioni forniscono il significato narrativo; i tag forniscono segnali strutturati per la classificazione, l'individuazione e la governance. Utilizzali per acquisire sensibilità (PII, PHI, PCI), proprietà, funzione aziendale e altri attributi che devono essere compresi in modo coerente in tutto il patrimonio di dati. I tag governati consentono agli amministratori di definire un insieme approvato di chiavi e valori in modo che la classificazione rimanga coerente anziché variare da un team all'altro. Questi segnali possono anche alimentare le policy di accesso e altri controlli di governance in un secondo momento.
3. Automatizza il primo passaggio laddove il volume rende impraticabile il lavoro manuale. Il Databricks Solution Accelerator, dbxmetagen, utilizza modelli linguistici di grandi dimensioni per generare descrizioni, rilevare e taggare dati sensibili e proporre classificazioni. Nulla viene scritto in Unity Catalog finché un essere umano non lo esamina e lo approva, accelerando così il lavoro anziché sostituire il giudizio umano.

Livello 2: Modella il business con un livello semantico

I metadati spiegano le singole tabelle. Il livello semantico definisce la logica di business sovrastante, in modo che le metriche più importanti abbiano lo stesso significato ovunque vengano utilizzate. Laddove il Livello 0 ha stabilito le fondamenta fisiche, questo livello crea il modello logico: misure, relazioni, domini e termini.

Ecco quattro passaggi importanti:

1. Dichiara le tue relazioni. Gli agenti uniscono le tabelle per rispondere alle domande e, se devono indovinare come si collegano le tabelle, a volte sbaglieranno. Dichiarare le chiavi primarie ed esterne in Unity Catalog indica agli agenti come si relazionano le tabelle, in modo che eseguano i join correttamente invece di inventare percorsi. Questi vincoli sono informativi piuttosto che applicati in modo forzato, quindi il tuo processo di governance deve mantenerli accurati, ma dichiararli è uno dei modi più diretti per ridurre gli errori di join. Le relazioni fanno parte del modello tanto quanto le metriche stesse.
2. Costruisci un modello semantico utilizzando le Metric Views. Una Metric View è un oggetto di Unity Catalog che definisce le tue misure (i numeri aggregati, come i ricavi totali) e le dimensioni (i modi in cui le suddividi, come l'area geografica o il mese) una sola volta, come codice governato. Poiché l'aggregazione viene risolta al momento della query anziché essere predefinita, gli utenti che interrogano la Metric View utilizzano la stessa definizione governata. Questo è uno dei passaggi più importanti per l'accuratezza perché elimina l'ambiguità che porta gli agenti a scegliere la definizione errata. Definisci prima i tuoi KPI critici come Metric Views: questi sono i numeri che non possono assolutamente essere errati, come i ricavi, i clienti attivi e le misure di conformità principali.
3. Aggiungi ai tuoi parametri metadati orientati agli agenti. Le Metric Views possono contenere nomi visualizzati e sinonimi, in modo che il linguaggio naturale come "vendite" si mappi sulla misura corretta, pattern di formato per valuta e date e query di esempio. Questi metadati confluiscono in Genie Ontology, quindi il lavoro svolto per modellare una metrica rende anche più facile per un agente trovarla e utilizzarla correttamente.
4. Organizza e documenta. I Domini e i sotto-domini di Unity Catalog raggruppano gli asset in raccolte allineate al business in modo che il contesto rimanga circoscritto. Questo migliora la velocità e l'accuratezza di Genie, in quanto può concentrare la sua ricerca sugli asset all'interno di aree di business rilevanti anziché cercare nell'intero patrimonio di dati. Le Pagine di Unity Catalog acquisiscono i termini, i concetti e le definizioni di business condivisi che gli utenti aziendali e gli agenti utilizzano per ragionare. Ogni Pagina elenca gli asset autorevoli legati a quel concetto, in modo che quando l'ontologia risolve un termine da una domanda, sappia già a quali tabelle, Metric Views e query attingere anziché cercare nell'intero patrimonio di dati e tirare a indovinare. La revisione da parte dei proprietari mantiene queste definizioni affidabili e, poiché sono dichiarate e verificate da persone, hanno maggiore autorità rispetto al contesto dedotto quando l'ontologia deve risolvere un conflitto.

Automatizzare la modellazione semantica con Genie Code

Naturalmente, il processo di modellazione semantica non deve essere uno sforzo puramente manuale. Puoi sfruttare Genie Code per creare e gestire le Metric Views utilizzando istruzioni in linguaggio naturale. Nel prompt di Genie Code, descrivi le tabelle di origine, i join, i campi, le misure e i filtri, e questo genererà il codice YAML da esaminare prima del salvataggio. Puoi anche utilizzare la skill /importBI in Genie Code per importare modelli semantici di Tableau o Power BI, e verrà creata una Metric View, che potrai poi promuovere in Unity Catalog per il riutilizzo, la governance, la lineage e la rintracciabilità.

Genie Code può anche creare bozze di Pagine. Nell'editor delle Pagine, seleziona un dominio, allega file pertinenti, link, asset di Unity Catalog o contenuti connessi tramite MCP, e Genie Code genererà una bozza dei campi strutturati e del corpo della Pagina in formato rich-text. Esamina la bozza, aggiungi le Origini e gli Asset correlati appropriati, quindi salva o pubblica. Per più concetti, utilizza l'importazione in blocco delle pagine. Genie Code estrae ed elimina i duplicati delle Pagine proposte dai tuoi documenti e dalle tue fonti, segnala conflitti, duplicati e termini a bassa confidenza per la revisione, e crea le Pagine approvate come bozze per la successiva modifica e pubblicazione.

Livello 3: Cura asset ricchi di contesto

La parte dedotta dell'ontologia apprende dagli asset che i tuoi team già producono, come dashboard, notebook, query SQL, Genie Agents e documentazione. Più il tuo patrimonio di dati è ricco e affidabile, più il contesto dedotto diventa utile. Il Livello 3 consiste nel rendere questi asset meritevoli di essere utilizzati per l'apprendimento.

Ecco quattro passaggi essenziali:

1. Costruisci una base di asset solida e ampiamente utilizzata. Uno spazio di lavoro con molte dashboard, query e Genie Agents ben documentati e ampiamente utilizzati offre all'ontologia più materiale da cui apprendere rispetto a uno spazio di lavoro vuoto o poco utilizzato. Man mano che questi asset vengono utilizzati e migliorati, i segnali disponibili per l'estrazione del contesto diventano più ricchi.
2. Rendi i tuoi asset ricchi di contesto. Più un asset è ricco, più l'ontologia può apprendere da esso. Quando arricchisci un Genie Agent con definizioni, esempi e istruzioni, non solo ottieni un agente più efficiente, ma fornisci anche a Genie Ontology un contesto più forte da estrarre e classificare nell'intero patrimonio di dati. Fai lo stesso per gli altri asset: documenta i notebook con celle Markdown, le query SQL salvate con commenti e le dashboard AI/BI con descrizioni e annotazioni. Insieme, questi elementi forniscono la ricca conoscenza aziendale "long-tail" a cui attinge Genie Ontology.
3. Certifica gli asset di cui ti fidi. La certificazione contrassegna i tuoi asset di dati e AI come Metric Views, Genie Agents o Notebook come convalidati e approvati, e funge da forte segnale per determinare quali fonti sono autorevoli. Gli asset certificati e ampiamente utilizzati hanno maggiore autorità rispetto a quelli non verificati, quindi certificare gli asset di cui ti fidi influenza direttamente quale contesto prevale in caso di conflitto. Deprecare gli asset obsoleti è l'altra metà dell'opera: allontana sia le persone che gli agenti dai contenuti che non supporti più.
4. Classifica i dati sensibili e monitora la qualità. La classificazione dei dati identifica e contrassegna i dati sensibili in modo che possano essere gestiti in modo coerente, mentre il monitoraggio della qualità dei dati rileva drift e anomalie prima che abbiano un impatto sulle persone e sugli agenti che dipendono da tali dati. Entrambi contribuiscono a garantire che gli asset che alimentano l'ontologia siano affidabili.

Livello 4: Costruisci il livello di governance

La governance è ciò che rende le risposte di Genie sicure e affidabili. Poiché le autorizzazioni determinano quale contesto Genie Ontology può recuperare, due persone possono porre la stessa domanda e ricevere risposte diverse in base a ciò che ciascuna è autorizzata a vedere.

Vediamo la governance in tre aree specifiche:

1. Inizia con i controlli di accesso di Unity Catalog. Il modello dei privilegi di Unity Catalog è la base. Controlla l'accesso a cataloghi, schemi, tabelle e altri asset dello spazio di lavoro, e Genie Ontology rispetta tali autorizzazioni. Genie utilizza solo i contenuti che la persona che pone la domanda è autorizzata a vedere, quindi domande identiche possono produrre risposte diverse a seconda dell'utente. La gestione degli accessi tramite gruppi anziché singoli individui rende le autorizzazioni più facili da mantenere man mano che si cresce.
2. Aggiungi controlli granulari dove i dati lo richiedono. Per i dati sensibili, la sicurezza a livello di riga (row-level security) limita le righe che un utente può vedere, e il mascheramento delle colonne (column masking) oscura i valori sensibili. Entrambi vengono applicati al momento della query. Il controllo degli accessi basato sugli attributi (attribute-based access control) consente di gestire queste protezioni a partire da tag regolamentati, in modo che una policy legata a un tag di sensibilità si applichi ovunque appaia quel tag, anziché essere definita tabella per tabella. Ciò fornisce un modo scalabile per applicare la protezione a livello di riga e di colonna in modo coerente su un intero patrimonio di dati.
3. Gestisci il livello AI. Unity AI Gateway offre agli amministratori un punto centrale per gestire l'accesso ai modelli, i limiti di frequenza (rate limit), la registrazione dei payload (payload logging) e il controllo dei costi per i carichi di lavoro AI, oltre a controlli di sicurezza e sui dati sensibili per ciò che viene inviato ai modelli. È il punto di controllo per gestire il comportamento dell'agente e la sua spesa con l'aumentare dell'utilizzo.

Insieme, questi controlli determinano quale contesto l'ontologia può recuperare e quali utenti possono riceverlo. I contenuti non autorizzati non partecipano al recupero (retrieval), quindi non possono influenzare indirettamente una risposta.

Livello 5: Valuta e migliora

I primi cinque livelli costruiscono il contesto aziendale che Genie utilizza per rispondere alle domande. Il livello di valutazione e miglioramento mantiene accurato tale contesto al variare del business. Le metriche vengono ridefinite, le tabelle diventano obsolete e vengono introdotti nuovi prodotti. Misurare regolarmente la qualità delle risposte aiuta a identificare quando l'ontologia deve adattarsi, prima che risposte obsolete o errate compromettano la fiducia degli utenti.

Ci sono quattro aree chiave da considerare:

1. Convalida l'esperienza prima del rilascio. Inizia con un insieme rappresentativo di domande aziendali per ciascun dominio prioritario. Definisci la risposta attesa, la fonte autorevole e i criteri di accettazione per ogni domanda. Quindi testa queste domande in Genie One, assicurandoti che utilizzino Metric Views, Pagine, Genie Agents, dashboard, query e altre fonti da cui gli utenti dipenderanno. I Genie Agent Benchmarks forniscono un modo integrato per valutare un singolo Genie Agent nel tempo. In modalità Chat, i benchmark possono confrontare i risultati con risposte SQL convalidate; in modalità Agent, le risposte vengono valutate utilizzando un giudice LLM e criteri di valutazione opzionali. Per Genie One e, più in generale, per Genie Ontology, il tuo team dovrebbe definire e possedere l'insieme di domande, la ground truth, la convalida delle fonti, il processo di revisione manuale e le soglie di accettazione. Quando una risposta fallisce, risali alla fonte o al contesto sottostante e risolvi la causa principale. Ciò potrebbe significare definire una logica metrica regolamentata in una Metric View, chiarire una definizione aziendale in una Pagina, migliorare i metadati di Unity Catalog, certificare o deprecare un asset, o perfezionare la cura di un Genie Agent specifico per il dominio.
2. Monitora le risposte, l'utilizzo e la qualità delle fonti. Utilizza la funzionalità di monitoraggio degli asset sfruttati da Genie Ontology. Genie Agent Monitor offre visibilità su domande, risposte, feedback, risposte segnalate e tendenze di utilizzo dei singoli Agent. In Genie One, le citazioni delle fonti aiutano gli utenti e gli amministratori a verificare quali fonti dell'Ontology hanno contribuito a una risposta. La Query History, i log di audit e le tabelle del sistema di fatturazione possono fornire ulteriore visibilità sull'esecuzione SQL, sugli eventi e sull'utilizzo.
3. Chiudi il ciclo di feedback al livello corretto. Acquisisci i feedback degli utenti e le richieste di revisione, quindi indirizza il problema all'asset responsabile della risposta. La correzione deve essere apportata laddove risiede il significato aziendale:
   • Una Pagina, quando il problema riguarda una definizione aziendale o un sinonimo.
   • Una Metric View, quando il problema riguarda una misura governata, una dimensione, una relazione o un calcolo.
   • I metadati, i permessi, la certificazione o la deprecazione di Unity Catalog, quando il problema riguarda un asset di origine.
   • Le istruzioni di un Genie Agent, esempi di SQL, espressioni SQL, risposte attendibili o il Knowledge Store, quando il problema è specifico del dominio di quell'Agent. I Genie Agent dispongono di diverse funzionalità integrate per acquisire e gestire i feedback degli utenti, tra cui pollice su e pollice giù, richiesta di revisione, ispezione del codice SQL generato, aggiunta come istruzione e aggiunta come benchmark.
4. Fai attenzione al drift (deriva) tra i tuoi asset. Il drift può verificarsi in molti punti: definizioni aziendali, logica dei KPI, metadati delle tabelle, join, dashboard, notebook, pipeline, istruzioni dei Genie Agent e pattern di utilizzo delle fonti. Stabilisci dei responsabili e una frequenza di revisione per gli asset di ciascun dominio critico. Quando affronti il drift, sfrutta il modello che hai già creato: Pagine per i concetti autorevoli, Metric View per le misure e le dimensioni governate, Domini per l'organizzazione e la gestione (stewardship), e certificazione o deprecazione per contrassegnare ciò che è consigliato o obsoleto. Mantieni aggiornati tabelle di origine, viste, dashboard, notebook e query, poiché contribuiscono tutti al contesto dedotto, e utilizza i permessi per tenere i contenuti sperimentali o ritirati lontani da persone e agenti che non dovrebbero vederli. Per i Genie Agent, esegui nuovamente le loro suite di benchmark dopo modifiche sostanziali ai dati, alle istruzioni, agli esempi o agli asset attendibili.

La valutazione non è un controllo una tantum prima del lancio; è un'abitudine continua per ogni asset che alimenta una risposta. Databricks ti offre gli asset semantici governati, il recupero e le citazioni dell'ontology, la valutazione e il monitoraggio a livello di Agent e la telemetria delle tabelle di sistema. Tu ci metti la ground truth, la responsabilità, il processo di revisione e la manutenzione periodica che mantiene Genie affidabile.

Inizia con un solo dominio, poi espanditi

Un aspetto chiave da ricordare è che non è necessario creare tutti e sei i livelli contemporaneamente. Non dovresti cercare di coprire l'intera azienda prima di andare online. Il percorso pratico consiste semplicemente nell'iniziare a usare Genie, per poi scegliere un dominio ad alto valore e rafforzare intenzionalmente le definizioni, le fonti, la governance e la valutazione che contano di più. Si tratta di un approccio "espandi mentre impari" rispetto al voler fare tutto subito.

Scegli il primo dominio in modo mirato. Inizia con un flusso di lavoro ricorrente e ad alto attrito in cui i team dedicano già tempo a riconciliare i numeri manualmente, come una chiamata di previsione (forecast) o un ciclo di pianificazione. Questi sono i punti in cui una risposta affidabile ha il valore più alto e dove sai già come deve essere il risultato corretto. In pratica, parti da un ambito ristretto: scegli un dominio come Sales (Vendite) e una metrica come l'ARR, quindi consolida le fondamenta. Certifica la metrica critica, definisci i termini importanti, identifica gli asset autorevoli, governa l'accesso e valuta le domande cruciali. Usa i risultati per guidare il dominio successivo.

Quest'ultimo punto è più importante di quanto sembri. L'obiettivo di queste pratiche non è la completezza tecnica fine a se stessa; è la fiducia: ovvero se un utente aziendale crede a una risposta abbastanza da agire di conseguenza. Ogni livello guadagna un po' di quella fiducia, e il ciclo di valutazione rende tale fiducia visibile e difendibile, anziché una questione di opinione.

Due elementi si sommano man mano che procedi. Ogni entità risolta, asset documentato, metrica certificata, definizione della pagina del glossario e dataset governato rafforza il nucleo autorevole. Inoltre, ogni interazione può rivelare feedback che i team possono utilizzare per migliorare il sistema. Il risultato è una comprensione aziendale condivisa che migliora con l'uso anziché deteriorarsi.

Rendere operativa Genie Ontology non è un megaprogetto di modellazione. Si tratta di un investimento costante e strutturato nel modello dei dati, nei metadati, nella semantica aziendale, nel contesto aziendale, nella governance e nella valutazione, fornito un dominio alla volta, che offre all'AI una reale comprensione della tua attività.

Scopri di più

Se desideri saperne di più, leggi il blog dell'annuncio di Genie Ontology e visita le pagine web di Genie One e Genie Agents. Inoltre, consulta la pagina web di Unity Catalog Semantics per un approfondimento sulle Metric View. Siamo solo all'inizio di ciò che diventa possibile quando l'AI può attingere a una comprensione condivisa e fidata del business. Non vediamo l'ora di vedere come i clienti utilizzeranno Genie Ontology per prendere decisioni più rapide, agire con maggiore sicurezza e creare nuovi modi di lavorare.

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale