Analytics basati sull'AI: Creazione di visualizzazioni dati con linguaggio naturale vs. SQL

Richard Tomlinson, responsabile del product marketing per i prodotti di business intelligence e analytics di Databricks, ha dedicato la sua carriera a promuovere tecnologie capaci di domare i dati per aiutare le persone a prendere decisioni migliori e alimentare l'innovazione. In questa conversazione, spiega come le interrogazioni in linguaggio naturale per le visualizzazioni possano finalmente offrire molto più del solo SQL, come garantire l'affidabilità dell'analytics basata sull'IA e perché il contesto aziendale sia fondamentale.

Perché le interrogazioni in linguaggio naturale per le visualizzazioni non hanno mantenuto le promesse

Le interrogazioni in linguaggio naturale per le visualizzazioni esistono da un decennio. Perché non hanno mantenuto le promesse?

Richard Tomlinson: La promessa esiste fin dai primi giorni dell'analytics guidata dalla ricerca, ma ha continuato a deludere le aspettative perché i sistemi riuscivano ad analizzare la domanda, ma non a comprendere il contesto aziendale.

Le prime generazioni di sistemi NL-to-SQL affrontavano il problema come una semplice traduzione da linguaggio a schema: mappare le parole sulle colonne, generare una query e restituire un grafico. Funziona per ricerche semplici, ma crolla di fronte alla complessità dei dati aziendali. Nella realtà, si possono avere definizioni contrastanti della stessa metrica tra diversi team, join ambigue tra tabelle, regole aziendali che esistono solo nella testa delle persone anziché nei metadati e nessun modo per stabilire quale fonte sia autorevole quando due numeri entrano in conflitto.

Il collo di bottiglia non erano gli LLM, ma il contesto. Anche quando i modelli sono migliorati in modo spettacolare, continuavano a tirare a indovinare il significato partendo dai nomi grezzi delle tabelle e dalle intestazioni delle colonne; ecco perché la stessa domanda posta due volte poteva generare due risposte diverse.

A essere cambiato non è solo l'arrivo di modelli migliori, ma la consapevolezza che serve uno strato semantico governato al di sotto del modello linguistico. Questo strato dice all'agente cosa significa "fatturato" per un determinato team, quale tabella è la fonte certificata, come sono definiti gli anni fiscali e quali filtri applicare sempre. Senza questo elemento, l'interrogazione in linguaggio naturale rimaneva solo una demo d'effetto in una sala riunioni, ma inefficace con i reali dati aziendali.

Generare risposte affidabili per ogni utente

Il linguaggio naturale ha aperto l'analytics basata sull'IA a tutti. Ma come si fa a garantire che anche i non specialisti ottengano risposte di cui potersi fidare?

Richard Tomlinson: Permettere a più persone di porre domande è la parte facile. La vera sfida è rendere le risposte abbastanza affidabili da potervi basare delle azioni. Per farlo, devono essere soddisfatte tre condizioni fondamentali.

In primo luogo, i dati stessi devono essere governati. Servono dati puliti e ben organizzati, strutturati sulla base del reale funzionamento dell'azienda, in cui le categorie siano coerenti in tutta l'organizzazione, ogni record sia chiaramente definito e non ci siano duplicati di clienti o prodotti. Il tutto deve essere protetto tramite controlli di accesso granulari, in modo che ciascun utente veda solo ciò che è autorizzato a visualizzare.

In secondo luogo, il significato di questi dati deve essere esplicito e leggibile dalle macchine, non nascosto nel know-how informale o nel foglio di calcolo di qualcuno. Servono definizioni di metriche governate, termini aziendali documentati, relazioni tra chiavi primarie ed esterne ben definite e fonti certificate, il tutto registrato in un sistema come Unity Catalog, dove un agente IA possa accedervi in fase di esecuzione della query.

In terzo luogo, deve esserci uno strato di fiducia e verifica, con la capacità di risalire per ogni risposta generata dall'IA alle definizioni, fonti e autorizzazioni che l'hanno prodotta. Ciò consente a un utente aziendale di verificare perché il sistema ha fornito una determinata risposta, e non solo cosa ha risposto. Questa è la base di Genie One: dati governati, semantica esplicita e provenienza ispezionabile. Senza tutto questo, si offre solo a tutti un modo più rapido per ottenere la risposta sbagliata.

In che modo il semantic grounding cambia le regole del gioco

Che cos'è il semantic grounding e in che modo contribuisce a creare visualizzazioni di dati efficaci basate sul linguaggio naturale?

Richard Tomlinson: Il semantic grounding è il processo che àncora l'interpretazione di una domanda da parte dell'agente IA alle effettive definizioni, relazioni e regole aziendali dell'organizzazione, invece di lasciare che il modello deduca il significato dai nomi delle colonne sperando che vada bene.

In pratica, questo significa che ancora prima di generare una singola riga di SQL, l'agente sa già, ad esempio, che il "fatturato netto" utilizza un calcolo specifico e approvato, che deve essere estratto da una tabella finanziaria certificata anziché da un riepilogo di marketing, che i trimestri fiscali iniziano a febbraio e che gli utenti in prova gratuita sono esclusi dalle metriche di retention.

In Databricks, Genie Ontology fornisce uno strato di contesto unificato che combina conoscenze modellate in modo esplicito — come viste di metriche, pagine governate, domini e fonti certificate — con il contesto appreso automaticamente dal modo reale in cui opera l'organizzazione. Tale contesto viene estratto direttamente da dashboard, query, notebook e altre risorse aziendali.

Ogni elemento di contesto appreso, chiamato Ontology Snippet, ha un punteggio di autorevolezza basato sulla fonte, sulla frequenza d'uso, sull'aggiornamento e sullo stato di certificazione. In fase di esecuzione della query, un sistema di ranking valuta gli snippet in concorrenza per rilevanza e autorevolezza, risolve i conflitti e fornisce solo il contesto che l'utente è autorizzato a visualizzare.

Una visualizzazione creata con questo processo non è solo un grafico dall'aspetto gradevole. È fondata sulle stesse definizioni e sulla stessa logica che utilizzerebbero gli esperti del settore dell'organizzazione, il che fa la differenza tra una risposta verosimile e una risposta affidabile.

Una buona governance rende tutto questo possibile

Qual è il ruolo della governance nel creare con successo visualizzazioni di dati utilizzando il linguaggio naturale anziché l'SQL?

Richard Tomlinson: La governance è l'infrastruttura portante che rende possibile l'analytics in linguaggio naturale su scala aziendale, non una casella di conformità da spuntare a posteriori.

Quando un utente aziendale pone una domanda in linguaggio naturale, il sistema deve prendere una serie di decisioni che definiscono la risposta, tra cui quali tabelle interrogare, quali join utilizzare, quale definizione di metrica applicare e quali righe e colonne uno specifico utente è autorizzato a vedere. Nel mondo SQL, queste decisioni vengono prese da un analista esperto. Nel mondo del linguaggio naturale, è l'agente IA a prenderle; ciò significa che la governance deve guidare ogni decisione dell'agente, e non intervenire a cose fatte.

Unity Catalog offre questa base con controlli di accesso granulari, filtri di riga e maschere di colonna applicati per utente, segnali di certificazione che indicano all'agente le risorse garantite dall'organizzazione e flag di deprecazione che lo allontanano da fonti obsolete.

La governance si estende anche allo strato semantico stesso. Gli Ontology Snippet seguono le stesse autorizzazioni di Unity Catalog dei dati che descrivono, garantendo che l'agente utilizzi solo il contesto aziendale che l'utente è autorizzato a vedere. Con la giusta governance, le organizzazioni possono estendere in tutta sicurezza l'analytics in self-service a un pubblico molto più ampio, poiché le regole di protezione sono garantite dal sistema.

Mantenere coerenti i thread conversazionali

In che modo l'analytics basata sull'IA mantiene il contesto in una conversazione in corso, incluse le domande di approfondimento?

Richard Tomlinson: Questa è una delle sfide tecniche più sottovalutate nell'analytics conversazionale, ed è il punto in cui la maggior parte dei sistemi NL-to-SQL fallisce. Ad esempio, quando un utente chiede "A quanto ammontavano le vendite nello scorso trimestre?" e poi prosegue con "Suddividile per regione", il sistema deve capire che quell'oggetto si riferisce alla metrica, alla finestra temporale e ai filtri della query precedente e applicare quel contesto nella risposta.

Genie mantiene il contesto conversazionale all'interno di un thread conservando lo stato della conversazione. I metadati di tabelle e colonne, le istruzioni fornite dagli editor degli agenti e il contesto dei turni di conversazione precedenti contribuiscono a interpretare la domanda successiva. Se la richiesta di approfondimento è ambigua, Genie può porre una domanda di chiarimento invece di tirare a indovinare.

Genie può anche attingere alle conversazioni passate per formulare le risposte. Un utente può fare riferimento a un lavoro precedente ("Ricordi quando abbiamo parlato dell'ARR dello scorso trimestre? Analizziamolo nel dettaglio per regione") e il sistema integra quel contesto nella conversazione corrente senza che l'utente debba uscire dalla schermata.

La combinazione di semantic grounding e filtraggio della conversazione mantiene le risposte coerenti man mano che la conversazione si allunga. L'ontologia fornisce definizioni stabili che persistono nei vari turni, in modo che "fatturato" mantenga lo stesso significato dal primo al quinto turno. Nel frattempo, la gestione della conversazione seleziona il contesto rilevante invece di aggiungere ingenuamente tutto, cosa che finirebbe per sovraccaricare la finestra di contesto e causare il tipo di deviazione che gli utenti riscontrano nei sistemi meno avanzati.

Portare Genie negli strumenti di tutti i giorni con la governance integrata

In che modo le organizzazioni possono integrare Genie nelle app e negli strumenti IA che i loro team già utilizzano, e come vengono applicate le autorizzazioni di accesso ai dati?

Richard Tomlinson: Databricks offre diversi modi per integrarsi. La Genie Conversation API consente agli sviluppatori di incorporare l'interrogazione dei dati in linguaggio naturale direttamente nelle proprie applicazioni, chatbot e framework di agenti. Tramite l'API, gli utenti possono porre domande, recuperare l'SQL generato e i risultati delle query e ottenere risposte in conversazioni a più turni che ricordano il contesto precedente.

Le organizzazioni possono anche utilizzare Genie dagli assistenti AI su cui si basano già, come Claude, ChatGPT, Microsoft Copilot o Cursor, tramite il server Genie One MCP. Le risposte utilizzano le stesse definizioni aziendali e autorizzazioni sui dati presenti in Databricks.

Gli agenti Genie possono anche essere incorporati in altre applicazioni mantenendo intatte le autorizzazioni. Le query vengono eseguite su un SQL warehouse utilizzando le credenziali impostate dall'autore dell'agente, ma Unity Catalog determina ciò che ciascun utente finale può vedere in base ai propri diritti di accesso. I filtri di riga, le maschere di colonna e i privilegi a livello di tabella si applicano tutti per singolo utente.

Il modello di autenticazione consigliato per le integrazioni esterne è l'OAuth on-behalf-of (OBO), in cui l'assistente esterno agisce per conto dell'utente e Genie applica le autorizzazioni di quella persona a ogni richiesta. In questo modo due persone possono porre la stessa domanda allo stesso chatbot e ottenere risposte appropriate basate solo sui dati che sono autorizzate a vedere, senza una configurazione speciale per ciascun utente.

Una connessione diretta al database si limita a fornire dati. Un'integrazione di analytics governata controlla chi vede quali metriche e come vengono calcolate.

Mantenere la promessa dell'analytics in linguaggio naturale

L'analytics in linguaggio naturale promette da tempo che chiunque possa porre una domanda e ottenere una visualizzazione dei dati. In realtà, i risultati spesso non erano abbastanza affidabili per agire di conseguenza. Man mano che l'AI si fa carico delle decisioni tradizionalmente prese dagli analisti, il contesto sottostante diventa fondamentale. Risposte affidabili dipendono da dati governati, definizioni condivise, autorizzazioni chiare e da un modo per verificare come è stata generata ciascuna risposta. I sistemi devono anche tenere traccia del contesto man mano che le conversazioni proseguono e portare l'analytics basata sull'AI negli strumenti che i dipendenti già utilizzano. Con questa base, le organizzazioni possono dare con sicurezza ai dipendenti di tutta l'azienda l'accesso ad analytics di cui fidarsi, ovunque lavorino, per aiutarli a prendere decisioni intelligenti.

Scopri come Genie trasforma le domande aziendali in risposte governate e azioni.

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale