Come Scottish Water ha reso conversazionali i dati relativi agli investimenti di capitale con Databricks Genie

All'interno del programma Capital Investment (CI) di Scottish Water, i team hanno bisogno di risposte rapide sullo stato dei progetti, sulle performance finanziarie, sulle milestone di consegna e sui rischi. Queste informazioni esistevano già, ma trovarle spesso significava navigare in un vasto patrimonio di report o affidarsi a specialisti dei dati per estrarre le informazioni corrette dalle tabelle sottostanti. Databricks Genie ha cambiato tutto questo. Oggi, i team di progetto possono porre domande in inglese semplice direttamente su Microsoft Teams e ricevere risposte affidabili in pochi secondi.

La sfida: i dati erano disponibili, ma non accessibili

La funzione CI di Scottish Water non aveva una carenza di dati. Aveva un problema di accesso.

In pratica, questo si manifestava in diversi modi:

• Esisteva già un gran numero di report, ma la scarsa consapevolezza e visibilità portavano spesso a duplicare gli sforzi, con la creazione di nuovi report per rispondere a domande a cui la reportistica esistente aveva già risposto.
• I dati di valore rimanevano difficili da accedere per gli utenti non tecnici, rallentando il processo decisionale all'interno della funzione.

Il risultato era prevedibile: gli analisti perdevano tempo a riprodurre un lavoro già esistente, i team di consegna aspettavano l'estrazione dei dati e le informazioni cruciali sui progetti non sempre raggiungevano i responsabili delle decisioni quotidiane.

La soluzione: un'interfaccia conversazionale per dati di progetto governati

SPARK è il brand interno di Scottish Water per l'interfaccia in linguaggio naturale per i dati del suo portfolio progetti, basata su Genie.

Invece di cercare il report giusto, gli utenti possono porre una domanda e ricevere una risposta basata su dati governati. SPARK porta questa esperienza direttamente all'interno di Microsoft Teams, dove i team già lavorano, eliminando la necessità di passare a una nuova interfaccia.

Gli utenti inviano una domanda in Teams tramite Copilot, che viene poi orchestrata da un agente supervisore Copilot, il quale si connette allo spazio Databricks Genie tramite il Model Context Protocol (MCP). Genie traduce la domanda in una query, la esegue sui dati governati in Unity Catalog e restituisce il risultato all'utente.

Dalla caccia ai report alle domande dirette

Con SPARK, i team possono porre domande di business pratiche come:

• Elenca tutti i rischi di progetto aperti in scadenza ad agosto, inclusi il nome del progetto, la descrizione del rischio, il proprietario del rischio e la data di scadenza del rischio.
• Qual è l'attuale punteggio di rischio attivo per il progetto X?
• Per il progetto X, qual è il rischio con la maggiore esposizione attuale? Fornisci il nome del rischio, la descrizione e il valore dell'esposizione attuale.
• Chi è il futuro appaltatore per il progetto X?

Ogni domanda restituisce una risposta immediata derivata dalle viste metriche governate. Questo significa meno tempo dedicato alla ricerca dei report e più tempo dedicato ad agire in base agli insight.

L'impatto: accesso più rapido, meno attrito, uso più ampio dei dati

Rendendo l'accesso ai dati conversazionale, Scottish Water sta aiutando i team di progetto a ottenere risposte più velocemente e con molto meno sforzo.

• Per i dati di progetto, una tipica ricerca che prima richiedeva circa 8 clic più il tempo di caricamento della dashboard ora può iniziare con una singola domanda su Teams.
• Per le domande basate sui report, gli utenti non devono più navigare tra SharePoint, il Reporting Hub, le categorie di report e i singoli link ai report solo per trovare l'asset giusto. In molti casi, questo trasforma un percorso di ricerca da 4 o 5 passaggi in un'esperienza diretta di domanda e risposta.
• Se 100 utenti pongono solo 3 domande a settimana, si tratta di circa 300 richieste di informazioni ogni settimana. Con un risparmio stimato prudenzialmente tra i 2 e i 5 minuti per richiesta, ciò equivale a circa 10-25 ore risparmiate a settimana, ovvero circa 520-1.300 ore all'anno.
• Il vantaggio non è solo la velocità. I team ottengono risposte su misura per la domanda che stanno ponendo, invece di dover interpretare report statici progettati per un pubblico generico.
• Inoltre, riduce la dipendenza dal supporto specialistico e rende gli insight governati più accessibili agli utenti non tecnici.

In pratica, questo significa meno tempo speso a cercare tra i vari strumenti, meno attese per l'estrazione dei dati da parte di terzi e più tempo dedicato ad agire sulla base di risposte affidabili direttamente nel flusso di lavoro.

SPARK cambierà completamente il modo in cui i nostri team di portfolio e di progetto interagiscono con i dati. Ci traghetta da report statici a conversazioni intelligenti in tempo reale con le nostre informazioni, consentendo alle nostre persone di prendere decisioni più rapide e informate e sbloccando un valore che prima semplicemente non potevamo raggiungere. È davvero entusiasmante!—Allan Mason, Programme and Project Delivery Manager, Business Analytics

Progettato per la fiducia e la scalabilità

L'analisi conversazionale funziona solo quando gli utenti si fidano delle risposte. L'implementazione di Scottish Water è stata progettata con questo obiettivo in mente fin dall'inizio.

Governance per impostazione predefinita

La governance è stata integrata fin dall'inizio, con l'esperienza Genie basata sui dati governati di Unity Catalog e su definizioni semantiche condivise, in modo che le risposte fossero coerenti, spiegabili e allineate con la logica di business esistente.

• La soluzione è basata sui dati governati di Unity Catalog, il che rende il controllo degli accessi, la lineage e una singola fonte di verità parte delle fondamenta.
• Invece di esporre Genie direttamente a un gran numero di tabelle grezze, Scottish Water ha prima organizzato i dati necessari per questo caso d'uso nel layer gold.
• Inoltre, è stato creato un layer semantico utilizzando viste metriche che standardizzano misure, dimensioni e terminologia aziendale, in modo che le stesse definizioni vengano riutilizzate in modo coerente. Questo ha contribuito a ridurre l'ambiguità e a migliorare la coerenza delle risposte.

Ottimizzato per la precisione

Per rendere lo spazio Genie affidabile nella pratica, Scottish Water lo ha configurato in base alle proprie regole di business, alla terminologia interna e alle domande reali degli utenti, anziché affidarsi a una configurazione generica.

• Sono state aggiunte istruzioni curate sulle regole di business in modo che Genie potesse interpretare correttamente le convenzioni di Scottish Water, come la definizione dei periodi fiscali, l'ordinamento dei passaggi delle milestone (milestone gates) e la gestione degli ID di progetto e delle date.
• Sono stati utilizzati esempi pratici di domande e query SQL corrispondenti per insegnare all'assistente come gli utenti di Scottish Water formulano le domande e come queste dovrebbero essere mappate sui pattern di query corretti.
• È stata utilizzata una suite di benchmark per fornire un modo ripetibile per testare l'accuratezza ogni volta che la definizione dello spazio o i dati sottostanti cambiavano.
• I test con gli utenti dei team di Scottish Water hanno aiutato a convalidare il fraseggio del mondo reale e hanno consentito di apportare ulteriori perfezionamenti allo spazio nel tempo.

Monitoraggio continuo

Per supportare la soluzione in produzione, Scottish Water ha implementato un sistema di monitoraggio che consente al team di tracciare l'adozione, la qualità delle risposte e le prestazioni nel tempo.

• Durante la fase di sviluppo, la qualità delle risposte è stata monitorata tramite il feedback degli utenti, il che ha aiutato a identificare le risposte che necessitavano di ulteriori miglioramenti.
• In produzione, l'adozione viene monitorata attraverso metriche come la durata delle conversazioni e le conversazioni per utente.
• Il team esamina le domande ricorrenti per capire cosa gli utenti chiedono più spesso e se sia possibile creare visualizzazioni basate sulle domande più frequenti.
• Le prestazioni delle query vengono tracciate attraverso i tempi di esecuzione, il volume totale delle query e le query con l'esecuzione più lenta.
• Il team ha anche creato una visualizzazione per tracciare il costo di Genie per utente.

Rilascio ripetibile e affidabile

Scottish Water ha inoltre progettato la soluzione in modo che potesse essere promossa in modo sicuro e coerente tra i vari ambienti, anziché essere trattata come una build una tantum.

• La soluzione è pacchettizzata come configurazione parametrizzata per l'ambiente utilizzando i Databricks Asset Bundles, in modo che la stessa definizione possa essere distribuita in diversi ambienti.
• Vengono utilizzati ambienti separati di sviluppo, test e produzione, ciascuno con il proprio workspace e SQL warehouse.
• I deployment vengono eseguiti tramite Azure DevOps, con deployment automatico a ogni modifica e un gate di approvazione manuale prima della produzione.
• L'autenticazione è gestita tramite un service principal di Microsoft Entra ID, con credenziali recuperate al momento del deployment da Azure Key Vault anziché memorizzate nel codice.
• I deployment sono idempotenti, quindi lo spazio Genie può essere creato o aggiornato in loco e l'accesso concesso automaticamente ai gruppi appropriati.

Conclusione: un modo più semplice ed efficiente per i team di lavorare con i dati

Il risultato è semplice ma potente: i team di Scottish Water possono accedere ai dati di progetto tramite il linguaggio naturale e fidarsi delle risposte che ricevono. Per i leader, questo significa una visibilità più rapida e meno attriti nella reportistica. Per i team di delivery e gli utenti dei dati, significa accesso diretto a insight governati nel flusso di lavoro.

SPARK dimostra che quando dati ben progettati e ben governati vengono combinati con Genie, le organizzazioni possono creare uno strumento rivoluzionario che democratizza davvero i dati aziendali affidabili per i propri utenti.

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale