di Kacey Hertan
La missione del Gruppo Banca Mondiale è migliorare la prosperità condivisa in tutto il pianeta. Raggiungere tale missione dipende dalla trasformazione di vaste quantità di dati in insight azionabili. Con decine di milioni di documenti nei suoi repository di conoscenza e tre milioni di download di pubblicazioni ogni mese, la sfida consiste nel rendere tale conoscenza reperibile e utilizzabile su larga scala, per consentire ai team di generare un maggiore impatto globale.
Per fare ciò, il Gruppo Banca Mondiale ha costruito una piattaforma unificata di dati e AI su Databricks, riunendo per la prima volta dati operativi strutturati e repository di documenti non strutturati, consentendo decisioni più informate con molta meno ricerca manuale.
Il Gruppo Banca Mondiale gestisce flussi di dati sia strutturati che non strutturati che non sono mai stati integrati. Sul lato strutturato, i database legacy on-premises rendono difficile tenere il passo con i requisiti di reporting in evoluzione. Sul lato non strutturato, ricercatori e analisti dovevano cercare manualmente in enormi librerie di documenti per rispondere a domande di base.
"Come faccio a cercare un progetto eseguito in India nel 1960? Quali sono le sue insidie? Cosa è andato bene?" afferma Suresh Kaudi, un leader di dati e AI presso il Gruppo Banca Mondiale. "Non avevamo idea. Bibliotecari, ricercatori andavano e tiravano fuori tonnellate di documenti, cercavano di leggerli, cercavano di capirli."
Quel collo di bottiglia della conoscenza ha rallentato il processo decisionale e limitato la capacità dell'organizzazione di far emergere le lezioni apprese dal suo portafoglio globale.
Il Gruppo Banca Mondiale ha iniziato il suo percorso con Databricks con un obiettivo mirato: modernizzare la sua piattaforma dati e migrare contenuti strutturati dai sistemi legacy. Man mano che tale sforzo maturava, il team ha identificato Databricks come la piattaforma in grado di risolvere questa sfida.
Come afferma Kaudi, Unity Catalog è stato un punto di svolta per il team. "Unity Catalog è stato un punto di svolta per noi. Era un'unica interfaccia unificata dove potevamo governare i nostri dati," afferma Kaudi. Da lì, Databricks Volumes ha fornito al team un percorso scalabile per la gestione di contenuti documentali non strutturati insieme a dati strutturati sulla stessa piattaforma. Genie ha consentito agli utenti aziendali di porre domande in linguaggio naturale sui dati strutturati senza scrivere SQL o fare affidamento su team tecnici. L'AI Gateway di Databricks ha fornito un controllo centralizzato sull'accesso agli agenti, sulla gestione dei costi e sulla sicurezza man mano che il sistema diventava più complesso.
Con la tecnologia critica in atto, il Gruppo Banca Mondiale era pronto per iniziare la fase più impattante dell'implementazione di una soluzione che avrebbe dato vita alla loro visione di democratizzazione dei dati. L'implementazione del Gruppo Banca Mondiale si è evoluta in fasi, ognuna costruita sulla precedente. Il team ha iniziato migrando i dati operativi in Databricks e utilizzando Unity Catalog per stabilire la governance sui contenuti strutturati. Ciò ha posto le basi per lo scorecard aziendale dell'organizzazione, uno strumento di responsabilità pubblica.
"È più orientato ai risultati che agli output," afferma Kaudi. "Invece di dire quanti chilometri di strada abbiamo costruito, ha iniziato a misurare quanti posti di lavoro abbiamo creato, quanta connettività è stata stabilita." Quando le prime implementazioni di Genie hanno restituito risultati incoerenti per le query strutturate, il team ha implementato un livello di metriche per garantire risposte deterministiche, fondamentali per la reportistica finanziaria e operativa.
"Nei contenuti strutturati, hai bisogno di una risposta. Qual è il mio saldo bancario? Non voglio vedere un numero diverso ogni volta," spiega Kaudi. Il team si è poi rivolto ai contenuti non strutturati. Utilizzando Databricks Volumes e la ricerca vettoriale, hanno indicizzato i documenti di progetto per creare una capacità di generazione aumentata da recupero che potesse rispondere a query in linguaggio naturale e quindi risparmiare ricerche manuali.
Ciò ha creato un nuovo problema. Ogni istanza di Genie è costruita su uno specifico livello di metriche, il che significa che è necessaria una distinta istanza di Genie per ogni dominio di dati. Una domanda che copre due domini, ad esempio "qual è il mio impegno in India e quali sono le mie azioni", richiederebbe l'interrogazione di due distinte istanze di Genie.
La soluzione è stata un livello agentivo sopra. Il Gruppo Banca Mondiale ha costruito un'unica interfaccia supportata da un classificatore di intenti, un classificatore di dominio e un decompositore di query. Quando arriva una domanda, il classificatore di intenti identifica cosa viene chiesto, il classificatore di dominio determina quale agente o agenti devono essere chiamati, e il decompositore di query scompone le domande complesse in più parti e le instrada al posto giusto. I risultati vengono assemblati e restituiti come un'unica risposta.
Non è dissimile dal tradizionale design web multi-tier, con front-end, livello applicativo, logica di business e database, aggiornato per un contesto AI. L'utente vede un'interfaccia, ma dietro di essa, qualsiasi numero di agenti Genie specifici per dominio può essere in esecuzione, insieme all'agente RAG per il recupero di documenti e a un agente di visualizzazione che controlla come vengono visualizzati i risultati. Se una query restituisce dati come un grafico a barre e l'utente desidera invece un grafico a torta, l'agente di visualizzazione gestisce ciò senza rieseguire la query sottostante.
Prima di espandere ampiamente il sistema, il team ha condotto sessioni di feedback strutturate con stakeholder esterni, tra cui ONG, funzionari governativi e rappresentanti governativi delle regioni dell'Africa e dell'Asia Pacifico orientale. Hanno utilizzato AI/BI per acquisire input di query, decisioni di routing e output, quindi hanno analizzato i risultati per comprendere quali domande gli utenti stavano effettivamente ponendo e dove esistevano lacune.
"Abbiamo dovuto raccogliere feedback anche esternamente," afferma Kaudi. Come sta aiutando il Gruppo Banca Mondiale? Che tipo di domande pongono? In modo che possiamo essere più proattivi."
La piattaforma ora supporta tre milioni di download di documenti al mese attraverso un livello di ricerca e sintesi potenziato dall'AI, con metà di quel traffico proveniente da paesi a basso e medio reddito. Il prototipo di feedback utente che copre più regioni globali è stato costruito e distribuito in circa due giorni e mezzo.
"Immagina di farlo con un progetto," dice Kaudi. "Due anni fa avrei immaginato di farlo in due anni. Ma questo è stato fatto rapidamente, al volo, per trarne il vero valore."
Lo scorecard aziendale è stato consegnato sulla piattaforma Databricks. Gli analisti possono ora recuperare dati e contesto preziosi in un'unica query, eliminando la necessità di ricerche manuali nei documenti. Il Gruppo Banca Mondiale sta lavorando per unire tutto ciò nei suoi progetti di punta Knowledge 360 e Data 360. L'obiettivo è riunire Gruppo Banca Mondiale, IFC, IDA e MIGA attraverso iniziative di punta in modo che la conoscenza sia accessibile a qualsiasi stakeholder indipendentemente dall'istituzione che l'ha generata.
La posta in gioco a lungo termine va oltre l'efficienza operativa.
Scopri come Databricks aiuta le organizzazioni a unificare i dati, governare l'AI e trasformare la conoscenza in azione su scala globale.
(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale
Iscriviti al nostro blog e ricevi gli ultimi articoli direttamente nella tua casella di posta.