Equiniti: Da zero all'AI

Introduzione

Equiniti (EQ), leader globale nei servizi per azionisti, pensionistici e di remediation, ha sfruttato Databricks per rivoluzionare il suo approccio basato sui dati e migliorare l'esperienza dei clienti in 136 paesi. Con oltre 6.000 aziende servite, EQ ha riconosciuto la necessità di adattarsi ad ambienti sempre più complessi e regolamentati, sfruttando la potenza dell'advanced analytics e dell'IA generativa.

Dato che l'accesso tempestivo alle informazioni è fondamentale per il successo dei clienti di Equiniti, l'azienda voleva rendere i dati (e gli insight basati sui dati) la base del proprio approccio operativo e strategico. Equiniti mirava a implementare pratiche aziendali più informate, efficienti ed efficaci e a sfruttare i nuovi sviluppi nell'advanced analytics e nella GenAI per migliorare l'esperienza dei clienti e guidare l'innovazione interna.

Per raggiungere questi obiettivi, Equiniti doveva creare una piattaforma dati a prova di futuro, sicura e performante, in grado di supportare qualsiasi applicazione di dati e IA esistente o nuova. Questo blog descrive come e perché hanno scelto la Databricks Data Intelligence Platform per supportare la loro infrastruttura e approfondisce i casi d'uso avanzati che hanno già esplorato sfruttando la piattaforma Databricks e i relativi strumenti, come lo sviluppo di PensionGuru, il loro chatbot basato su GenAI.

Fase 1: Identificare il valore e costruire solide fondamenta di dati

Invece di partire dalla domanda "Per cosa possiamo usare l'IA?", Equiniti si è chiesta: "Come possiamo offrire un nuovo valore ai nostri clienti, utilizzando dati affidabili e di alta qualità e strumenti e tecniche moderni?"

Sono emersi alcuni temi comuni: ottenere l'accesso a dati affidabili su scala, avere l'agilità di sperimentare e muoversi rapidamente e in modo conveniente, accelerare l'abilitazione degli esperti in materia (SME) e delle risorse esistenti, ed essere in grado di modernizzare rapidamente le proprie offerte per soddisfare le esigenze dei clienti.

Da quel lavoro iniziale, Equiniti ha identificato i requisiti chiave per una futura piattaforma cloud di dati e IA che consentisse loro di sbloccare al meglio il valore dei propri dati:

● Governance integrata dei dati e dell'IA: Senza governance e controllo, non può esserci valore. Equiniti aveva bisogno di solide funzionalità di sicurezza, controlli degli accessi, lineage automatico e auditing che aiutassero a mantenere la conformità ai requisiti normativi tracciando il flusso e la trasformazione dei dati all'interno della piattaforma e a creare fiducia con gli stakeholder e i clienti interni ed esterni.

● Una piattaforma unificata e aperta: Un altro requisito era un'architettura semplice in grado di supportare il data engineering, la data science, l'advanced analytics e la GenAI. Equiniti voleva eliminare i silos e le duplicazioni non necessarie dei dati ed evitare di essere vincolata a una soluzione proprietaria. Voleva una piattaforma costruita su standard e protocolli aperti. Inoltre, era necessario il supporto per sorgenti di dati sia batch che in streaming in qualsiasi formato per i carichi di lavoro di GenAI. Con la natura distribuita dei loro dati e sistemi, una singola piattaforma che potesse diventare una fonte analitica di verità sarebbe stata un enorme passo avanti.

● Ottimizzazione dei costi: Infine, Equiniti aveva bisogno di risorse di calcolo scalabili e ottimizzate che migliorassero l'elaborazione dei dati e riducessero il TCO con un vero modello basato sul consumo. La possibilità di iniziare con un investimento iniziale ridotto per poi scalare in base alle esigenze era essenziale.

Con questi requisiti in mente, Equiniti ha scelto la Databricks Data Intelligence Platform come spina dorsale della sua moderna piattaforma cloud di dati e IA.

Fase 2: Muoversi rapidamente e sfruttare set di strumenti integrati

Tradizionalmente, la valutazione dei singoli componenti e dei diversi servizi che compongono una piattaforma dati richiede il contributo di molti team differenti, comportando la gestione di risorse e priorità contrastanti per la sua implementazione. Tuttavia, Equiniti è stata in grado di distribuire rapidamente e facilmente la piattaforma Databricks ed esplorare tutte le sue funzionalità integrate. La possibilità di sperimentare e scalare rapidamente ma in modo conveniente ha permesso a Equiniti di prendere decisioni con sicurezza nella prototipazione di connettività, elaborazione dei dati e funzionalità analitiche senza investimenti iniziali significativi in termini di tempo o costi. Una volta stabiliti i casi d'uso principali per la loro implementazione iniziale dell'IA, hanno collaborato con il team di Databricks per creare un'architettura iniziale, come mostrato nella Figura 1 di seguito. Attraverso una serie di workshop, i solution architect di Databricks hanno mostrato come utilizzare al meglio le funzionalità integrate della piattaforma; Equiniti ha inoltre utilizzato risorse di apprendimento complete e autonome per migliorare le proprie competenze.

Una delle funzionalità più preziose della piattaforma Databricks è Unity Catalog, una soluzione di governance unificata e aperta per dati e IA. La capacità di tracciare il lineage acquisito automaticamente dei dati inseriti e il modo in cui sono stati trasformati e utilizzati nel modello è stata fondamentale per ottenere fiducia, comprensione e approvazione da parte dei team InfoSec e Risk di Equiniti. Equiniti è stata in grado di dimostrare quali dati venivano utilizzati e dove, senza costi aggiuntivi, sovraccarichi di implementazione e tempi di gestione di un catalogo dati separato. Inoltre, Delta Sharing e Databricks Marketplace sono stati rivoluzionari, poiché hanno permesso a Equiniti di condividere esternamente i dati con i partner per la prima volta in assoluto. La possibilità di visualizzare dati provenienti da più fonti precedentemente inaccessibili o isolate e di utilizzare dati di fornitori esterni senza dover memorizzare e gestire dataset su scala petabyte ha consentito a Equiniti di sviluppare rapidamente e facilmente insight che prima erano fuori portata. La capacità dei team aziendali di scoprire e utilizzare facilmente gli stessi strumenti e asset di dati da una fonte centrale e affidabile continuerà a promuovere la qualità e il valore della loro piattaforma dati.

Per il piccolo team di ingegneria di Equiniti, una delle funzionalità che ha consentito il maggior risparmio di tempo della piattaforma Databricks è stata Lakeflow Connect. Databricks Lakeflow fornisce connettori integrati per l'inserimento di dati da applicazioni e database aziendali. La possibilità di creare facilmente integrazioni no-code con le nostre piattaforme principali come Workday, Salesforce e SQL Server ha ridotto enormemente il tempo necessario per rendere i dati disponibili in Databricks per l'utilizzo da parte dei modelli. Ha ridotto significativamente i costi di archiviazione e di calcolo e ha fatto risparmiare a Equiniti mesi di lavoro di sviluppo rispetto al metodo tradizionale di creazione di integrazioni API e processi ETL per archiviare e gestire i dati. Il team di Equiniti ha potuto così concentrarsi su aree a forte valore aggiunto, come la creazione di applicazioni di GenAI in grado di offrire valore all'azienda.

Infine, lo sviluppo di queste nuove applicazioni di GenAI richiede un nuovo tipo di "sviluppatore della conoscenza". Si tratta di SME di dominio che comprendono a fondo il business (nel caso di Equiniti, il mercato pensionistico). Questi esperti devono avere un accesso facilitato a strumenti e piattaforme per fornire feedback cruciali e garantire che le applicazioni di GenAI offrano risultati accurati e di alta qualità. La facilità d'uso e l'accessibilità della piattaforma Databricks hanno reso semplice per gli SME collaborare efficacemente con i team di sviluppo e ingegneria nella creazione di applicazioni di GenAI. Sfruttando la loro esperienza e i loro profondi insight aziendali, Equiniti è stata in grado di stabilire la ground truth e ricevere feedback preziosi, che hanno contribuito a perfezionare le risposte e i contenuti generati per l'uso in tutta l'organizzazione.

Fase 3: Mostrare il valore, fornire risultati e continuare a innovare

Uno dei primi casi d'uso di GenAI di Equiniti è stato lo sviluppo del loro chatbot di GenAI, PensionGuru. Dato il ruolo di Equiniti nell'amministrazione di numerosi piani pensionistici, i suoi dipendenti devono spesso consultare e interpretare un volume considerevole di documenti, tra cui polizze, atti fiduciari e linee guida. PensionGuru affronta questa sfida offrendo risposte istantanee e accurate, semplificando l'accesso a informazioni complesse e migliorando la produttività.

L'app aumenta notevolmente l'efficienza aziendale automatizzando l'analisi dei documenti e riducendo al minimo il tempo necessario per estrarre dettagli critici, riducendo così gli oneri amministrativi. Attività che in passato richiedevano molte ore ora vengono completate in pochi minuti. PensionGuru consente ai dipendenti di recuperare informazioni in modo rapido e accurato, migliorando l'erogazione dei servizi e i processi decisionali. Utilizzando l'elaborazione avanzata del linguaggio naturale, l'app comprende ed elabora le query degli utenti in modo intelligente, fornendo informazioni contestualmente rilevanti da vasti dataset. Questa innovazione non solo fa risparmiare tempo, ma migliora anche gli insight basati sui dati, consentendo un approccio più strategico alla gestione dei piani pensionistici.

Per creare PensionGuru, Equiniti ha iniziato prendendo migliaia di documenti pensionistici, originariamente archiviati come file PDF, e caricandoli in un Databricks Volume, come mostrato nella Figura 2 sopra. Successivamente, Equiniti ha gestito in modo efficiente questi file non strutturati tramite Unity Catalog, fin dal momento dell'ingestione. Il passo successivo è stato estrarre il testo dai documenti, suddividerlo in blocchi gestibili e memorizzare i dati in una Delta Table. Utilizzando Databricks AI Search con una configurazione serverless, Equiniti ha creato facilmente un database vettoriale per supportare le funzionalità di ricerca e recupero.

Per alimentare l'applicazione, Equiniti ha sfruttato Databricks Model Serving per stabilire un endpoint LLM basato sul potente ed economico modello open source Meta Llama 3.1 70B. Infine, Equiniti è stata in grado di distribuire il chatbot agli utenti finali in modo sicuro e senza interruzioni con Databricks Apps, una nuova soluzione semplice e serverless per creare app pronte per la produzione con governance integrata sulla Databricks Data Intelligence Platform. La funzionalità integrata Apps ha consentito di risparmiare moltissimo tempo e ha rappresentato una svolta decisiva, poiché ha eliminato la necessità per il team di dati di Equiniti di distribuire, gestire e mantenere l'infrastruttura sottostante a supporto dell'applicazione. Il team ha potuto invece concentrarsi sulla fornitura di valore aziendale anziché dedicare tempo ad attività ripetitive come l'integrazione di servizi a silos e la gestione dell'infrastruttura IT.

I risultati iniziali e i feedback su PensionGuru sono stati estremamente incoraggianti, ed Equiniti continua a perfezionare e migliorare le prestazioni dell'applicazione attraverso la sperimentazione continua e l'addestramento dei modelli. Stanno inoltre esplorando l'integrazione di un framework di agenti AI che consentirebbe loro di personalizzare ed estendere ulteriormente le funzionalità di PensionGuru, rendendolo ancora più reattivo e su misura per le esigenze specifiche dell'amministrazione dei piani pensionistici. Con questo approccio, Equiniti mira a offrire una precisione e un'efficienza ancora maggiori nell'elaborazione e nel recupero delle informazioni pensionistiche critiche.

Conclusione

Scegliendo la Databricks Data Intelligence Platform, Equiniti ha fornito una soluzione modulare, estensibile e in grado di soddisfare tutte le esigenze attuali e future in materia di dati e AI. La capacità di Databricks di unificare ingegneria dei dati, data science, machine learning e GenAI in un'unica soluzione consente a Equiniti di raggiungere elevati livelli di efficienza e scalabilità. Questo approccio globale è incentrato sulla governance dei dati fondamentale con Unity Catalog, che promuove l'accessibilità dei dati in tutta l'organizzazione.

Inoltre, gli strumenti e gli ambienti avanzati della piattaforma Databricks per lo sviluppo e la distribuzione di modelli di AI hanno aperto nuove opportunità, alimentando sia l'innovazione che l'efficienza operativa senza sacrificare l'integrazione, la sicurezza e la governance dei dati.

"Anche se siamo all'inizio del nostro percorso con l'AI generativa, siamo fiduciosi nella nostra capacità di fornire un valore aziendale significativo con la Databricks Data Intelligence Platform."—James West, Strategic Director of Data presso Equiniti

Equiniti è ora in fase di migrazione, consolidamento e integrazione di tutte le sue fonti di dati nell'ambiente Databricks, nonché di formazione e onboarding di nuovi utenti, e ha in programma un gran numero di casi d'uso di analisi avanzata e AI da realizzare nel prossimo futuro.

Questo post del blog è stato scritto in collaborazione da James West (Equiniti) e Tomasz Kurzydym (Databricks).

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale