Jefferies modernizza la ricerca azionaria su larga scala con Databricks e le analitiche agentive

La ricerca azionaria è un gioco di ampiezza e convinzione.

In Jefferies, l'organizzazione di ricerca azionaria globale copre circa 3.500 aziende in vari settori e aree geografiche, con analisti basati negli Stati Uniti, in EMEA e nell'area APAC. Questa Scale è un vantaggio competitivo, ma crea anche una sfida comune per qualsiasi organizzazione di ricerca che lavora con un universo in espansione di set di dati di terze parti e interni.

"I nostri analisti devono sintetizzare i segnali provenienti da un enorme universo di aziende, settori industriali e sorgenti di dati", ha affermato Ethan Geismar, Head of Data & AI, Equity Research di Jefferies. "Il nostro obiettivo è aiutarli a trasformare tale complessità in una consulenza di investimento differenziata e attuabile per i nostri clienti."

Le domande che gli analisti pongono sono raramente specifiche o prescrittive. Sono domande aperte, specifiche del settore e formulate nel linguaggio dei mercati e dei fondamentali, non in termini di quale set di dati eseguire una query su o quale tabella unire. Ad esempio, gli analisti pongono domande come: "Quali sono la domanda e le prospettive per i ristoranti fast-casual?" o "Qual è l'andamento del traffico pedonale e dei download di app per i brand di cui mi occupo?" 

In un settore in cui le decisioni di investimento si basano sulla fiducia, un singolo segnale è raramente sufficiente. Gli analisti hanno bisogno di conferme da più fonti indipendenti per consolidare le proprie convinzioni.

Negli ultimi anni, il team di ingegneria per la ricerca azionaria di Jefferies ha collaborato a stretto contatto con Databricks per acquisire, pulire e standardizzare decine di set di dati strutturati, molti dei quali originariamente erano dati alternativi ma che ora comprendono indicatori finanziari, di mercato e macroeconomici. Con la maturazione delle funzionalità di IA generativa, il team ha deciso di rispondere a una nuova domanda:

In che modo Jefferies avrebbe potuto offrire agli analisti un modo più rapido e semplice per esplorare questi dati, che mantenesse la governance, si integrasse direttamente con l'infrastruttura dati esistente e traducesse le domande in linguaggio naturale in analisi multi-fonte attendibili?

Per risolvere questo problema, Jefferies ha creato Jefferies Data Intelligence (JDI), un'esperienza di analitiche conversazionali basata su Databricks AI/BI Genie, che consente agli analisti di porre domande di ricerca aperte direttamente su set di dati gestiti e multi-sorgente.

I limiti del self-service tradizionale e del supporto di alto livello

Storicamente, Jefferies ha supportato nuove e ad hoc richieste degli analisti in due modi principali.

Innanzitutto, attraverso i tradizionali strumenti self-service di esplorazione dei dati, che offrivano agli analisti un accesso diretto ai set di dati, ma che richiedevano loro di comprendere il panorama dei dati sottostante e gli strumenti per estrarre informazioni dettagliate.

In secondo luogo, attraverso un modello di servizio interno di alto livello, il team di ingegneria della ricerca traduceva le domande degli analisti in estrazioni di dati e forniva risultati sintetizzati.

“Anche dopo aver pulito e mappato i dati, c'è ancora un ostacolo: qualcuno deve tradurre le domande fondamentali degli analisti nei set di dati e nelle viste giuste”, ha spiegato Geismar. “Gli analisti non formulano domande in termini di tabelle e join, ma pongono domande su fondamentali, macroeconomia, tendenze del settore, posizionamento comparativo, catalizzatori, rischi, eccetera.”

Per quanto potente, questo approccio ha introdotto un vincolo diverso: la capacità del team.

"Lavoriamo in sprint mensili e il margine di manovra per le richieste dell'ultimo minuto è limitato", ha affermato Geismar. "Anche quando qualcosa non era tecnicamente difficile da affrontare, in alcune situazioni potevano volerci giorni o settimane prima che potessimo occuparcene, solo a causa di limiti di capacità."

Le domande più complesse, specialmente quelle che richiedevano una triangolazione tra più set di dati, potevano richiedere ore o giorni di lavoro mirato una volta assegnata la priorità.

Le domande di ricerca complesse erano spesso le più impegnative. Un analista che si interroga sulle tendenze della domanda dei consumatori nel settore della ristorazione veloce informale potrebbe aver bisogno di dati sul traffico pedonale, metriche di engagement delle app mobili, intenzione di acquisto basata su sondaggi e contesto macroeconomico, ognuno dei quali richiede estrazioni di dati, join e analisi separate.

Entrambi i modelli funzionavano, ma entrambi creavano attrito. Ciò di cui Jefferies aveva bisogno era un modo per combinare l'indipendenza del self-service con la competenza integrata del team di ingegneria della ricerca, senza creare nuove strozzature.

Un Research Agent che si adatta alle esigenze degli analisti

Per rendere operativo tutto questo su larga scala, Jefferies ha creato un assistente interno per la ricerca azionaria con un'interfaccia personalizzata rivolta agli analisti, basato su AI/BI Genie come motore di orchestrazione e ragionamento che opera sul data lake strutturato dell'azienda.

L'esperienza che ne risulta consente agli analisti di porre le stesse domande che farebbero a un esperto del settore e di ricevere risposte basate su più set di dati pertinenti. È importante sottolineare che il sistema comprende il linguaggio che gli analisti utilizzano già per inquadrare le loro ricerche.

Ad esempio, quando un analista pone una domanda sui ristoranti fast-casual, AI/BI Genie interpreta questa terminologia di settore utilizzando mappature semantiche specifiche del dominio e un contesto di business curato, la mappa sull'universo di copertura appropriato e recupera i dati pertinenti, senza che l'analista debba specificare brand, tabelle o join.

Le stesse mappature di copertura, allineate con il modo in cui gli analisti segmentano naturalmente i loro settori e con le tassonomie del settore, consentono viste aggregate come le visite totali ai ristoranti tra i brand costituenti. Poiché questa logica è integrata direttamente in Genie, gli analisti possono interrogare la loro copertura utilizzando un linguaggio e raggruppamenti familiari.

A partire da lì, gli analisti possono iterare in modo naturale, richiedendo analisi dettagliate a livello di brand ("suddividilo per singoli brand"), aggregazioni per società controllante o contesto aggiuntivo, stimolando un'analisi più approfondita senza dover pre-specificare tali dimensioni.

Dove le domande aperte rivelano approfondimenti nascosti

Quando gli analisti interagiscono con prompt aperti, il sistema aiuta a identificare quali segnali possono essere più pertinenti alla domanda in questione, scoprendo spesso approfondimenti e set di dati che gli analisti potrebbero non aver considerato in precedenza.

Una semplice query come "Mostrami le visite ai ristoranti fast-casual" recupera i dati sul traffico pedonale associati e presenta un'analisi delle tendenze.

Ma prompt più ampi come "Mostrami la domanda e le prospettive per la ristorazione veloce informale" espandono l'ambito dell'analisi raccogliendo dati su traffico pedonale, utilizzo delle app mobili, intenzione di acquisto basata su sondaggi, indicatori macroeconomici e altri segnali.

"Offre agli analisti un accesso diretto ai nostri dati senza bisogno di conoscenze tecniche o supporto", ha affermato Geismar. "Ma il valore più grande è che li espone a dati di cui non conoscevano l'esistenza o che non avrebbero pensato di usare per la domanda che stanno ponendo."

Questa risposta multi-fonte fa emergere prospettive di analisi che gli analisti potrebbero non aver richiesto esplicitamente, consentendo la verifica tra fonti indipendenti.

Questa conferma, dice Geismar, è la proposta di valore fondamentale. "La potenza sta nell'unire più set di dati indipendenti per corroborare una tesi", ha aggiunto. "Non c'è ridondanza, si tratta di aumentare la convinzione. È questo il bello del gioco.

Al contrario, quando i risultati contraddicono le ipotesi, stimolano nuove linee di ricerca e aiutano a perfezionare le tesi di investimento.

Come funziona: un flusso di lavoro agentivo basato su Databricks

L'esperienza dell'analista sembra colloquiale, ma l'infrastruttura sottostante è sofisticata. Dietro le quinte, l'applicazione si basa su un'architettura multi-agente basata su LangGraph, resa operativa tramite il Model Serving di Databricks.

Quando un analista invia una domanda, il sistema segue un flusso di lavoro strutturato:

1. Convalida degli strumenti garantisce la disponibilità dei Data Services e delle APIs richiesti, controllando sia le risorse interne di Databricks sia i servizi di terze parti come Federal Reserve Economic Data (FRED), Bureau of Labor Statistics (BLS) e altri.
2. Un agente di pianificazione scompone la domanda in una serie di attività di ricerca, creando un piano su cosa ricercare e su come utilizzare gli strumenti disponibili per fornire una risposta completa.
3. Gli agenti di esecuzione recuperano i dati in parallelo dove possibile, estraendoli da set di dati governati tramite Genie e interrogando le API di terze parti secondo necessità. Questi agenti seguono l'ordine del piano di ricerca, eseguendo le operazioni in sequenza quando esistono dipendenze e in parallelo quando possono.
4. Un agente di sintesi assembla i risultati in una risposta coerente, includendo spesso grafici e analisi che combinano i risultati provenienti da più fonti.

Un aspetto fondamentale è che il sistema può recuperare e confermare i segnali attraverso più set di dati in risposta a una singola domanda, consentendo una conferma incrociata tra set di dati anziché basarsi su una sola tabella o su un'unica vista di join. Questa architettura consente agli analisti di iterare con domande di approfondimento naturali, come analisi dettagliate a livello di ticker o di brand, per convalidare i segnali e approfondire i dettagli.

In questo flusso di lavoro, Genie svolge un ruolo chiave consentendo di porre domande in linguaggio naturale su dati aziendali curati e governati, mentre il Model Serving di Databricks fornisce il livello di deployment e di serving per l'applicazione JDI.

Il sistema è agnostico rispetto al modello e sfrutta una serie di modelli di base per attività ad alta intensità di ragionamento come la pianificazione e la sintesi, pur mantenendo la flessibilità di incorporare modelli più leggeri o specifici per le attività per passaggi più semplici (come la convalida degli strumenti) man mano che l'architettura si evolve.

Per il team che sta sviluppando JDI, questa architettura segnala un cambiamento più ampio nel modo in cui verrà condotta l'equity research.

"Sviluppare Jefferies Data Intelligence con Databricks ci ha davvero dato un'idea di come sarà il futuro della ricerca", ha spiegato Dylan Andrews, Senior Associate Data Scientist del team di Equity Research. "Conoscere la sintassi per interagire con i dati sarà sempre meno importante, e ci si concentrerà maggiormente sulla verifica o la confutazione di ipotesi basate su un mosaico di dati provenienti da vari settori, il tutto in pochi minuti."

Governance per impostazione predefinita con Unity Catalog

Uno dei requisiti più critici per Jefferies era garantire che la governance non fosse un aspetto secondario.

Poiché i set di dati sono registrati e accessibili tramite Databricks Unity Catalog, i controlli di accesso vengono applicati automaticamente in base all'identità dell'utente. Genie rispetta le stesse autorizzazioni a livello di tabella e di riga o colonna già definite in Unity Catalog, eliminando la necessità di creare e mantenere una logica di autorizzazione personalizzata per l'esperienza basata sull'IA.

Questo ha permesso di estendere con sicurezza potenti capacità di analisi a utenti non tecnici senza compromettere la sicurezza dei dati o la conformità. Man mano che il sistema si espande per includere set di dati più sensibili e un accesso utente più ampio in tutte le aree geografiche, questi controlli di governance integrati garantiscono che le persone giuste vedano automaticamente i dati giusti.

Costruito sull'infrastruttura dati esistente

L'agente di equity research non è stato sviluppato come un prototipo di AI autonomo. È stato progettato per essere implementato direttamente sulla base di dati che Jefferies aveva già costruito su Databricks in oltre sette anni di collaborazione.

Oggi, il sistema attinge da più fonti in un'architettura ibrida che combina set di dati Databricks governati con chiamate API di runtime:

Genie Spaces (set di dati curati):

• Dati fondamentali: Metriche finanziarie e operative comunicate dalle aziende durante i cicli di pubblicazione degli utili trimestrali, inclusi i KPI specifici dell'azienda
• Set di dati alternativi: Traffico web, traffico pedonale, coinvolgimento sui social media e altro ancora, pre-collegati e pronti per l'analisi incrociata

Connessioni API Runtime:

• Dati macroeconomici: Indicatori da FRED e BLS.
• Altri servizi e API di terze parti: Fonti di dati aggiuntive di terze parti che non sono preparate in anticipo e che è preferibile acquisire tramite API o MCP in fase di esecuzione.

L'agente unisce senza soluzione di continuità i dati provenienti dalle chiamate API con i set di dati governati recuperati tramite Genie, fornendo risposte complete che coprono sia i dati esterni in tempo reale sia le fonti interne accuratamente curate.

Poiché l'assistente sfrutta le stesse pipeline di acquisizione, gli stessi processi di orchestrazione e lo stesso modello di governance già esistenti, Jefferies è stata in grado di stratificare le capacità agentive sulla propria infrastruttura esistente invece di introdurre un sistema parallelo. I Job orchestrati in esecuzione su Databricks, che gestiscono l'acquisizione, la pulizia e la standardizzazione attraverso le pipeline di Databricks esistenti, continuano a fungere da base, ora accessibile tramite linguaggio naturale.

Tamar Kellner, Senior Associate Data Scientist del team di Equity Research, ha sottolineato come le funzionalità native di Databricks abbiano accelerato lo sviluppo:

"Databricks Genie e Model Serving hanno gestito l'accesso ai dati, l'implementazione e la governance in modo nativo, consentendo al nostro team di concentrarsi sugli elementi differenzianti principali di JDI: progettazione di sistemi agentivi, flussi di lavoro incentrati sull'analista e rapida corroborazione dei segnali tra set di dati diversi."

Costruire la fiducia attraverso la trasparenza

L'adozione ha richiesto più della semplice velocità. Gli analisti dovevano potersi fidare dei risultati, specialmente in un flusso di lavoro senza intermediari umani.

Una delle sfide cruciali che il team ha risolto è stata: Come possiamo mettere a proprio agio gli utenti non tecnici e dare loro fiducia negli output generati dall'IA? A differenza degli strumenti basati su dati non strutturati, il team non poteva semplicemente rimandare ai documenti di origine ed evidenziare da dove erano state estratte le informazioni. Né potevano aspettarsi che gli analisti convalidassero le query SQL per verificarne la correttezza.

La soluzione è stata integrare la possibilità di verifica direttamente in ogni risposta. Ogni risposta fornita da JDI include un menu a discesa espandibile che mostra una vista "chain-of-thought" (catena di pensieri) che illustra come il sistema ha tradotto la richiesta dell'analista in chiamate di estrazione dei dati. Questa trasparenza aiuta gli utenti non tecnici a comprendere e verificare il processo di ragionamento, aumentando la fiducia nei risultati senza che debbano ispezionare direttamente il codice SQL o le tabelle di origine.

Questa spiegabilità, unita alla capacità del sistema di far emergere più set di dati a supporto, fornisce agli analisti le prove di cui hanno bisogno per consolidare la fiducia nelle proprie raccomandazioni di investimento.

Impatto iniziale e prossimi passi

L'assistente è attualmente distribuito a più di 250 utenti negli Stati Uniti, con piani di espansione in EMEA e APAC, portando l'accesso totale a circa 550 analisti a livello globale.

Sebbene lo strumento sia attivo solo da poche settimane, l'adozione è stata ampia. Sono già state fornite risposte a centinaia di domande, generando migliaia di approfondimenti e grafici.

Il lavoro che prima richiedeva giorni o settimane a causa di limiti di risorse o della complessità, ora viene consegnato in pochi minuti.

Per utenti come Kaumil Gajrawala, Managing Director della ricerca sui consumatori presso Jefferies, quell'accelerazione sta già cambiando il modo in cui viene svolta la ricerca.

"JDI ha accelerato enormemente il nostro flusso di lavoro", ha affermato Gajrawala. "Stiamo facendo di più, più velocemente. "Abbiamo solo scalfito la superficie, stiamo passando dal fare il nostro lavoro più velocemente alla scoperta di ciò che ora possiamo fare che prima non era possibile."

L'attuale sistema attinge da circa 10-12 sorgenti di dati principali, molte delle quali contengono più set di dati, con un chiaro percorso di espansione a oltre 30-40 sorgenti nel tempo.

"Stiamo iniziando con le fonti più comuni, ma abbiamo la possibilità di aggiungerne da due a tre volte tante", ha detto Geismar. "L'idea è che questo diventi l'unico punto di accesso ai dati strutturati del nostro dipartimento e uno strumento quotidiano per la maggior parte degli analisti."

Con l'espansione della piattaforma, Jefferies continua a concentrarsi sul mantenimento di prestazioni, usabilità e interpretabilità, aumentando al contempo l'ampiezza dei dati di ricerca accessibili.

Un nuovo punto di accesso per l'Equity Research

Sfruttando le capacità di data engineering, governance e IA di Databricks, Jefferies sta evolvendo il modo in cui gli analisti interagiscono con i dati strutturati, combinando l'autonomia del self-service con l'esperienza integrata del team di research engineering.

Il risultato non consiste solo in risposte più rapide, ma in un sistema che aiuta gli analisti a sviluppare tesi di investimento più solide e difendibili, basate su prove corroborate e fornite alla velocità richiesta dalla ricerca.

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale