Reranking in Mosaic AI Vector Search per un recupero più rapido e intelligente negli agenti RAG

Per molte organizzazioni, la sfida più grande con gli agenti AI basati su dati non strutturati non è il modello, ma il contesto. Se l'agente non riesce a recuperare le informazioni giuste, anche il modello più avanzato mancherà dettagli chiave e fornirà risposte incomplete o errate.

Stiamo introducendo il reranking in Mosaic AI Vector Search, ora in Public Preview. Con un singolo parametro, puoi aumentare l'accuratezza del recupero in media di 15 punti percentuali sui nostri benchmark aziendali. Ciò significa risposte di qualità superiore, un ragionamento migliore e prestazioni dell'agente più coerenti, senza infrastrutture aggiuntive o configurazioni complesse.

Cos'è il Reranking?

Il reranking è una tecnica che migliora la qualità dell'agente garantendo che l'agente ottenga i dati più pertinenti per svolgere il suo compito. Mentre i database vettoriali eccellono nel trovare rapidamente documenti pertinenti tra milioni di candidati, il reranking applica una comprensione contestuale più approfondita per garantire che i risultati semanticamente più pertinenti appaiano in cima. Questo approccio a due stadi, recupero rapido seguito da riordino intelligente, è diventato essenziale per i sistemi di agenti RAG in cui la qualità è importante.

Perché abbiamo aggiunto il Reranking

Potresti star costruendo agenti di chat interni per rispondere a domande sui tuoi documenti. Oppure potresti star costruendo agenti che generano report per i tuoi clienti. In entrambi i casi, se vuoi costruire agenti che possano utilizzare accuratamente i tuoi dati non strutturati, la qualità è legata al recupero. Il reranking è il modo in cui i clienti di Vector Search aumentano la qualità del loro recupero e, di conseguenza, la qualità dei loro agenti RAG.

Dal feedback dei clienti, abbiamo riscontrato due problemi comuni:

• Gli agenti possono perdere il contesto critico sepolto in grandi set di documenti non strutturati. Il passaggio "giusto" raramente si trova in cima ai risultati recuperati da un database vettoriale.
• I sistemi di reranking fatti in casa aumentano significativamente la qualità dell'agente, ma richiedono settimane per essere costruiti e poi necessitano di una manutenzione significativa.

Rendendo il reranking una funzionalità nativa di Vector Search, puoi utilizzare i tuoi dati aziendali governati per far emergere le informazioni più pertinenti senza ingegneria aggiuntiva.

La funzionalità di reranker ha contribuito a elevare il nostro chatbot Lexi da funzionare come uno studente delle scuole superiori a comportarsi come un laureato in legge. Abbiamo visto guadagni trasformativi nel modo in cui i nostri sistemi comprendono, ragionano e generano contenuti da documenti legali, sbloccando insight che in precedenza erano sepolti nei dati non strutturati. — David Brady, Senior Director, G3 Enterprises

Un Miglioramento Sostanziale della Qualità Rispetto ai Baselines

Il nostro team di ricerca ha ottenuto una svolta costruendo un nuovo sistema AI composto per carichi di lavoro di agenti. Sui nostri benchmark aziendali, il sistema recupera la risposta corretta entro i suoi primi 10 risultati l'89% delle volte (recall@10), un miglioramento di 15 punti rispetto al nostro baseline (74%) e 10 punti in più rispetto alle alternative cloud leader (79%). Fondamentalmente, il nostro reranker offre questa qualità con latenze fino a 1,5 secondi, mentre i sistemi contemporanei spesso impiegano diversi secondi, o addirittura minuti, per restituire risposte di alta qualità.

Recupero Facile e di Alta Qualità

Abilita il reranking di livello enterprise in pochi minuti, non in settimane. I team solitamente impiegano settimane per ricercare modelli, distribuire infrastrutture e scrivere logica personalizzata. Al contrario, abilitare il reranking per Vector Search richiede solo un parametro aggiuntivo nella tua query Vector Search per ottenere istantaneamente un recupero di qualità superiore per i tuoi agenti. Nessun endpoint di model serving da gestire, nessun wrapper personalizzato da mantenere, nessuna configurazione complessa da ottimizzare.

Specificando più colonne in columns_to_rerank, porti la qualità del reranker al livello successivo dandogli accesso a metadati oltre al testo principale. In questo esempio, il reranker utilizza riassunti dei contratti e informazioni di categoria per comprendere meglio il contesto e migliorare la pertinenza dei risultati di ricerca.

Ottimizzato per le Prestazioni dell'Agente

Velocità incontra qualità per applicazioni AI in tempo reale e agenti. Il nostro team di ricerca ha ottimizzato questo sistema AI composto per riordinare 50 risultati in soli 1,5 secondi. Ciò lo rende altamente efficace per i sistemi di agenti che richiedono sia accuratezza che reattività. Questa performance rivoluzionaria consente strategie di recupero sofisticate senza compromettere l'esperienza utente.

Quando usare il Reranking?

Consigliamo di testare il reranking per qualsiasi caso d'uso di agenti RAG. Tipicamente, i clienti vedranno enormi guadagni di qualità quando i loro sistemi attuali trovano la risposta giusta da qualche parte nei primi 50 risultati del recupero, ma faticano a mostrarla nei primi 10. In termini tecnici, ciò significa clienti con basso recall@10 ma alto recall@50.

Esperienza Sviluppatore Migliorata

Oltre alle funzionalità di reranking principali, stiamo rendendo più facile che mai costruire e distribuire sistemi di recupero di alta qualità.

Integrazione LangChain: Reranker funziona perfettamente con VectorSearchRetrieverTool, la nostra integrazione ufficiale LangChain per Vector Search. I team che costruiscono agenti RAG con VectorSearchRetrieverTool possono beneficiare di un recupero di qualità superiore, senza modifiche al codice.

Metriche di Performance Trasparenti: La latenza del reranker è ora inclusa nelle informazioni di debug della query, fornendoti un'analisi completa end-to-end delle prestazioni della tua query.

suddivisione della latenza di risposta in millisecondi

Selezione Flessibile delle Colonne: Esegui il reranking in base a qualsiasi combinazione di colonne di testo e metadati, consentendoti di sfruttare tutto il contesto del dominio disponibile, dai riassunti dei documenti alle categorie ai metadati personalizzati, per un'elevata pertinenza.

Inizia a Costruire Oggi

Il reranker in Vector Search trasforma il modo in cui costruisci applicazioni AI. Con zero overhead infrastrutturale e integrazione senza interruzioni, puoi finalmente fornire la qualità di recupero che i tuoi utenti meritano.

Pronto per iniziare?

• Prova Reranking in Vector Search oggi stesso: aggiungi semplicemente un parametro alle tue query Vector Search esistenti

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale