Reordenamiento en Mosaic AI Vector Search para una Recuperación Más Rápida e Inteligente en Agentes RAG

Para muchas organizaciones, el mayor desafío con los agentes de IA construidos sobre datos no estructurados no es el modelo, sino el contexto. Si el agente no puede recuperar la información correcta, incluso el modelo más avanzado omitirá detalles clave y dará respuestas incompletas o incorrectas.

Presentamos el reordenamiento en Mosaic AI Vector Search, ahora en Vista Previa Pública. Con un solo parámetro, puede aumentar la precisión de la recuperación en un promedio de 15 puntos porcentuales en nuestros benchmarks empresariales. Esto significa respuestas de mayor calidad, mejor razonamiento y un rendimiento más consistente del agente, sin infraestructura adicional ni configuración compleja.

¿Qué es el Reordenamiento?

El reordenamiento es una técnica que mejora la calidad del agente al garantizar que el agente obtenga los datos más relevantes para realizar su tarea. Si bien las bases de datos vectoriales son excelentes para encontrar rápidamente documentos relevantes entre millones de candidatos, el reordenamiento aplica una comprensión contextual más profunda para garantizar que los resultados semánticamente más relevantes aparezcan en la parte superior. Este enfoque de dos etapas, recuperación rápida seguida de reordenamiento inteligente, se ha vuelto esencial para los sistemas de agentes RAG donde la calidad es importante.

¿Por qué añadimos el Reordenamiento?

Es posible que esté creando agentes de chat internos para responder preguntas sobre sus documentos. O podría estar creando agentes que generan informes para sus clientes. De cualquier manera, si desea crear agentes que puedan utilizar con precisión sus datos no estructurados, la calidad está ligada a la recuperación. El reordenamiento es cómo los clientes de Vector Search aumentan la calidad de su recuperación y, por lo tanto, la calidad de sus agentes RAG.

Según los comentarios de los clientes, hemos visto dos problemas comunes:

• Los agentes pueden pasar por alto el contexto crítico enterrado en grandes conjuntos de documentos no estructurados. El pasaje "correcto" rara vez se encuentra en la parte superior de los resultados recuperados de una base de datos vectorial.
• Los sistemas de reordenamiento caseros aumentan significativamente la calidad del agente, pero tardan semanas en construirse y luego requieren un mantenimiento considerable.

Al hacer del reordenamiento una característica nativa de Vector Search, puede utilizar sus datos empresariales gobernados para mostrar la información más relevante sin ingeniería adicional.

La función de reordenamiento ayudó a elevar nuestro chatbot Lexi de funcionar como un estudiante de secundaria a desempeñarse como un graduado de derecho. Hemos visto mejoras transformadoras en cómo nuestros sistemas entienden, razonan y generan contenido a partir de documentos legales, desbloqueando información que antes estaba oculta en datos no estructurados. — David Brady, Director Senior, G3 Enterprises

Una Mejora Sustancial de Calidad Sobre las Líneas de Base

Nuestro equipo de investigación logró un avance al construir un sistema de IA compuesto novedoso para cargas de trabajo de agentes. En nuestros benchmarks empresariales, el sistema recupera la respuesta correcta dentro de sus 10 mejores resultados el 89% de las veces (recall@10), una mejora de 15 puntos sobre nuestra línea de base (74%) y 10 puntos más que las alternativas líderes en la nube (79%). Crucialmente, nuestro reordenamiento ofrece esta calidad con latencias tan bajas como 1.5 segundos, mientras que los sistemas contemporáneos a menudo tardan varios segundos, o incluso minutos, en devolver respuestas de alta calidad.

Recuperación Fácil y de Alta Calidad

Habilite el reordenamiento de nivel empresarial en minutos, no en semanas. Los equipos suelen pasar semanas investigando modelos, implementando infraestructura y escribiendo lógica personalizada. En contraste, habilitar el reordenamiento para Vector Search requiere solo un parámetro adicional en su consulta de Vector Search para obtener instantáneamente una recuperación de mayor calidad para sus agentes. Sin puntos finales de servicio de modelos que administrar, sin wrappers personalizados que mantener, sin configuraciones complejas que ajustar.

Al especificar varias columnas en columns_to_rerank, lleva la calidad del reordenador al siguiente nivel al darle acceso a metadatos más allá del texto principal. En este ejemplo, el reordenador utiliza resúmenes de contratos e información de categoría para comprender mejor el contexto y mejorar la relevancia de los resultados de búsqueda.

Optimizado para el Rendimiento del Agente

La velocidad se une a la calidad para aplicaciones de IA en tiempo real y agentivas. Nuestro equipo de investigación optimizó este sistema de IA compuesto para reordenar 50 resultados en tan solo 1.5 segundos. Esto lo hace altamente efectivo para sistemas de agentes que exigen precisión y capacidad de respuesta. Este rendimiento de vanguardia permite estrategias de recuperación sofisticadas sin comprometer la experiencia del usuario.

¿Cuándo usar el Reordenamiento?

Recomendamos probar el reordenamiento para cualquier caso de uso de agente RAG. Típicamente, los clientes verán enormes mejoras de calidad cuando sus sistemas actuales encuentren la respuesta correcta en algún lugar dentro de los 50 mejores resultados de la recuperación, pero tengan dificultades para mostrarla dentro de los 10 mejores. En términos técnicos, esto significa clientes con bajo recall@10 pero alto recall@50.

Experiencia de Desarrollador Mejorada

Más allá de las capacidades centrales de reordenamiento, estamos facilitando más que nunca la creación e implementación de sistemas de recuperación de alta calidad.

Integración con LangChain: El reordenador funciona sin problemas con VectorSearchRetrieverTool, nuestra integración oficial de LangChain para Vector Search. Los equipos que crean agentes RAG con VectorSearchRetrieverTool pueden beneficiarse de una recuperación de mayor calidad, sin necesidad de cambios en el código.

Métricas de Rendimiento Transparentes: La latencia del reordenador ahora se incluye en la información de depuración de consultas, lo que le brinda un desglose completo de extremo a extremo del rendimiento de su consulta.

desglose de la latencia de respuesta en milisegundos

Selección Flexible de Columnas: Reordene según cualquier combinación de columnas de texto y metadatos, lo que le permite aprovechar todo el contexto del dominio disponible, desde resúmenes de documentos hasta categorías y metadatos personalizados, para una alta relevancia.

Comience a Crear Hoy

El reordenamiento en Vector Search transforma la forma en que crea aplicaciones de IA. Con cero sobrecarga de infraestructura e integración perfecta, finalmente puede ofrecer la calidad de recuperación que sus usuarios merecen.

¿Listo para empezar?

• Pruebe el Reordenamiento en Vector Search hoy mismo — solo agregue un parámetro a sus consultas existentes de Vector Search

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original