Ir para o conteúdo principal

Reclassificação na Pesquisa Vetorial Mosaic AI para Recuperação Mais Rápida e Inteligente em Agentes RAG

Entregue respostas mais relevantes em menos tempo com uma única linha de código

Reranking in Vector Search

Summary

  • Mudança de código de uma linha para um aumento instantâneo na qualidade do agente: Adicione um único parâmetro às suas consultas de Pesquisa Vetorial para aumentar a qualidade do agente em uma média de 15 pontos percentuais em nossos benchmarks empresariais.
  • Integração perfeita com seus agentes: Suporte nativo para LangChain e outros frameworks, reclassificação de várias colunas para um contexto mais rico e métricas de desempenho integradas.
  • Desempenho consistente em escala: A arquitetura de reclassificação paralelizada inovadora alcança latência tão baixa quanto 1,5 segundos em 50 documentos, enquanto oferece relevância extremamente alta, superando as alternativas de nuvem líderes.

Para muitas organizações, o maior desafio com agentes de IA construídos sobre dados não estruturados não é o modelo, mas sim o contexto. Se o agente não conseguir recuperar as informações corretas, até mesmo o modelo mais avançado perderá detalhes importantes e fornecerá respostas incompletas ou incorretas.

Estamos introduzindo a reclassificação na Mosaic AI Vector Search, agora em Visualização Pública. Com um único parâmetro, você pode aumentar a precisão da recuperação em uma média de 15 pontos percentuais em nossos benchmarks empresariais. Isso significa respostas de maior qualidade, melhor raciocínio e desempenho do agente mais consistente - sem infraestrutura extra ou configuração complexa.

O que é Reclassificação?

A reclassificação é uma técnica que melhora a qualidade do agente garantindo que o agente obtenha os dados mais relevantes para realizar sua tarefa. Enquanto os bancos de dados vetoriais se destacam em encontrar rapidamente documentos relevantes entre milhões de candidatos, a reclassificação aplica uma compreensão contextual mais profunda para garantir que os resultados mais semanticamente relevantes apareçam no topo. Esta abordagem de duas etapas - recuperação rápida seguida por reordenação inteligente - tornou-se essencial para sistemas de agentes RAG onde a qualidade importa.

Por que adicionamos a Reordenação

Você pode estar construindo agentes de chat voltados para o interior para responder perguntas sobre seus documentos. Ou você pode estar construindo agentes que geram relatórios para seus clientes. De qualquer forma, se você quer construir agentes que possam usar com precisão seus dados não estruturados, então a qualidade está ligada à recuperação. A reordenação é como os clientes da Vector Search aumentam a qualidade de sua recuperação e, consequentemente, a qualidade de seus agentes RAG.

A partir do feedback dos clientes, identificamos dois problemas comuns:

  • Os agentes podem perder o contexto crítico enterrado em grandes conjuntos de documentos não estruturados. A "passagem correta" raramente está no topo dos resultados recuperados de um banco de dados vetorial.
  • Sistemas de reordenação desenvolvidos internamente aumentam significativamente a qualidade do agente, mas levam semanas para serem construídos e depois precisam de manutenção significativa.

Ao tornar a reclassificação um recurso nativo da Pesquisa Vetorial, você pode usar seus dados corporativos governados para trazer à tona as informações mais relevantes sem engenharia extra.

O recurso de reclassificação ajudou a elevar nosso chatbot Lexi de funcionar como um estudante do ensino médio para atuar como um graduado em direito. Vimos ganhos transformadores em como nossos sistemas entendem, raciocinam e geram conteúdo a partir de documentos jurídicos - desbloqueando insights que antes estavam enterrados em dados não estruturados. — David Brady, Diretor Sênior, G3 Enterprises

Uma Melhoria Substancial de Qualidade Sobre as Linhas de Base

Nossa equipe de pesquisa alcançou um avanço ao construir um novo sistema de IA composto para cargas de trabalho de agentes. Em nossos benchmarks empresariais, o sistema recupera a resposta correta dentro de seus 10 principais resultados 89% do tempo (recall@10), uma melhoria de 15 pontos sobre nossa linha de base (74%) e 10 pontos acima das principais alternativas em nuvem (79%). Crucialmente, nosso reclassificador entrega essa qualidade com latências tão baixas quanto 1,5 segundos, enquanto sistemas contemporâneos muitas vezes levam vários segundos - ou até minutos - para retornar respostas de alta qualidade.

Benchmark empresarial
Enterprise benchmark showing recall@10 improvements with reranking

Recuperação Fácil e de Alta Qualidade

Ative a reclassificação de nível empresarial em minutos, não semanas. As equipes geralmente passam semanas pesquisando modelos, implantando infraestrutura e escrevendo lógica personalizada. Em contraste, habilitar a reclassificação para a Pesquisa Vetorial requer apenas um parâmetro adicional em sua consulta de Pesquisa Vetorial para obter instantaneamente uma recuperação de maior qualidade para seus agentes. Sem pontos de extremidade de serviço de modelo para gerenciar, sem wrappers personalizados para manter, sem configurações complexas para ajustar.

Ao especificar várias colunas em columns_to_rerank, você está levando a qualidade do reclassificador para o próximo nível, dando-lhe acesso a metadados além do texto principal. Neste exemplo, o reranker usa resumos de contratos e informações de categoria para entender melhor o contexto e melhorar a relevância dos resultados da pesquisa.

Otimizado para Desempenho do Agente

Velocidade encontra qualidade para aplicações de IA em tempo real, agênticas. Nossa equipe de pesquisa otimizou este sistema de IA composto para reclassificar 50 resultados em apenas 1,5 segundos. Isso o torna altamente eficaz para sistemas de agentes que exigem tanto precisão quanto responsividade. Este desempenho inovador permite estratégias de recuperação sofisticadas sem comprometer a experiência do usuário.

Quando usar a Reclassificação?

Recomendamos testar a reclassificação para qualquer caso de uso de agente RAG. Normalmente, os clientes verão grandes ganhos de qualidade quando seus sistemas atuais encontram a resposta certa em algum lugar nos 50 principais resultados da recuperação, mas lutam para trazê-la para os 10 primeiros. Em termos técnicos, isso significa clientes com baixo recall@10 mas alto recall@50.

Experiência Aprimorada do Desenvolvedor

Além das capacidades de reordenação, estamos tornando mais fácil do que nunca construir e implantar sistemas de recuperação de alta qualidade.

Integração LangChain: O Reclassificador funciona perfeitamente com VectorSearchRetrieverTool, nossa integração oficial LangChain para Vector Search. As equipes que constroem agentes RAG com VectorSearchRetrieverTool podem se beneficiar de uma recuperação de maior qualidade — sem necessidade de alterações no código.

Métricas de Desempenho Transparentes: A latência do Reranker agora está incluída nas informações de depuração da consulta, fornecendo uma análise completa de ponta a ponta do desempenho da sua consulta.

desagregação da latência de resposta em milissegundos

Seleção Flexível de Colunas: Reclassifique com base em qualquer combinação de colunas de texto e metadados, permitindo que você aproveite todo o contexto de domínio disponível - de resumos de documentos a categorias a metadados personalizados - para alta relevância.

Comece a Construir Hoje

Reranker em Vector Search transforma como você constrói aplicações de IA. Com zero sobrecarga de infraestrutura e integração perfeita, você finalmente pode oferecer a qualidade de recuperação que seus usuários merecem.

Tudo pronto para começar?

 

(This blog post has been translated using AI-powered tools) Original Post

Nunca perca uma postagem da Databricks

Inscreva-se nas categorias de seu interesse e receba as últimas postagens na sua caixa de entrada