Melhore a qualidade da resposta da sua aplicação RAG com dados estruturados em tempo real

A Geração Aumentada por Recuperação (RAG) é um mecanismo eficiente para fornecer dados relevantes como contexto em aplicações de Gen AI. A maioria das aplicações RAG geralmente usa índices vetoriais para pesquisar contexto relevante em dados não estruturados, como documentação, wikis e tíquetes de suporte. Ontem, anunciamos o Databricks Vector Search Public Preview, que ajuda exatamente com isso. No entanto, a qualidade da resposta da Gen AI pode ser aprimorada ao aumentar esses contextos baseados em texto com dados estruturados relevantes e personalizados. Imagine uma ferramenta de Gen AI em um site de varejo onde os clientes perguntam: "Onde está meu pedido recente?" Essa AI deve entender que a query é sobre uma compra específica, depois coletar informações de envio atualizadas para os itens de linha, antes de usar LLMs para gerar uma resposta. O desenvolvimento dessas aplicações escaláveis exige um trabalho substancial, integrando tecnologias para lidar com dados estruturados e não estruturados com recursos de Gen AI.

Temos o prazer de anunciar a pré-visualização pública do Databricks Feature & Function Serving, um serviço de baixa latência e em tempo real projetado para servir dados estruturados da Databricks Data Intelligence Platform. Você pode acessar instantaneamente recursos de ML pré-computados, bem como realizar transformações de dados tempo-real, servindo qualquer função Python do Unity Catalog. Os dados recuperados podem então ser usados em mecanismos de regras em tempo real, ML clássico e aplicações de Gen AI.

O uso do recurso and Function Serving (AWS)(Azure) para dados estruturados em coordenação com o Databricks Vector Search (AWS)(Azure) para dados não estruturados simplifica significativamente a produção de aplicações de Gen AI. Os usuários podem criar e implantar essas aplicações diretamente no Databricks e contar com os pipelines de dados, a governança e outros recursos empresariais existentes. Clientes da Databricks de vários setores estão usando essas tecnologias junto com frameworks de código aberto para criar aplicações poderosas de IA generativa, como as descritas na tabela abaixo.

Servindo dados estruturados para aplicações RAG

Para demonstrar como dados estruturados podem ajudar a melhorar a qualidade de uma aplicação de Gen AI, usamos o exemplo a seguir para um chatbot de planejamento de viagens. O exemplo mostra como as preferências do usuário (exemplo: "vista para o mar" ou "ideal para famílias") podem ser combinadas com informações não estruturadas sobre hotéis para buscar correspondências de hotéis. Normalmente, os preços de hotéis mudam dinamicamente com base na demanda e na sazonalidade. Uma calculadora de preços integrada à aplicação de Gen AI garante que as recomendações estejam dentro do orçamento do usuário. A aplicação de Gen AI que alimenta o bot usa o Databricks Vector Search e o Databricks Feature and Function Serving como blocos de construção para servir as preferências personalizadas do usuário, o orçamento e as informações de hotel necessários, usando a API de agentes do LangChain.

*Bot de planejamento de viagens que leva em consideração as preferências e o orçamento do usuário

Você pode encontrar o notebook completo para esta aplicação de RAG Chain, conforme mostrado acima. Esta aplicação pode ser executada localmente no notebook ou implantada como um endpoint acessível por uma interface de usuário de chatbot.

Acesse seus dados e  funções como endpoints em tempo real

Com o Engenharia de Recursos in Unity Catalog, você já pode usar qualquer tabela com uma primary key para servir recursos para treinamento e veiculação. O Databricks Model Serving oferece suporte ao uso de funções Python para computar recursos sob demanda. Desenvolvidos com a mesma tecnologia disponível internamente para o Databricks Model Serving, os endpoints de recurso e função podem ser usados para acessar qualquer recurso pré-computado ou computá-los sob demanda. Com uma sintaxe simples, você pode definir uma função de especificação de recurso no Unity Catalog que pode codificar o gráfico acíclico direcionado para compute e servir recursos como um endpoint REST.

Esta função de especificação de recurso pode ser servida em tempo real como um endpoint REST. Todos os Endpoints estão acessíveis na tab de navegação esquerda Serving, incluindo recursos, funções, modelos treinados personalizados e foundation models. Provisione o endpoint usando esta API

O endpoint também pode ser criado usando um fluxo de trabalho de UI, conforme mostrado abaixo

Agora os recursos podem ser acessados em tempo real consultando o endpoint:

Para servir dados estruturados a aplicações de IA em tempo real, os dados pré-computados precisam ser implantados em bancos de dados operacionais. Os usuários já podem usar stores online externos como fonte de recursos pré-computados — por exemplo, o DynamoDB e o Cosmos DB são comumente usados para servir recursos no Databricks Model Serving. Databricks Online Tables (AWS)(Azure) adiciona uma nova funcionalidade que simplifica a sincronização de recursos pré-calculados para um formato de dados otimizado para consultas de dados de baixa latência. Você pode sincronizar qualquer tabela com uma chave primária como uma tabela online, e o sistema configurará um pipeline automático para garantir a atualização dos dados.

Qualquer tabela do Unity Catalog com chaves primárias pode ser usada para servir recursos em aplicações de Gen AI usando as Databricks Online Tables.

Passos seguintes

Use este exemplo de notebook ilustrado acima para personalizar seus aplicativos RAG

Inscreva-se em um webinar sobre AI Generativa da Databricks disponível sob demanda

Disponibilização de Recursos e Funções (AWS)(Azure) está disponível em Public Preview. Consulte a documentação da API e exemplos adicionais.

Tabelas Online do Databricks (AWS)(Azure) estão disponíveis como Gated Public Preview. Use este formulário para se inscrever para a capacitação.

Leia o resumo nos anúncios (criando aplicações RAG de alta qualidade) feitos no início desta semana.

Trilha de Aprendizagem de Engenheiro de IA Generativa: faça cursos no seu próprio ritmo, sob demanda e ministrados por instrutores sobre IA Generativa

Quer resolver casos de uso de IA Generativa? Participe do Hackathon de AI Generativa da Databricks & AWS! Inscreva-se aqui.

Tem um caso de uso que gostaria de compartilhar com o Databricks? Entre em contato conosco em [email protected]