Do protótipo à produção: alto QPS para o Databricks AI Search

A busca está em toda parte: descoberta de produtos em sites de varejo, consultas de voz em smart TVs, recomendações em todos os feeds e correspondência de identidade durante a verificação de contas. Cada uma delas dispara uma solicitação por visualização de página, por pressionamento de tecla, por ação do usuário. Em escala de consumo, isso se traduz em milhares de consultas por segundo atingindo o índice de busca, com picos de tráfego frequentemente várias vezes maiores.

A busca também está no caminho crítico da receita. No varejo, os compradores que usam a busca convertem de duas a três vezes mais do que aqueles que apenas navegam. Em plataformas de streaming, as recomendações impulsionam a maior parte do que os usuários assistem.

Alcançar um nível de QPS de produção costumava significar a criação de uma pilha de recuperação personalizada por aplicativo. Testes de carga em diferentes tamanhos de índice, tipos de consulta e filtros. Dimensionamento manual de capacidade. Configuração de balanceadores de carga na frente do índice. Cada novo caso de uso de busca reinicia o trabalho. Essa dor é universal em bancos de dados vetoriais, mecanismos de busca e pilhas personalizadas.

Anunciando o dimensionamento de alto QPS para o Databricks AI Search

Hoje estamos anunciando o dimensionamento de alto QPS para o Databricks AI Search, que já está disponível para o público geral. Os endpoints padrão agora podem ser dimensionados para milhares de QPS com um único parâmetro legível por humanos. Você nos diz sua meta. Nós provisionamos a infraestrutura para alcançá-la.

Defina target_qps no endpoint durante a criação ou atualize-o em qualquer endpoint existente a qualquer momento por meio do SDK, da REST API ou da UI do endpoint. O Databricks provisiona a infraestrutura para atingir a meta. Sem contagem de réplicas para gerenciar, sem nós para dimensionar, sem balanceadores de carga para configurar.

A governança do Unity Catalog e o Delta Sync permanecem ativos. O mesmo endpoint que alimentou seu protótipo agora se dimensiona para o tráfego de produção sem sair da plataforma.

Quando você precisa de dimensionamento de alto QPS

Três padrões de produção em tempo real exigem isso.

Barras de busca, como busca de produtos em e-commerce, descoberta de conteúdo em plataformas de streaming e mídia, busca por voz em dispositivos conectados. Uma caixa de preenchimento automático pode disparar uma chamada de busca a cada pressionamento de tecla, de modo que o QPS aumenta com o volume de digitação ativa. A latência afeta diretamente a conversão. Para uma arquitetura de ponta a ponta, consulte Building Real-Time Product Search on Databricks.

Sistemas de recomendação/personalização, como painéis "Você também pode gostar" em e-commerce, feeds personalizados em plataformas de mídia e streaming. Cada visualização de página dispara uma consulta de recomendação, de modo que os picos de tráfego atingem a recuperação primeiro. A latência de recomendação está no caminho crítico da solicitação.

Resolução de entidades em tempo real, como correspondência de identidade, eliminação de duplicatas e consulta em grandes catálogos no momento da solicitação. A taxa de consulta aqui é um SLA operacional, não um pico que você possa amortecer.

Se você estiver enfrentando algum dos seguintes problemas, provavelmente precisa disso:

• Erros 429 (Too Many Requests) aparecendo nos logs de produção
• Picos de latência P95 à medida que o tráfego aumenta, mesmo com utilização média moderada
• Soluções alternativas como endpoints duplicados ou balanceamento de carga no lado do cliente

Análise detalhada de como funciona

Declare. Você define uma meta de QPS no endpoint. O Databricks calcula e provisiona a capacidade de computação para atender a essa meta. Sem contagem de réplicas, sem dimensionamento de nós, sem planejamento de capacidade.

Funciona com endpoints existentes. Atualize qualquer endpoint padrão por meio do Python SDK, da REST API ou da UI. A nova capacidade entra em vigor na próxima vez que um índice no endpoint for criado ou sincronizado.

Monitore o estado de dimensionamento. O campo scaling_info no endpoint acompanha o progresso à medida que ele transiciona de SCALING_CHANGE_IN_PROGRESS to SCALING_CHANGE_APPLIED.

Observabilidade em produção. Operar um sistema de recuperação em produção exige visibilidade sobre as solicitações por segundo, a latência das solicitações e a integridade do endpoint. A UI do endpoint agora exibe esses três indicadores para cada endpoint.

Use a autenticação de entidade de serviço para maximizar o desempenho. O tráfego de entidade de serviço é roteado por redes otimizadas para desempenho, criadas para cargas de trabalho de produção com alto QPS. O tráfego de token de acesso pessoal (PAT) é limitado a algumas dezenas de QPS, tornando-o adequado para prototipagem, mas não para produção. Consulte o guia de desempenho para obter o passo a passo completo.

Dimensionamento. Use a UI de observabilidade do endpoint e a integração nativa com o Genie para entender seus padrões de tráfego e definir target_qps com margem suficiente para picos.

Comece a criar hoje mesmo

A diferença entre protótipo e produção agora é apenas um parâmetro de configuração. O dimensionamento de alto QPS já está disponível para o público geral hoje, sem necessidade de adesão. Dois caminhos para começar:

• Inicie um novo endpoint com target_qps definido para sua meta inicial
• Atualize um endpoint existente com target_qps para dimensionar o índice que já atende ao seu aplicativo

O que vem a seguir

Continuamos trabalhando para facilitar a operação de buscas em escala. O dimensionamento automático para picos de tráfego — sem planejamento manual de capacidade ou dimensionamento — e o suporte para endpoints otimizados para armazenamento estão planejados para o final deste ano.

Para se aprofundar:

• Documentação de alto QPS
• Visão geral do Databricks AI Search
• Melhores práticas de desempenho
• Building Real-Time Product Search on Databricks

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original