AI Search

O AI Search foi projetado para equipes que desenvolvem aplicativos de produção que precisam de pesquisa, correspondência ou recuperação em tempo real de dados corporativos, como pesquisa de produtos, recomendações de conteúdo, experiências de comércio eletrônico e agentes de IA. A Lippert utiliza essa ferramenta para alimentar uma experiência de assistência ao agente que ajuda os agentes de suporte ao cliente a encontrar respostas em manuais de produtos, vídeos do YouTube e casos de suporte. O EQT usa-o para pesquisar dados já armazenados no Delta, observando uma configuração fácil concluída em questão de horas. Por ser serverless e governado pelo Unity Catalog, ele se adapta a organizações que já estão executando a Plataforma Databricks e que desejam que os índices de pesquisa herdem os controles de acesso existentes.

O AI Search permite combinar pesquisa vetorial semântica com pesquisa por palavras-chave (BM25) em uma única chamada e, em seguida, reclassificar os resultados para relevância em nível de produção. Essa abordagem híbrida foi desenvolvida para potencializar a pesquisa de produtos, recomendações de conteúdo, experiências de comércio eletrônico e agentes em um único mecanismo, sem a necessidade de operar sistemas separados para pesquisa de palavras-chave e pesquisa vetorial. A reclassificação e a avaliação de qualidade integradas estão incluídas como parte da mesma API, portanto, o ajuste de relevância não exige um serviço separado.

O AI Search usa pipelines de sincronização automática que atualizam os índices sempre que as tabelas de origem são alteradas, para que os resultados permaneçam atualizados com os dados subjacentes. A Databricks lida com a geração de embedding, novas tentativas, ajuste do throughput, dimensionamento do batch e dimensionamento automático nos bastidores, eliminando a necessidade de trabalho adicional de engenharia de dados. A EQT destacou especificamente essa experiência gerenciada integrada, observando que, como seus dados já estavam no Delta, o recurso Delta Sync permitiu que eles começassem a funcionar em questão de horas.

O AI Search herda os controles de acesso, a linhagem e os logs de auditoria já definidos no Unity Catalog, pois cada índice é gerenciado como um objeto do Unity Catalog. Políticas refinadas definidas em outros lugares do Unity Catalog são automaticamente aplicadas aos índices de pesquisa, para que as equipes não precisem configurar um modelo de permissões separado apenas para pesquisa. Isso também significa que o rastreamento de linhagem e o registro de auditoria são realizados sem trabalho de configuração extra.

Os detalhes de preços não são listados diretamente na página do produto AI Search. A Databricks publica as taxas atuais em sua página dedicada de preços do AI Search, onde você pode revisar os custos antes de implantar índices em produção. Como o AI Search é serverless, não há clusters, fragmentos ou réplicas para dimensionar separadamente ao estimar o uso.

Você pode começar a usar o AI Search inscrevendo-se pela opção Experimente gratuitamente na página do produto ou agendando uma demonstração com a equipe da Databricks para vê-lo em ação primeiro. Para obter detalhes de configuração, consulte a documentação do AI Search sobre como criar índices, configurar pipelines de sincronização e consultar a API. Como os índices são serverless e escalam para bilhões de registros e milhares de queries por segundo, você pode passar do teste inicial para a escala de produção no mesmo mecanismo.