Apresentando o ai_decide: tome decisões rápidas sobre seus dados governados
A ai_decide é uma função de AI nativa do Databricks que toma decisões rápidas e de baixo custo para roteamento de modelos, processamento de documentos, avaliações de agentes e muito mais.
por Jane Zhang, Matthew Ding e Archika Dogra
- A ai_decide é uma nova função de AI do Databricks que toma decisões rápidas diretamente em seus dados. Ela recebe texto não estruturado e retorna decisões estruturadas em uma fração de segundo.
- Por ser otimizada para decisões em vez de geração de texto, a ai_decide é mais rápida e tem menor custo do que LLMs em tarefas semelhantes.
- Use a ai_decide quando precisar de decisões rápidas e de baixo custo sobre dados governados: roteamento de prompts para o modelo correto, marcação de avaliações de clientes com metadados ou avaliação da qualidade do agente — em escala de lote no SQL ou em tempo real via REST.
Hoje, estamos lançando uma nova Databricks AI Function ai_decide que toma decisões rápidas sobre seus dados governados.
Vemos muitas equipes usarem LLMs para tarefas que não exigem raciocínio complexo e geração de texto. A qual categoria este tíquete de suporte pertence? Este documento precisa de revisão humana? Qual modelo deve processar este prompt?
Essas perguntas alimentam muitos dos fluxos de trabalho corporativos em grande escala de nossos clientes, desde o processamento de milhões de documentos até o controle da lógica de aplicativos em tempo real. No entanto, usar LLMs para essas decisões menores e estruturadas significa pagar por latência e custos adicionais que se acumulam em escala corporativa. Um modelo de decisão como o Jev da TypeSafe AI preenche essa lacuna: em vez de gerar texto, ele recebe uma entrada não estruturada e um conjunto de perguntas e retorna diretamente as decisões e suas probabilidades.
ai_decide é uma nova Databricks AI Function alimentada por um modelo de decisão. Ela avalia uma ou mais perguntas em relação ao texto em uma fração de segundo e, para cada pergunta, retorna uma probabilidade, uma escolha a partir de critérios nomeados ou uma pontuação em uma escala ordenada. Como a ai_decide é otimizada para decisões rápidas, ela gera menor latência e custo do que um LLM em tarefas semelhantes.
Experimente a ai_decide hoje mesmo
ai_decide já está disponível no Databricks em Beta. Chame-a a partir do SQL para tomar decisões estruturadas em escala em seus dados ou por meio da REST API para aplicativos e agentes em tempo real. Para equipes que já desenvolvem com a API da TypeSafe AI, a função ai_decide é diretamente compatível.
Não sabe por onde começar? Se você tem dados não estruturados e precisa classificá-los, pontuá-los ou decidir o que acontece a seguir, a ai_decide é uma ótima opção. Aqui estão alguns casos de uso que você pode testar hoje mesmo:
Analise avaliações de clientes para identificar problemas recorrentes de produtos
Você recebe milhares de avaliações de produtos todos os meses. Os clientes descrevem desde instruções de configuração confusas até cobranças incorretas.
Com a ai_decide, você pode marcar cada avaliação com seu problema principal e se o cliente deseja devolver o produto em uma única consulta SQL. Agregue essas tags por produto e mês para acompanhar reclamações recorrentes e ver quais problemas aparecem com mais frequência junto com as devoluções relatadas.
Encaminhe os prompts dos usuários para o modelo certo
Digamos que você seja uma empresa de software criando um assistente de IA. Seus usuários pedem ao assistente para fazer de tudo, desde reescrever uma frase até projetar uma arquitetura de banco de dados. Você tem vários modelos disponíveis com diferentes custos e recursos e deseja escolher um modelo apropriado para cada solicitação.
Use a ai_decide para determinar o nível de raciocínio e a dificuldade do prompt. Em seguida, encaminhe a solicitação para o modelo correspondente.
Um exemplo de resultado response.answers:
Avalie respostas geradas por IA com um juiz
Digamos que você gerencie uma loja virtual com um assistente de suporte de IA. Antes de lançar uma nova versão, você deseja avaliar as respostas dele em relação à sua política de reembolso. Você tem um conjunto de perguntas de clientes, respostas geradas e políticas de referência.
Use a ai_decide como juiz para verificar se uma resposta segue a política e pontuar o quão completamente ela atende à solicitação do cliente.
Aqui está um exemplo de linha resultante, mostrando response.answers:
Determine a próxima ação em aplicativos em tempo real
Como a ai_decide retorna uma decisão em uma fração de segundo, ela é rápida o suficiente para conduzir um aplicativo em tempo real, onde cada decisão depende do estado do momento anterior.
Para demonstrar, criamos uma demonstração ao vivo do Snake, hospedada no Databricks Apps. ai_decide joga o jogo: a cada tique, o aplicativo envia o tabuleiro atual para a ai_decide e pergunta: em qual direção a cobra deve se mover a seguir?
Como todo o ciclo de decisão se fecha em uma fração de segundo, você pode colocar a ai_decide por trás de qualquer decisão em tempo real que um agente ou aplicativo precise tomar: qual ferramenta chamar, qual ramificação seguir, qual ação vem a seguir.
Comece a usar
A ai_decide já está disponível em Beta. Use-a no SQL para classificar, pontuar e tomar decisões em dados governados em escala, ou chame a REST API para adicionar decisões rápidas a aplicativos e agentes em tempo real. Além da função gerenciada, há um ecossistema amplo e crescente de modelos de decisão open-weight, e você pode servir e executar qualquer um deles diretamente no SQL no Databricks. Veja nosso passo a passo recente do open-Jev aqui.
Explore a documentação SQL do ai_decide ou comece a usar a API REST.
(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original
Receba os posts mais recentes na sua caixa de entrada
Assine nosso blog e receba os posts mais recentes diretamente na sua caixa de entrada.