Ir para o conteúdo principal
Plataforma

Apresentando o Unity Gateway Insights

Descubra ineficiências no seu uso de IA automaticamente

por Adam Gurary, Alkis Polyzotis e Vishnu Kannan

Ao buscar reduzir os custos de IA, as equipes geralmente começam com orçamentos ou modelos de código aberto. Mas os rastreamentos de agentes podem revelar outras oportunidades de economia. No Databricks, a análise de rastreamento revelou várias: execuções offline mostraram que não houve ganho de desempenho ao atualizar do Opus 4.8 para o Opus 5, então mantivemos o 4.8, que é mais barato; a correção de erros comuns de MCP recuperou cerca de US$ 1,2 milhão em custos por ano; e os rastreamentos mostraram que prompts simples estavam indo para modelos caros, o que nos levou a adotar o Smart Routing. 

Hoje, estamos apresentando o Unity Gateway Insights, que usa o Genie automaticamente para analisar milhões de rastreamentos de agentes junto com seus dados de negócios e ontologia. Ele mostra onde os tokens estão sendo desperdiçados: erros de MCP recorrentes, tarefas simples sendo executadas em modelos de ponta caros e fluxos de trabalho repetidos que vale a pena transformar em habilidades compartilhadas, tudo no contexto do seu negócio e sob a mesma governança dos seus outros dados.

Como o Insights funciona

Se você já tem tráfego fluindo pelo Unity Gateway, abra AI Gateway > Observability > Insights e gere um relatório referente ao último dia, aos últimos 7 dias ou aos últimos 30 dias. O Insights gera um relatório sobre a tokenômica da implementação do seu agente de codificação que responde às seguintes perguntas:

  • No que as pessoas estão trabalhando? O Insights compara a fatia de sessões de cada fluxo de trabalho com a respectiva fatia de tokens. Um fluxo de trabalho com 10% das sessões e 35% dos tokens é o primeiro lugar para investigar.
  • Onde posso economizar dinheiro? O Insights mostra para onde vão os tokens e classifica cada tipo de desperdício pelo custo. Para cada fluxo de trabalho repetido, o Insights escreve um prompt que você pode copiar para transformar esse fluxo de trabalho em uma habilidade compartilhada.

Cada resultado traz links para exemplos de sessões, para que você possa abrir os rastreamentos por trás deles.

Você pode adicionar até 10 perguntas próprias a um relatório, como se o modelo mais recente vale a pena para o trabalho da sua equipe. Para aprofundar a investigação, continue a conversa com o Genie. Pergunte qual servidor MCP desperdiçou mais tokens este mês e quem é o responsável por ele, e você terá um relatório de bug pronto para enviar.

O que o Insights encontra nos seus rastreamentos

Veja o que está por trás de cada tipo de desperdício relatado pelo Insights:

  • Erros e desperdício de MCP: Quando uma chamada de ferramenta falha, os agentes tentam novamente ou contornam o problema até que a tarefa seja concluída. Assim, a sessão parece ter funcionado enquanto você paga por cada nova tentativa. O valor de US$ 1,2 milhão que encontramos veio de apenas sete pequenos bugs em nossos servidores MCP: US$ 499 mil em tokens desperdiçados mais 12.000 horas de engenheiros esperando pelos agentes. Corrigir todos os sete levou cerca de uma hora.
  • Uso ineficiente de modelos: O Insights avalia a complexidade da tarefa em cada sessão de modelo de ponta e conta as mais rápidas e rotineiras, junto com os tokens que elas usaram. Essas são as sessões que o Smart Routing pode enviar para um modelo mais barato, mantendo os modelos de ponta para o trabalho que realmente precisa deles.
  • Fluxos de trabalho comuns para codificar: Um fluxo de trabalho é contado quando se repete em pelo menos três sessões ou entre dois engenheiros. Uma habilidade compartilhada fornece essas etapas aos agentes antecipadamente, para que você pare de pagar para que eles refaçam as etapas a cada sessão.

O plano de controle de IA na sua plataforma de dados

Encontrar esse tipo de desperdício exige um registro completo de cada etapa de cada sessão de agente: entradas e saídas, chamadas de ferramenta, subagentes, etapas intermediárias, latência e custo de token. Um gateway independente registra apenas as solicitações que passam por ele. Capturar o restante de cada sessão significa instrumentar cada agente de codificação por conta própria e, em seguida, exportar os rastreamentos para uma plataforma de dados para analisá-los.

Apontar o Claude Code para esses rastreamentos ainda deixa você com a tarefa de planejar a investigação por conta própria, sem nenhum mapa do seu negócio como o fornecido pela Genie Ontology. O Insights executa a investigação que desenvolvemos ao implementar agentes de codificação para milhares de engenheiros do Databricks. Ele coleta amostras de sessões e as agrupa em fluxos de trabalho por tipo de tarefa. Em seguida, verifica cada fluxo de trabalho em busca de ferramentas MCP com falha, contexto sobrecarregado, modelos de ponta em tarefas simples e fluxos de trabalho repetidos, classificando os resultados pelos tokens em jogo. Ele depende de quatro recursos que um gateway independente não pode ter:

  • Rastreamento automático de cada agente. Unity Gateway é o plano de controle pelo qual passam as solicitações do seu agente de codificação. Quando os engenheiros iniciam o Claude Code, o Codex ou o GitHub Copilot com a ug CLI, a ug ativa o rastreamento OpenTelemetry de cada agente automaticamente, para que suas equipes não precisem instrumentar nada. Os rastreamentos vão parar na tabela de rastreamento unificada, uma tabela Delta com governança no Unity Catalog que pertence a você, em um formato aberto que qualquer ferramenta pode ler.
  • Genie que conhece o seu negócio. O Genie escreve o SQL e lê as sessões. Com a Genie Ontology, as respostas usam os nomes dos seus próprios projetos e as nuances do seu negócio.
  • Escala para milhões de rastreamentos. O Databricks SQL consulta todo o seu histórico de rastreamento com a mesma escala e desempenho que oferece às suas maiores tabelas.
  • Protegido por padrão. Os rastreamentos contêm prompts, códigos e saídas de ferramentas. Portanto, apenas o proprietário da tabela pode consultá-la até que os administradores concedam acesso com permissões e filtros de linha do Unity Catalog. O Insights lê a tabela no local, garantindo que você nunca precise exportar seus dados mais confidenciais para analisá-los.

Introdução

Se os seus desenvolvedores já executam agentes de codificação por meio do Unity Gateway, você pode gerar seu primeiro relatório hoje mesmo:

  1. Configure a tabela de rastreamento unificada para que o Unity Gateway registre os rastreamentos.
  2. Peça às suas equipes para iniciarem os agentes de codificação com a ug CLI.
  3. No seu workspace, abra AI Gateway > Observability > Insights e gere um relatório. Consulte a documentação do Insights para obter detalhes.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original

Tags relacionadas:

Unity Gateway e Genie

Receba os posts mais recentes na sua caixa de entrada

Assine nosso blog e receba os posts mais recentes diretamente na sua caixa de entrada.