Descubra ineficiências no seu uso de IA automaticamente
Ao buscar reduzir os custos de IA, as equipes geralmente começam com orçamentos ou modelos de código aberto. Mas os rastreamentos de agentes podem revelar outras oportunidades de economia. No Databricks, a análise de rastreamento revelou várias: execuções offline mostraram que não houve ganho de desempenho ao atualizar do Opus 4.8 para o Opus 5, então mantivemos o 4.8, que é mais barato; a correção de erros comuns de MCP recuperou cerca de US$ 1,2 milhão em custos por ano; e os rastreamentos mostraram que prompts simples estavam indo para modelos caros, o que nos levou a adotar o Smart Routing.
Hoje, estamos apresentando o Unity Gateway Insights, que usa o Genie automaticamente para analisar milhões de rastreamentos de agentes junto com seus dados de negócios e ontologia. Ele mostra onde os tokens estão sendo desperdiçados: erros de MCP recorrentes, tarefas simples sendo executadas em modelos de ponta caros e fluxos de trabalho repetidos que vale a pena transformar em habilidades compartilhadas, tudo no contexto do seu negócio e sob a mesma governança dos seus outros dados.

Se você já tem tráfego fluindo pelo Unity Gateway, abra AI Gateway > Observability > Insights e gere um relatório referente ao último dia, aos últimos 7 dias ou aos últimos 30 dias. O Insights gera um relatório sobre a tokenômica da implementação do seu agente de codificação que responde às seguintes perguntas:

Cada resultado traz links para exemplos de sessões, para que você possa abrir os rastreamentos por trás deles.

Você pode adicionar até 10 perguntas próprias a um relatório, como se o modelo mais recente vale a pena para o trabalho da sua equipe. Para aprofundar a investigação, continue a conversa com o Genie. Pergunte qual servidor MCP desperdiçou mais tokens este mês e quem é o responsável por ele, e você terá um relatório de bug pronto para enviar.

Veja o que está por trás de cada tipo de desperdício relatado pelo Insights:
Encontrar esse tipo de desperdício exige um registro completo de cada etapa de cada sessão de agente: entradas e saídas, chamadas de ferramenta, subagentes, etapas intermediárias, latência e custo de token. Um gateway independente registra apenas as solicitações que passam por ele. Capturar o restante de cada sessão significa instrumentar cada agente de codificação por conta própria e, em seguida, exportar os rastreamentos para uma plataforma de dados para analisá-los.
Apontar o Claude Code para esses rastreamentos ainda deixa você com a tarefa de planejar a investigação por conta própria, sem nenhum mapa do seu negócio como o fornecido pela Genie Ontology. O Insights executa a investigação que desenvolvemos ao implementar agentes de codificação para milhares de engenheiros do Databricks. Ele coleta amostras de sessões e as agrupa em fluxos de trabalho por tipo de tarefa. Em seguida, verifica cada fluxo de trabalho em busca de ferramentas MCP com falha, contexto sobrecarregado, modelos de ponta em tarefas simples e fluxos de trabalho repetidos, classificando os resultados pelos tokens em jogo. Ele depende de quatro recursos que um gateway independente não pode ter:
Se os seus desenvolvedores já executam agentes de codificação por meio do Unity Gateway, você pode gerar seu primeiro relatório hoje mesmo:
(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original
Assine nosso blog e receba os posts mais recentes diretamente na sua caixa de entrada.