Roteamento Inteligente no Unity AI Gateway: iguale a qualidade de ponta com custo por tarefa mais de 30% menor

A fronteira de preço e desempenho para tarefas de codificação apresenta uma enorme diversidade de modelos e harnesses: só em 2026, vimos o lançamento de 33 novos modelos. Em nossa publicação anterior sobre benchmarking em relação à base de código da Databricks, descobrimos que os modelos se agrupam em camadas de capacidade e que grande parte do trabalho diário (por exemplo, alterar uma flag, editar um único arquivo, corrigir um bug bem delimitado) não exigia os modelos mais caros.

Então, como reduzir os custos de codificação com AI sem sacrificar a produtividade dos desenvolvedores? Uma das maiores oportunidades é direcionar cada tarefa ao modelo certo, em vez de usar por padrão a opção mais capaz (e mais cara) para todas as tarefas. Apenas aproveitar modelos de menor custo pode economizar mais de 50%, mas isso é incrivelmente desafiador para os usuários. Com a proliferação de ótimos modelos e harnesses capazes, os usuários de agentes de codificação enfrentam constantemente uma sobrecarga de escolhas. Em vez de perder tempo tentando selecionar o melhor modelo para cada tarefa, muitos configuram o modelo mais capaz com o nível máximo de esforço e seguem em frente. Em vez de pedir aos usuários que escolham ou limitar a produtividade com limites rígidos, sabíamos que precisávamos inovar.

É por isso que estamos lançando o próximo grande controle de custos no Unity AI Gateway: o Smart Routing, agora disponível em Beta. Unity AI Gateway oferece um local central para acessar AI, gerenciar gastos e aplicar controles em toda a sua empresa, e o Smart Routing adiciona otimização inteligente ao direcionar automaticamente as tarefas para o modelo certo com base na complexidade. O Smart Routing funciona diretamente no Claude Code e no Codex, permitindo que você otimize as ferramentas que os desenvolvedores já usam.

E estamos indo além do roteamento de modelos. Com o Omnigent, nosso meta-harness para agentes de codificação, as equipes podem aproveitar todo o poder do Smart Routing otimizando tanto os modelos quanto os harnesses de codificação, oferecendo aos desenvolvedores a combinação certa para a tarefa sem que eles precisem escolher por conta própria.

Os resultados falam por si: em cargas de trabalho de codificação internas, o Smart Routing superou qualquer modelo individual custando apenas 65% do custo por tarefa de um modelo líder como o Opus 5. Em benchmarks públicos, o Smart Routing igualou o desempenho do Opus 5 por menos da metade do custo.

Aqui está o que aprendemos:

1. A maior parte do ganho vem do uso de modelos mais baratos para tarefas mais simples. Vemos uma grande diversidade de tarefas internamente, e a maioria delas não precisa de um modelo premium. Configuramos o roteador para selecionar modelos mais baratos para tarefas mais simples, mas para "escalar" trabalhos complexos que exigem o desempenho de modelos de fronteira.
2. Obtivemos bons resultados usando apenas as informações disponíveis no início da tarefa (descrição e metadados). Não fornecemos a resposta, os testes ou qualquer informação sobre o repositório, e o Smart Routing ainda assim conseguiu escolher de forma eficaz.
3. Ainda há um espaço significativo para melhorias no dimensionamento eficaz da complexidade do trabalho e no escalonamento quando necessário. Um roteador com previsão perfeita superaria cada modelo individual por uma fração do que o nosso gasta e, em sessões reais, também pode ser útil reavaliar no meio do caminho se a tarefa se tornou mais complicada. Reduzir essa lacuna é um problema tanto de pesquisa quanto de design de harness. Precisamos aprender com o feedback real dos usuários para melhorar.

Vamos entender como construímos isso.

Como funciona o roteamento inteligente de modelos?

O roteamento inteligente de modelos seleciona o modelo mais adequado para uma tarefa com base em fatores como complexidade, capacidade e custo. Para agentes de codificação, uma decisão importante é quando esse roteamento deve acontecer.

Geralmente, existem duas abordagens para o roteamento:

1. Roteamento por requisição: Em uma determinada sessão, algumas equipes exploraram o roteamento de cada requisição puramente com base na complexidade do prompt para essa mensagem. O desafio é que, em escala, os custos são dominados pela taxa de acerto de cache. Ter uma alta taxa de acerto de cache exige o roteamento de interações consecutivas para o mesmo modelo (e, atualmente, para o mesmo nível de esforço nos modelos populares).
2. Roteamento ciente da tarefa (task-aware): No início da sessão, você começa avaliando a complexidade da tarefa e, em seguida, sugere um modelo e um harness para ela, mantendo-os durante toda a sessão. Isso preserva a taxa de acerto de cache e oferece uma oportunidade para otimizações futuras, como upgrade ou downgrade conforme necessário quando o cache se torna obsoleto (por exemplo, quando ocorre um evento de compactação).

Como funciona o nosso Smart Router

Optamos pelo roteamento ciente da tarefa para preservar a eficiência do cache e, ao mesmo tempo, direcionar cada tarefa de codificação para o modelo e harness apropriados. O problema mais interessante é avaliar a dificuldade de uma tarefa antes de iniciá-la. Queríamos começar de forma simples, por isso nosso roteador atualmente usa uma única política e a aplica a todas as tarefas da mesma maneira.

Primeiro, classificamos a tarefa. Para isso, usamos um modelo mais barato e de baixa latência que lê a descrição da tarefa e a rotula com alguns campos semânticos: qual parte do sistema muda, quais evidências de código o prompt carrega (um snippet, um traceback ou nada explícito), como ele parece estar falhando, quão localizada parece ser a correção e a que tipo de projeto ela pertence. A partir disso, o roteador deriva uma família de tipos de tarefas e uma família de linguagens. Usar um modelo de fronteira sobrecarregaria cada requisição (mesmo as simples nas quais queremos economizar), por isso o extrator é intencionalmente pequeno e rápido.

Depois, triangulamos para identificar qual classe de modelo é a melhor. O roteador usa como padrão um modelo de tamanho médio e utiliza os rótulos para se mover em qualquer direção, escalando para um modelo mais caro quando a tarefa exige capacidade e conhecimento de nível de fronteira, ou delegando para um mais barato quando não exige. Isso significa que uma única política pode aproveitar todo um conjunto de modelos.

Os resultados iniciais são promissores. Em relação ao nosso próprio benchmark interno, ao qual nenhum laboratório teve acesso, vimos uma economia de 35%. Em relação aos benchmarks públicos de codificação que demonstram que nossos resultados se generalizam, alcançamos 56% de economia de custos. Esperamos ver esse número crescer à medida que aprendemos mais sobre nossos próprios casos de uso e com nossos parceiros de design.

Como rotear tarefas de codificação entre modelos e harnesses?

O Smart Routing cuida da decisão de roteamento, mas depois você precisa ser capaz de agir com base nela. Ele funciona nativamente no Claude Code e no Codex, mas para agentes de codificação, vemos um desempenho melhor ao escolher não apenas o modelo certo, mas também o harness de codificação correto. Ajudar os engenheiros a aproveitar o modelo e o harness escolhidos exige uma camada acima das sessões de codificação individuais para fazer a orquestração entre elas. É por isso que construímos o Omnigent.

O Smart Routing está implementado no Omnigent em dois níveis:

Primeiro, os desenvolvedores que usam o Omnigent podem selecionar o Smart Routing em vez de escolher manualmente um harness de codificação específico. O Omnigent então seleciona automaticamente o harness e o modelo para cada tarefa, com o roteamento de modelos alimentado pelo Smart Routing no Unity AI Gateway. Esse design oferece aos desenvolvedores e administradores a liberdade de fornecer personalizações, como orientações no nível da organização ou a opção de usar o histórico de conversas anteriores, sem precisar alterar o cliente a cada momento.

Isso também significa que todas as inicializações de subagentes passam pela API do Smart Routing, permitindo que os subagentes aproveitem um harness e um modelo diferentes. O prompt inicial do usuário geralmente é pouco especificado e difícil de avaliar em termos de complexidade, de modo que os subagentes permitem ajustar o novo trabalho com base em novas informações, com um cache limpo e instruções claras. Uma única tarefa pode passar por decisões de roteamento detalhadas entre o planejamento e o trabalho paralelo de subagentes (por exemplo, você pode rotear tarefas grandes de sumarização de base de código para modelos mais baratos enquanto projeta a arquitetura com modelos mais caros), gerando economias ainda mais substanciais.

Como avaliar se o roteamento de modelos está funcionando?

O roteamento de modelos eficaz precisa otimizar tanto o custo quanto a produtividade dos desenvolvedores, e não apenas o custo isoladamente. É fundamental ter sinais de feedback, já que os roteadores ainda são tecnologias recentes que precisarão de muitas iterações. Nosso primeiro passo aqui foi registrar todos os traces de sessões de codificação para avaliação posterior. Queremos considerar tanto o custo quanto a experiência do desenvolvedor — não queremos otimizar o custo às custas da produtividade.

Com o Unity AI Gateway, os traces de agentes de codificação podem ser gravados no Unity Catalog. Esses dados são extremamente confidenciais e precisam permanecer sob a governança de políticas sofisticadas de marcação e acesso na maioria das empresas maduras.

Usamos tanto modelos de AI quanto revisão humana para analisar os traces e avaliar as alterações no roteador. Quando executamos essa análise em nossas próprias sessões antes do roteamento, observamos que uma grande parte das sessões estava gastando o valor de modelos de ponta em tarefas que não precisavam disso, simplesmente porque o modelo padrão era o mais caro. Na prática, a maneira de validar se o roteador é útil é monitorar continuamente as seguintes métricas:

• Detalhamento de sessões por modelo
• Nº de sessões concluídas de ponta a ponta pelos modelos roteados
• Economia em dólares gerada pelo roteamento

Os próximos passos do roteamento inteligente de modelos

Acreditamos que esta é uma área com grandes oportunidades e planejamos continuar realizando pesquisas significativas aqui. Ainda é o começo, então temos muito a aprender.
Nosso primeiro desafio tem sido dados de benchmark pouco confiáveis que não correspondem ao comportamento real do usuário. As tarefas de benchmark são excepcionalmente bem-comportadas, com cada uma chegando como uma declaração de trabalho independente. Embora os roteadores tenham um bom desempenho nessas tarefas, as sessões reais geralmente não são nada parecidas com isso.

• Os prompts iniciais raramente são precisos, pois o que um desenvolvedor digita primeiro é um sintoma ou uma intenção aproximada, e não uma especificação, e nosso roteador lê essa primeira mensagem e toma a decisão.
• As sessões são reutilizadas, de modo que a decisão correta para a primeira solicitação pode estar errada na quarta, e nada consulta o roteador novamente.

Por isso, estamos pesquisando algumas novas direções para coletar mais informações e testar novas técnicas:

1. Começar onde a definição de escopo da tarefa é gratuita. Revisões de PR, inicializações de subagentes, migrações em lote e jobs agendados são totalmente especificados desde o início porque uma máquina escreveu a declaração da tarefa. O roteamento funciona nessa classe hoje sem alterar os hábitos de ninguém, e é por isso que estamos fazendo a implantação aqui primeiro.
2. Roteie após algumas interações, não na primeira. Para trabalhos interativos, o prompt inicial é o pior momento possível para decidir, e nada nos obriga a tomar a decisão ali. Em vez disso, pode ser útil deixar um modelo de baixo custo lidar com a conversa inicial e fazer perguntas de esclarecimento, para então rotear a tarefa assim que ela ganhar forma. É melhor explorar com um modelo rápido e pequeno, o que deve melhorar o custo e a experiência ao mesmo tempo.
3. Tornar as sessões menores. Sessões focadas em uma única tarefa roteiam melhor e custam menos, e as ferramentas podem incentivar isso tornando o início de uma nova sessão a ação óbvia quando o assunto muda.
4. Tornar a troca barata. Tudo o que foi mencionado acima exige que as mudanças de modelo no meio da sessão sejam acessíveis. No cenário atual, onde os custos são dominados pela taxa de acerto de cache, a troca no meio da sessão é inviável em escala. A compactação de contexto é o ponto de transição natural, já que um cache miss já ocorre ali (é assim que o Devin Fusion da Cognition faz). Com o tempo, queremos que a camada de roteamento precifique explicitamente os cache misses, em vez de embutir isso na forma como usamos o roteador.

O roteamento geralmente é apresentado como uma forma de gastar menos. Embora a maioria dos nossos ganhos venha do pagamento de preços mais baixos para tarefas fáceis, o mesmo mecanismo pode nos ajudar a decidir quando gastar mais para obter um resultado melhor. A maximização do valor funciona nos dois sentidos: use o modelo barato quando ele for suficiente e tenha a confiança de gastar mais quando o valor justificar.

As ferramentas de codificação muitas vezes incentivam os usuários a consumir cada vez mais tokens, mas o que realmente queremos é otimizar o resultado produtivo por dólar, não os tokens. Escolher um modelo mais rápido e barato quando ele é suficiente não apenas economiza dinheiro. Também economiza tempo e mantém a capacidade escassa dos modelos de ponta disponível para as tarefas que realmente precisam dela.

Experimente o Smart Routing hoje mesmo

O Smart Routing já está disponível em Beta por meio do Unity AI Gateway. Ele roteia automaticamente as tarefas de codificação para o modelo correto com base na complexidade, ajudando as equipes a alcançar um desempenho de nível de ponta com mais de 30% de economia de custos, selecionando o melhor modelo para cada tarefa. Para equipes que buscam reduzir os custos de codificação com AI sem limitar a escolha ou a produtividade do desenvolvedor, o Smart Routing oferece uma alternativa à seleção manual de modelos ou à dependência de limites rígidos de gastos. E com o Omnigent, você pode estender o roteamento inteligente entre modelos e estruturas de codificação.

Para começar, visite nossas páginas de documentação:

• Para roteamento de modelos: Ative o Smart Routing por meio do Unity AI Gateway
• Para roteamento de modelo + estrutura: Use o Smart Routing com o Omnigent (v0.9.0+)

Saiba mais sobre o Unity AI Gateway visitando nosso site.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original