A nova economia da gestão de custos de IA

Nos últimos dois anos, a história em torno da adoção de AI empresarial tem sido principalmente sobre fazer com que as pessoas a utilizem. Nos últimos meses, essa história vem mudando rapidamente em muitas organizações. A observabilidade de AI, que antes mecia o sucesso pelo volume de tokens, está começando a medir o sucesso pelo retorno sobre o investimento, e as empresas que descobrirem o gerenciamento de custos primeiro serão as que conseguirão escalar a AI sem que os gastos ultrapassem a receita.

Em essência, o gerenciamento de custos de AI é a prática de medir, atribuir, controlar e otimizar os gastos com AI em modelos, agentes, aplicações e equipes. O objetivo não é simplesmente usar menos tokens, mas maximizar o valor de negócio gerado para cada dólar gasto. À medida que os agentes de AI assumem mais trabalhos autônomos, essa disciplina se estende cada vez mais ao gerenciamento do custo do raciocínio dos agentes, chamadas de ferramentas e dos modelos que os sustentam.

Conversamos com Kevin Stumpf, Senior Staff Engineer na Databricks e Technical Lead do Unity Gateway, para discutir como as equipes devem colocar essa disciplina em prática: não tratando o custo de AI como um item de orçamento a ser minimizado, mas como um sistema a ser gerenciado.

Do tokenmaxxing ao valuemaxxing

As redes sociais estão cheias de líderes argumentando que o "tokenmaxxing" — executar AI o mais intensamente e com a maior frequência possível — é a maneira certa de acelerar a inovação. Além das implicações óbvias de custo, por que essa é a maneira errada de pensar sobre a adoção de AI?

Kevin Stumpf: A indústria está mudando do tokenmaxxing para o valuemaxxing. No início, havia tabelas de classificação públicas mostrando quantos tokens as pessoas estavam consumindo, e isso fazia sentido como estratégia na época. Muita gente estava relutante em começar a usar AI, então mostrar que os líderes em quem todos se espelhavam eram grandes usuários de AI deu aos outros um motivo para seguir o exemplo. Se eu vejo alguém que respeito usando muita AI, quero ser como essa pessoa.

Mas o sistema foi manipulado. Assim que estar no topo do ranking se tornou um símbolo de status, as pessoas perceberam que a maneira mais rápida de chegar lá não era com um bom trabalho, mas com volume. Inicie um agente básico que roda em loop, peça para ele perguntar como está o tempo repetidamente e consuma tokens sem fazer essencialmente nada. Esse foi o resultado previsível de uma estrutura de incentivos que recompensava o uso bruto em vez dos resultados.

Agora que as organizações aderiram amplamente à AI, a conversa mudou para o uso responsável e eficaz. O que deveríamos realmente buscar é um tipo diferente de ranking, que classifique as pessoas pelo impacto gerado com AI dividido pelo custo para gerá-lo. Isso é o retorno sobre o investimento, e é algo muito mais difícil de quantificar do que a contagem bruta de tokens, mas é o número que realmente importa. Relacionado: O que está impulsionando a adoção de AI empresarial?

O que a atribuição de custos realmente significa na prática

Você pode nos explicar o que a "atribuição de custos" realmente significa em AI?

Kevin Stumpf: A atribuição de custos de AI se resume a responder a duas perguntas: de onde vêm meus gastos e o que obtive com eles? No nível mais simples, isso significa atribuir custos a um usuário individual ou a uma equipe, como uma equipe de ciência de dados ou de engenharia de software. Também pode ser mapeado para um projeto específico ou para um nó em um organograma, como entender quanto gasto fica sob a responsabilidade de um VP de AI em comparação com um SVP de engenharia.

O objetivo é ter uma visibilidade granular o suficiente para que você possa analisar os dados sob vários ângulos e entender de onde os custos realmente vêm, porque você não pode gerenciar o que não pode medir. A Databricks oferece atribuição de custos nativamente por usuário, grupo, agente, endpoint de AI gateway, modelo, provedor e período de tempo. Mas as organizações também podem hiperpersonalizá-la usando tags no nível de solicitação. Uma tag pode representar qualquer coisa importante para sua organização, como um pull request específico, um recurso ou um cliente externo e, quando cada solicitação contiver essa tag, você poderá agregar os gastos conforme necessário.

Essa mudança no sentimento dos clientes tem sido real. Há seis meses, a principal preocupação era ficar para trás na adoção de AI. Agora é o oposto: a AI é frequentemente usada para coisas irrelevantes, os custos estão crescendo mais rápido do que a receita, e os líderes estão se perguntando como inverter essa curva de custos antes que ela comprometa a lucratividade. Isso não é uma hipótese. É uma conversa de nível de diretoria em quase todas as organizações com as quais conversamos, inclusive internamente na Databricks.

Controlando o inchaço de contexto

O uso de tokens e o tamanho da janela de contexto costumam ser bastante culpados, mas raramente são bem explicados. Como o inchaço de contexto realmente se parece em um sistema de produção e qual é a solução prática?

Kevin Stumpf: Inchaço de contexto significa fornecer a um agente muito mais informações do que ele precisa para tomar uma boa decisão. Isso é um problema por dois motivos. Primeiro, consome tokens desnecessários. Segundo, distrai: o agente precisa processar essas informações extras e decidir se são relevantes, o que gera um overhead próprio. É parecido com entregar a uma pessoa uma pilha de documentos irrelevantes e pedir para ela descobrir o que importa antes mesmo de começar a tarefa.

A melhor solução não é cortar ou fazer cache posteriormente, mas sim evitar a geração do inchaço desde o início. Um padrão comum e eficaz é permitir que o agente busque o contexto relevante sob demanda, por meio de ferramentas, servidores MCP ou habilidades, em vez de fornecer proativamente tudo o que ele possa precisar de antemão. Você só deve fornecer contexto a um agente por padrão se tiver 90% ou mais de certeza de que é genuinely importante para a tarefa em questão. Caso contrário, informe ao agente o que está disponível e permita que ele busque o que precisa quando precisar.

Roteamento dinâmico de modelos e harnesses

A seleção de modelo costuma ser uma decisão de "escolher uma vez". Por que ela deveria ser dinâmica e como o roteamento inteligente decide, em tempo real, se uma tarefa precisa de um modelo de ponta ou de algo mais barato e rápido? Essa mesma ideia se aplica à escolha entre diferentes harnesses de agentes?

Kevin Stumpf: A otimização de custos de AI não consiste em escolher sempre o modelo mais barato, e as equipes devem passar a escolher o modelo ou harness de menor custo capaz de entregar a qualidade exigida pela tarefa. A realidade atual é que os modelos de ponta são altamente capazes e caros, enquanto os modelos que não são de ponta ainda são muito capazes, apenas menos caros. Aproximadamente 5 a 10% das tarefas realmente precisam de um modelo de ponta, seja porque o impacto é alto o suficiente para exigir o melhor resultado possível, seja porque o problema é complexo demais para algo inferior. Os outros 90% das tarefas podem ser resolvidos por modelos menores, sejam modelos open source hospedados por você mesmo ou famílias de modelos mais baratas dos principais laboratórios.

Deixados por conta própria, a maioria dos funcionários optará por padrão pelo modelo mais caro disponível, porque seu objetivo é simplesmente resolver o problema, e ninguém está controlando quanto isso custa individualmente. O Smart Routing resolve isso inserindo uma camada que avalia a complexidade da tarefa em tempo real e decide se uma solicitação deve ir para um modelo de ponta ou para um de menor custo, com o objetivo de manter a mesma qualidade de resultado a um custo menor.

O roteamento de harness é a próxima camada além do roteamento de modelos. Há pesquisas recentes mostrando que o mesmo modelo exato, executado por meio de um harness diferente, pode gerar custos significativamente distintos. Isso faz sentido, porque o harness determina como o modelo interage com seu ambiente: quais regras ele segue, quando compacta a janela de contexto, qual lógica de negócios rege seu comportamento. Tudo isso afeta diretamente quantos tokens são gastos. O roteamento de harness é o próximo passo nessa evolução progressiva da otimização de custos, que viabilizamos por meio do Unity Gateway e do Omnigent, nosso meta-harness.

Criando limites de controle de gastos

Vamos falar sobre os limites para os próprios gastos, como limites rígidos, orçamentos e limites de taxa. Qual é a maneira correta de projetá-los para evitar custos descontrolados sem prejudicar a produtividade dos desenvolvedores nem interromper fluxos de trabalho em produção?

Kevin Stumpf: Algumas regras se aplicam a todas as organizações, enquanto outras dependem do caso de uso ou da empresa. Todos deveriam estabelecer limites rígidos de gastos para evitar o uso descontrolado. Se o seu usuário avançado típico gasta no máximo cerca de US$ 300 por dia em AI, defina o limite rígido um pouco acima disso, talvez US$ 500. Essa margem oferece espaço para identificar erros genuínos, como um agente que ficou rodando em loop por acidente, sem interromper dias legítimos de alto uso.

Além dessa linha de base, orçamentos diferenciados por equipe ou projeto fazem muito sentido. Uma equipe que trabalha em algo crítico para o CEO pode justificar um orçamento muito maior do que uma equipe trabalhando em demandas de menor prioridade, e essa decisão deve ponderar o valor do que a equipe produz em relação ao custo de conceder mais margem de orçamento.

Os orçamentos também devem ser capazes de acionar diferentes tipos de resposta, e não apenas uma parada total. Eles podem enviar alertas, aplicar limites rígidos ou reduzir a capacidade disponível do modelo, por exemplo, interrompendo o acesso padrão a modelos de ponta assim que uma equipe consumir 70% do seu orçamento e direcionando o restante das solicitações para modelos de código aberto. Os princípios fundamentais que se aplicam a tudo são: evitar gastos descontrolados, definir limites diferenciados por grupo ou projeto, alertar antes de limitar e implementar uma redução inteligente de capacidade em vez de um desligamento abrupto.

Medindo o que a IA realmente entrega

Quais plataformas oferecem monitoramento de agentes e rastreamento de custos juntos, e até onde essa visibilidade pode levá-lo na medição do ROI real, e não apenas dos gastos?

Kevin Stumpf: Medir custos é muito mais fácil do que conectar esse custo ao retorno sobre o investimento, e essa é a pergunta que todos querem responder e que quase ninguém resolveu completamente ainda. A marcação no nível de sessão ou de solicitação é o que torna isso possível. Se um agente estiver trabalhando em um pull request específico, ele pode marcar sua sessão ou as solicitações específicas que gera com o identificador desse pull request. Essa atribuição retorna a um painel de custos, para que você possa ver, por exemplo, que um determinado pull request custou US$ 300 para ser concluído. Isso é algo que já estamos fazendo internamente na Databricks.

Em um cenário ideal, e isso é algo que estamos incorporando ao produto Unity Gateway, você pode ir um passo além e conectar esse pull request a um recurso específico, e esse recurso a um resultado mensurável, como quanta receita ou pipeline ele gerou em um determinado período. Esse é o grande objetivo: não apenas saber quanto a IA custou, mas saber qual foi o seu retorno. Com o Unity Gateway, já temos uma plataforma altamente personalizável sobre a qual construir isso, e estamos investindo para disponibilizar essa visualização de custo versus retorno de forma nativa, em vez de ser algo que as equipes precisem construir por conta própria.

A visibilidade dos gastos exige um sistema centralizado

Para uma empresa que executa vários modelos, agentes e ferramentas em diversas equipes, o que uma boa visibilidade de gastos realmente exige? É um problema de painel, de governança ou de FinOps?

Kevin Stumpf: Uma boa visibilidade de gastos exige que toda interação de IA passe por um sistema centralizado. É isso que permite consolidar as informações corretas de forma consistente, para que você possa criar painéis e alertas confiáveis com base nela. Um gateway de IA fornece um ponto de controle centralizado para o gerenciamento de custos de IA em todos os modelos, agentes, ferramentas e equipes. O Databricks Unity Gateway foi projetado para fornecer esse ponto de controle centralizado em modelos, agentes, ferramentas e agentes de codificação. Quando as interações de IA passam por um ponto de controle comum, as organizações podem observar o uso, atribuir custos, aplicar orçamentos e otimizar gastos em um só lugar.

Mas ter o sistema centralizado não é suficiente por si só. Você também precisa de uma maneira de garantir que todos realmente direcionem seu tráfego de IA por meio dele. A visibilidade só funciona se a adoção for universal, e não opcional.

Equilibrando a otimização de custos e a qualidade dos resultados

O controle de custos não pode ocorrer às custas da qualidade ou da confiabilidade. Como saber quando uma otimização foi longe demais e começou a prejudicar os resultados?

Kevin Stumpf: Isso realmente depende do caso de uso. Você precisa de um mecanismo de feedback, que pode ser subjetivo ou objetivo. O feedback subjetivo é anedótico, alguém da equipe dizendo que não consegue fazer o trabalho dentro do orçamento atual. Isso é rápido de obter, mas fácil de descartar como a reclamação de apenas uma pessoa. O feedback objetivo vem de avaliações automatizadas, que são mais difíceis de configurar, mas muito mais confiáveis.

Para um caso de uso comum, como agentes de codificação, isso pode significar definir uma métrica substituta de qualidade, como pull requests integrados que não são revertidos em duas semanas. A partir daí, você pode experimentar: cortar o orçamento pela metade e ver se essa métrica principal muda, se mantém estável ou até melhora, já que as restrições às vezes estimulam a criatividade. Realizar experimentos paralelos em equipes com orçamentos, modelos e estruturas diferentes, ou comparações com tempo limitado ao longo de algumas semanas, permite inferir se um determinado orçamento está criando ou destruindo valor, em vez de apenas adivinhar.

O valor do rastreamento ponta a ponta

Qual é o papel do monitoramento e rastreamento ponta a ponta aqui? Depois de conseguir visualizar prompts, chamadas de ferramentas e uso de tokens em todo o fluxo de trabalho de um agente, o que isso possibilita que você não conseguia fazer antes?

Kevin Stumpf: O rastreamento consiste em coletar todo o histórico detalhado do que os agentes estão fazendo: o que estão pensando, quais ferramentas estão chamando, quais dados estão extraindo, se os prompts são bons ou ruins. Esses dados brutos são o que você pode minerar para obter insights, seja para identificar abusos, desperdícios, falhas de segurança ou simplesmente padrões que você nunca pensou em procurar.

Isso reflete o que aconteceu no setor de dados em geral. No início, tínhamos apenas dados estruturados e limpos em bancos de dados. Depois vieram os data lakes, que por um tempo se tornaram pântanos de dados porque as pessoas despejavam dados não estruturados neles sem uma maneira de extrair valor. Com o tempo, esses pântanos se transformaram novamente em data lakes úteis e, agora, estamos em uma posição melhor do que nunca para extrair insights de dados não estruturados e semiestruturados, em grande parte porque os LLMs são flexíveis o suficiente para processá-los. Os rastreamentos de agentes se enquadram nessa mesma categoria. Quanto mais dados você coleta, mais insights ficam disponíveis, e acessá-los está mais fácil do que nunca.

Escalando para frotas de agentes

Muitas empresas estão migrando de aplicações de IA individuais para frotas de agentes. Essa mudança altera a equação de custos (novos geradores de custos? novos pontos cegos?) em comparação com a execução de um único modelo por trás de uma aplicação?

Kevin Stumpf: Ela não altera tanto a equação, mas sim a multiplica. Os enxames de agentes serão a nova realidade, e cada um desses agentes consumirá tokens que precisam ser atribuídos, monitorados e gerenciados. Agora é o momento de estabelecer a base certa de visibilidade e gerenciamento de custos, antes que o número de agentes em produção cresça como está projetado.

Os agentes de codificação são a categoria dominante que consome tokens hoje, mas isso se expandirá para muitas outras classes de agentes que realizam trabalho autônomo 24 horas por dia, 7 dias por semana, com agentes chamando outros agentes que chamam outros agentes. As organizações que esperarem essa complexidade chegar para construir uma infraestrutura centralizada de observabilidade e gerenciamento de custos de IA a construirão sob pressão, em vez de fazerem isso em seus próprios termos.

Se você tivesse que deixar aos líderes de IA corporativa uma mudança de mentalidade sobre o gerenciamento de custos para o próximo ano, qual seria?

Kevin Stumpf: Eu não esperaria pelo próximo ano. Isso é urgente e deve ser tratado dessa forma a partir de agora. Se eu tivesse que resumir isso em uma única ideia, seria: não dá para gerenciar o que você não mede. Isso se aplica a matérias-primas, aplica-se a pessoas e se aplica igualmente à IA. A IA está se tornando rapidamente um dos itens mais importantes na demonstração do fluxo de caixa de uma empresa e precisa ser totalmente instrumentada para que possa ser medida e, por sua vez, gerenciada. É apenas mais um ingrediente bruto no sistema que produz os bens ou serviços da sua organização, e merece ser tratado com a mesma disciplina.

O tempo está correndo Controlar os custos de IA entre equipes usando vários modelos e ferramentas não é um problema que se resolve com um único painel ou com a escolha pontual de um modelo. É uma disciplina operacional: atribuição granular o suficiente para rastrear gastos até uma pessoa ou projeto, roteamento que se adapta em tempo real ao que a tarefa exige, proteções que evitam gastos descontrolados antes que se tornem um problema e rastreamento detalhado o suficiente para transformar dados brutos de uso em insights reais. As organizações que estão se destacando não são as que gastam menos em IA. São aquelas que podem dizer, com confiança, exatamente o que obtiveram com o que gastaram.

Saiba mais sobre como o Unity Gateway centraliza a atribuição de custos, o roteamento inteligente e as proteções de gastos em todo o seu ecossistema de IA.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original