Como escalar aplicações agênticas sem criar proliferação de IA

Criar um agente está cada vez mais fácil. Modelos mais capazes e agentes de codificação estão tornando o desenvolvimento e a iteração mais rápidos. No entanto, operar muitos agentes em uma empresa é um problema diferente.

À medida que os agentes passam de responder perguntas para realizar ações, eles dependem cada vez mais de uma teia de modelos, dados corporativos, semântica de negócios, ferramentas e aplicações. Um único fluxo de trabalho pode recuperar dados governados, selecionar um modelo, acionar várias ferramentas, transferir o trabalho para outro agente e atualizar um sistema de negócios — tudo isso operando com as permissões corretas e deixando um trace suficiente para entender o que aconteceu.

À medida que cada equipe conecta essas peças de forma independente, um novo tipo de proliferação de AI pode surgir: integrações duplicadas, políticas inconsistentes, aumento nos gastos com AI, contexto fragmentado e aplicações que se tornam mais difíceis de alterar conforme o número de agentes cresce.

O desafio é dimensionar essas aplicações sem multiplicar a infraestrutura em torno de cada uma delas.

Nós reunimos recentemente a Databricks, a OpenAI e a Stellantis para analisar o que é necessário para dimensionar aplicações agênticas em produção. Um tema central foi que, à medida que os agentes se tornam mais capazes e autônomos, a infraestrutura ao seu redor se torna mais importante.

Em escala corporativa, essa infraestrutura precisa fornecer três coisas: escolha, para que as equipes possam usar os modelos, ferramentas e frameworks certos à medida que evoluem; contexto, para que os agentes possam trabalhar com dados corporativos governados e significado de negócios; e controle, para que as permissões, políticas, avaliação, observabilidade e gerenciamento de custos permaneçam consistentes à medida que as aplicações crescem.

No Databricks, essa base reúne o Agent Bricks, o Omnigent e o Unity Gateway. O Agent Bricks oferece a plataforma unificada para criar, governar e otimizar frotas de agentes. O Omnigent oferece às equipes uma camada comum para trabalhar com diferentes estruturas de agentes, enquanto o Unity Gateway centraliza o acesso, os controles de custos e a observabilidade nos modelos, agentes e ferramentas que essas aplicações usam.

Com esses recursos compartilhados entre as aplicações, as equipes podem adicionar novos agentes e fluxos de trabalho sem transformar cada um deles em um projeto de integração e governança separado.

O contexto deve ser compartilhado, não reconstruído

Um agente corporativo precisa de mais do que apenas acesso a um modelo. Ele precisa dos dados, definições de negócios, documentos, aplicações e ferramentas necessários para entender a tarefa em questão.

Esse contexto geralmente já existe em toda a organização. O desafio é torná-lo disponível para os agentes de forma governada e reutilizável.

Considere dois agentes que atendem a equipes diferentes. Um agente de vendas e um agente de suporte ao cliente podem precisar entender quem é considerado um cliente ativo, quais produtos esse cliente possui e como as hierarquias de contas são definidas. Se cada aplicação recriar essas definições de forma independente, o mesmo conceito de negócio pode significar coisas diferentes em cada fluxo de trabalho.

Essa fragmentação também cria mais infraestrutura para manter, à medida que as equipes conectam os agentes separadamente a dados de clientes, definições de produtos, métricas e documentos internos.

O Agent Bricks baseia-se em uma camada de contexto compartilhada, construída em torno de dados corporativos governados e semântica de negócios. Unity Catalog governa o acesso a dados e ativos de AI, enquanto a Genie Ontology oferece aos agentes uma compreensão comum dos conceitos e relacionamentos de negócios. Recursos como Document Intelligence, AI Search e Agent Memory podem estender esse contexto com compreensão de documentos, recuperação e histórico para fluxos de trabalho mais complexos.

As equipes podem, então, reutilizar o mesmo contexto de negócios governado em todas as aplicações, em vez de recriá-lo a cada vez.

A escolha não deve criar fragmentação

É improvável que o melhor modelo, ferramenta ou estrutura de agente para uma tarefa permaneça o mesmo.

Diferentes etapas em uma aplicação agêntica podem exigir diferentes compensações entre qualidade de raciocínio, latência e custo. Novos modelos e estruturas continuam a surgir, e fluxos de trabalho complexos podem combinar vários deles ao mesmo tempo.

Essa flexibilidade torna-se difícil de gerenciar quando cada estrutura tem sua própria interface, sessões, políticas e modo de execução.

Omnigent adiciona uma camada comum acima das estruturas de agentes, para que as equipes possam compor agentes criados com diferentes estruturas e alternar entre eles com menos retrabalho. O Unity Gateway gerencia a escolha na camada de modelo e estrutura, fornecendo acesso consistente a modelos proprietários e abertos, além de Smart Routing, capacidade e controles de custos.

Juntas, essas camadas permitem que as equipes alterem os modelos e as tecnologias de agentes por trás de uma aplicação, mantendo a infraestrutura ao redor consistente.

O controle deve acompanhar cada ação

A necessidade de controle aumenta à medida que os agentes passam de gerar respostas para realizar ações.

Um agente pode ler dados da empresa, acionar um sistema de negócios, executar código, atualizar um fluxo de trabalho ou invocar outro agente. Cada recurso adicional expande o que a aplicação pode fazer e cria mais interações que precisam ser governadas.

Considere um agente que lida com o reembolso de um cliente. O funcionário que inicia a solicitação pode ter amplo acesso à conta do cliente. Ao mesmo tempo, o agente precisa apenas dos detalhes do pedido, da política de reembolso relevante e de permissão para realizar uma transação específica. Sua autoridade deve corresponder à tarefa que lhe foi solicitada.

Isso exige controles que abranjam toda a interação de AI.

O Unity Gateway fornece um plano de controle centralizado para modelos, agentes, servidores MCP, ferramentas e habilidades. As equipes podem aplicar políticas de acesso e guardrails, gerenciar orçamentos e limites de taxa, controlar quais ativos de AI estão disponíveis e reter traces dessas interações. Juntamente com o Unity Catalog, esses controles podem refletir a identidade, as permissões de dados e o contexto por trás de uma solicitação.

Para cargas de trabalho que executam código ou ferramentas, Databricks Sandbox adiciona um ambiente de execução isolado com acesso de escopo reduzido aos dados e sistemas de que o agente precisa.

O resultado é um limite mais claro sobre o que um agente pode acessar, quais ações ele pode realizar e como essas decisões são aplicadas à medida que as aplicações crescem.

O controle também exige visibilidade sobre o que aconteceu

Uma vez que uma aplicação pode recuperar contexto, escolher modelos, acionar ferramentas e coordenar várias etapas, sua resposta final conta apenas parte da história.

Uma resposta que parece correta pode ocultar uma falha de recuperação, a chamada de ferramenta errada ou um caminho de execução inesperado. Quando algo dá errado, as equipes precisam reconstruir como a aplicação chegou ao seu resultado: quais informações ela usou, quais ferramentas acionou, qual modelo processou a tarefa, quais políticas foram aplicadas e onde o comportamento divergiu das expectativas.

O Unity Gateway centraliza a telemetria em todas as interações de AI, incluindo traces, uso, custo e atividade de ferramentas. MLflow complementa essa visibilidade operacional com fluxos de trabalho de rastreamento e avaliação que permitem às equipes inspecionar o comportamento da aplicação, capturar interações representativas em conjuntos de dados e avaliar alterações em prompts, modelos, ferramentas ou orquestração.

Esse feedback pode informar a próxima iteração da aplicação. As equipes podem comparar as alterações antes de uma implantação mais ampla, identificar regressões e usar o comportamento em produção para melhorar a qualidade, a confiabilidade e o custo ao longo do tempo.

A infraestrutura compartilhada facilita a composição

Fluxos de trabalho de negócios mais amplos geralmente envolvem mais de um agente, modelo ou ferramenta. Um componente pode entender a solicitação de um usuário, outro pode analisar dados e um sistema determinístico pode realizar um cálculo ou atualizar um processo de negócios.

A capacidade de compor essas peças se torna mais valiosa quando a infraestrutura ao redor delas já é compartilhada. O Omnigent oferece uma interface comum para agentes criados com diferentes harnesses, enquanto o Agent Bricks fornece a plataforma mais ampla para criar e operar a frota de agentes resultante. O mesmo contexto e controles governados podem ser aplicados em todo o fluxo de trabalho.

À medida que as equipes criam mais aplicativos, agentes, ferramentas, habilidades e contexto de negócios podem se tornar blocos de construção reutilizáveis. Novos fluxos de trabalho podem aproveitar a infraestrutura existente, bem governada e observável, em vez de criar outra pilha isolada.

Crie com foco em escolha, contexto e controle

À medida que os agentes se tornam mais capazes, a arquitetura ao redor deles carrega mais responsabilidade para torná-los confiáveis em escala empresarial.

Escolha dá às equipes espaço para adotar novos modelos, harnesses e ferramentas à medida que o ecossistema muda. 

Contexto fundamenta esses aplicativos em dados corporativos governados e semântica de negócios. 

Controle oferece governança e operações consistentes em toda a frota de agentes resultante, desde permissões e políticas até orçamentos, traces, avaliação e custo.

O Agent Bricks reúne esses recursos como uma plataforma unificada para criar, governar e otimizar frotas de agentes em escala, com o Omnigent oferecendo suporte à composição entre harnesses e o Unity Gateway fornecendo um plano de controle comum para interações de AI.

Os modelos e harnesses continuarão mudando. As empresas não precisam se padronizar em um deles para escalar com sucesso. Elas precisam padronizar a infraestrutura ao redor deles — para que novos agentes possam herdar o mesmo contexto, controles e modelo operacional sem criar outra camada de dispersão de AI.

Saiba mais

Assista ao Agents at Work: Shipping Agentic Apps at Scale sob demanda para uma discussão mais aprofundada sobre a infraestrutura, o modelo operacional e os padrões de produção por trás de aplicativos de agentes na empresa.

Primeiros passos

Com a Agent Bricks CLI, começar é fácil. Em apenas algumas linhas de código, você pode desenvolver um agente integrado a todos os recursos do Agent Bricks, incluindo o Unity Gateway para capacidade de modelo, Runtime hospedado na infraestrutura da Databricks e rastreamento de agentes desenvolvido com MLflow.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original