Um guia sobre as pessoas, processos e tecnologias necessárias para implantar agentes de AI governados e confiáveis em escala corporativa
AgentOps é a disciplina operacional para construir, implantar e aprimorar agentes de AI em produção. Ela reúne arquitetura, avaliação, observabilidade, governança, segurança e gestão de custos em um processo que as equipes podem repetir.
Um agente de AI é mais do que um modelo que produz uma resposta. Os agentes podem escolher ferramentas em tempo de execução, recuperar dados corporativos, chamar APIs e realizar tarefas de várias etapas por conta própria. Cada uma dessas capacidades é um ponto onde algo pode dar errado, como uma chamada de ferramenta malsucedida, uma permissão excessivamente ampla ou um pico de custo não planejado.
O AgentOps existe para evitar que essa complexidade se torne um problema. Quando bem feito, ele torna o sistema confiável o suficiente para que as pessoas confiem nele e simples o suficiente para que uma equipe possa realmente operá-lo.
A AI generativa passou da experimentação para o ambiente corporativo mais rápido do que a maioria das ondas tecnológicas. O próximo desafio é transformar pilotos promissores em sistemas nos quais as pessoas possam confiar.
A maioria das equipes estagna nas mesmas questões operacionais:
Responder a essas perguntas exige mais do que um modelo mais forte. Exige um modelo operacional para o próprio agente.
Este é um território familiar. O MLOps amadureceu à medida que as equipes tiravam os modelos de machine learning dos notebooks e os levavam para a produção. O LLMOps veio em seguida, adicionando práticas para versionamento de prompts e modelos, disponibilização distribuída e controle de custos. O AgentOps é a próxima camada e estende essa disciplina para sistemas que raciocinam, usam ferramentas e agem por conta própria.
Um agente em produção precisa de limites claros sobre o que suas ferramentas podem acessar, um registro rastreável de execução em várias etapas, uma maneira de medir a qualidade, um plano para o que acontece quando algo falha e alinhamento suficiente entre engenharia, produto, segurança, conformidade e finanças para que ninguém seja pego de surpresa quando ele for lançado.
A experiência do cliente comprova isso. O agente de conhecimento text-to-code da FactSet evoluiu de um único modelo de fundação para um sistema de agentes completo e entregou uma melhoria de 44% na precisão. Leia a história da FactSet.
O Big Book of AgentOps codifica as práticas que ajudam as equipes corporativas a fazer essa transição: padrões de arquitetura, um pipeline de entrega em fases, loops de avaliação e feedback, governança, gestão de custos e as decisões dos stakeholders que determinam se um agente realmente chega à produção.
O livro vai dos conceitos à implementação ao longo de seis capítulos.
Os agentes não são o mesmo que uma chamada de LLM de prompt e resposta.
Registro de logs, etapas de avaliação, governança, rollback e monitoramento são todos importantes, mas os requisitos mudam entre quatro arquiteturas de agentes. Apresentamos cada arquitetura e seus respectivos requisitos operacionais para facilitar a referência.
Além disso, igualmente importantes são os antipadrões que impedem o lançamento de pilotos: começar com um caso de uso amplo demais, recorrer à orquestração de múltiplos agentes antes que a complexidade seja justificada, ter um loop de raciocínio desnecessário e deixar a avaliação para mais tarde do que deveria. Compartilhamos uma lista dos antipadrões mais comuns que observamos para que erros semelhantes possam ser evitados.
As arquiteturas de implantação variam de simples a complexas, dependendo do caso de uso e das necessidades da organização. Abordamos quatro padrões de implantação que vão desde a implantação a partir de um único workspace do Databricks até a configuração mais complexa: uma topologia corporativa de várias contas e múltiplos agentes. Cada padrão vem com orientações sobre como selecionar e evoluir entre os padrões à medida que suas necessidades mudam. Em cada etapa, o Unity Catalog, o Unity Gateway e o MLflow permanecem no centro do suporte à arquitetura.
Um roteiro de sete fases que vai desde como formar uma equipe e selecionar um caso de uso até a configuração da infraestrutura de dados, loops de avaliação e melhores práticas de governança.
Destacamos pontos importantes a serem observados em cada fase. Por exemplo, o custo é uma parte importante do ciclo de vida. Uma única solicitação do usuário pode acionar várias chamadas de modelo quando subagentes, tentativas e verificações de guardrails são levados em consideração. Isso torna essencial atribuir o uso, definir limites e estabelecer uma responsabilidade clara pelos gastos.
As equipes precisam iterar rapidamente para desenvolver um agente de alta qualidade. Elas também precisam evoluir o agente com base nos avanços na fronteira da pesquisa e em resposta às necessidades em constante mudança de sua organização. Para lidar com isso, destacamos como os princípios de fluxo, feedback e aprendizado contínuo, extraídos de The DevOps Handbook, fornecem uma base útil para operar sistemas de agentes de AI.
Aplicar esses princípios a sistemas de agentes significa construir um conjunto de dados de avaliação de referência (golden dataset) a partir de rastreamentos reais, calibrar avaliadores automatizados com base no feedback de especialistas no assunto (SMEs) e usar os resultados da avaliação para direcionar o que será construído a seguir. Um exemplo prático de um agente de e-mail de atendimento ao cliente mostra a revisão humana, avaliadores baseados em modelos e verificações baseadas em regras funcionando juntos, sem transformar cada lançamento em uma auditoria manual.
Uma sequência de planejamento de seis etapas ajuda as equipes a direcionar os esforços onde eles realmente fazem a diferença no resultado: mapear o fluxo de trabalho humano, traduzi-lo em uma arquitetura técnica, definir as necessidades de observabilidade por persona, projetar o rastreamento no sistema, mapear os controles de acesso a dados e ferramentas e identificar o que pode ser reaproveitado.
Um agente de suporte ao cliente de telecomunicações coloca a sequência em prática, chegando até os esquemas de dados, as ferramentas disponíveis para um subagente de faturamento e os controles refinados que impedem que um cliente veja os dados de outro.
Uma boa engenharia não garante que um agente chegue à produção. Em vez disso, muitos projetos tecnicamente sólidos estagnam devido a problemas com pessoas.
A prontidão para produção depende do alinhamento dos stakeholders em toda a organização, desde patrocinadores executivos e proprietários de produtos até especialistas no assunto (SMEs), segurança, conformidade e finanças. Esta seção fornece uma matriz RACI prática que esclarece a responsabilidade pelas decisões que costumam travar com mais frequência, além de sugestões de cadências de comunicação para as fases pré e pós-lançamento do projeto. Esses processos de equipe garantem loops de feedback estreitos com especialistas no assunto (SMEs), fazendo com que o monitoramento operacional pós-lançamento e as revisões ocorram de forma tranquila, e que os projetos entreguem valor a longo prazo.
Escolha um caso de uso bem definido com métricas de sucesso claras antes de recorrer à orquestração. Apresente um protótipo funcional aos stakeholders o quanto antes. Deixe que o aprendizado obtido, e não um roteiro predefinido, decida o que será construído a seguir.
A DXC Technology seguiu esse caminho ao expandir seu portfólio de AI. A empresa agora opera três agentes de AI em produção, tem mais oito em fase de piloto ou desenvolvimento e reduziu o custo total de propriedade da plataforma em 30% após migrar para o Databricks. Leia a história da DXC Technology.
A avaliação é o que permite a uma equipe lançar um agente com confiança e continuar atualizando-o com segurança posteriormente. Comece com especialistas no assunto (SMEs) revisando rastreamentos reais, e não com um punhado de prompts de chat selecionados a dedo. Esse julgamento humano revela modos de falha, constrói um conjunto de avaliação representativo e calibra os avaliadores automatizados que eventualmente assumirão as verificações de rotina.
O Databricks incorpora isso diretamente na plataforma: avaliação de agentes, avaliadores assistidos por AI e análise baseada em rastreamento que permitem às equipes encontrar problemas de produção, investigar as causas raiz e testar uma correção antes de implantar novamente.
A Intercontinental Exchange (ICE) colocou isso em prática em um aplicativo text-to-SQL governado que responde a perguntas de negócios usando dados financeiros, alcançando 77% de precisão sintática e 96% de correspondência de execução em cerca de 50 consultas.
Os controles que residem em aplicativos individuais tornam-se mais difíceis de auditar à medida que o número de agentes cresce. Uma abordagem de plataforma oferece às equipes um único lugar para gerenciar o acesso a dados, o uso de modelos e ferramentas, o rastreamento, a avaliação e a aplicação de políticas, em vez de reinventar governança para cada novo agente.
No Databricks, essa base é o MLflow para avaliação e rastreamento, o Unity Gateway para tráfego de modelos e ferramentas, e o Unity Catalog para descoberta governada, permissões, linhagem e controle de acesso em ativos de dados e AI.
A Block é um bom exemplo do que uma base governada proporciona. Seu ambiente Databricks suporta casos de uso operacionais e de AI, com o Unity Catalog gerenciando o acesso a dados entre unidades de negócios. A Databricks relata US$ 10 milhões em ganhos de produtividade com o sistema de agentes de AI da Block para operações de vendedores.
O Big Book of AgentOps foi escrito para qualquer pessoa responsável por colocar um agente de AI em produção ou mantê-lo funcionando depois de ativo:
Qualquer pessoa cujos usuários dependam do comportamento do agente deve ter este livro em sua mesa.
Leia o eBook completo para se aprofundar e explorar os recursos da plataforma por trás dos agentes de AI em produção:
É o conjunto de práticas para construir, avaliar, implantar, governar, observar e melhorar agentes de AI depois que eles estão ativos, além da disciplina operacional que mantém um sistema raciocinando, usando ferramentas e agindo de forma confiável.
Porque muita coisa pode acontecer entre a chegada de uma solicitação e o envio de uma resposta: chamadas de ferramentas, recuperação, verificações de permissão, tentativas de repetição e orquestração. Cada um desses fatores afeta a qualidade, o risco, a latência ou o custo, e nenhum deles aparece se você estiver apenas observando o resultado final do modelo.
Cenários de agentes e antipadrões, arquiteturas de implantação, um pipeline de projeto de sete fases, loops de avaliação e feedback, práticas de DevOps adaptadas para sistemas não determinísticos, atividades de planejamento de alto impacto e gestão de partes interessadas.
Escolha um caso de uso específico com critérios de sucesso mensuráveis. Crie um conjunto de avaliação a partir de exemplos reais, rastreie o que o agente realmente faz, aplique governança de menor privilégio e defina um ritmo operacional antes de expandir para uma orquestração mais complexa.
(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original
Assine nosso blog e receba os posts mais recentes diretamente na sua caixa de entrada.