Vitórias da inteligência de domínio: o que "alta qualidade" realmente significa em IA de produção

À medida que as empresas passam de experimentar com IA generativa para implantar sistemas agênticos em produção, a conversa está mudando. A pergunta que os executivos estão fazendo não é mais “Este modelo consegue raciocinar?”, mas sim “Este sistema é confiável?”

Para explorar o que essa mudança realmente significa, conversei com Maria Zervou, Chief AI Officer da EMEA na Databricks. Maria trabalha em estreita colaboração com clientes de setores regulamentados e dinâmicos e passa seu tempo na interseção de arquitetura de AI, governança e execução no mundo real.

Ao longo da conversa, Maria sempre voltava ao mesmo ponto: o sucesso com a IA agentiva não está no modelo. Está nos sistemas ao seu redor: dados, disciplina de engenharia e responsabilidade clara.

Catherine Brown: Muitos executivos com quem converso ainda equiparam a qualidade da IA a quão impressionante o modelo parece. Você argumentou que essa é a estrutura errada. Por quê?

Maria Zervou: O maior equívoco que vejo são as pessoas confundindo a inteligência ou a capacidade de raciocínio percebida de um modelo com a qualidade. Não são a mesma coisa.

Qualidade, especialmente em sistemas agênticos, está relacionada à confiabilidade composta. Você não está mais avaliando uma única resposta. Você está avaliando um sistema que pode executar centenas de etapas: recuperando dados, acionando ferramentas, tomando decisões, escalando problemas. Até mesmo pequenos erros podem se acumular de maneiras imprevisíveis.

Então, as perguntas mudam. O agente usou os dados corretos? Ele encontrou os recursos certos? Ele soube quando parar ou encaminhar? É aí que a qualidade realmente reside.

E, o que é importante, qualidade significa coisas diferentes para as diferentes partes interessadas. As equipes técnicas geralmente se concentram em KPIs como custo, latência ou throughput. Os usuários finais se preocupam com a compliance da marca, o tom e as restrições legais. Portanto, se essas perspectivas não estiverem alinhadas, você acaba otimizando a coisa errada.

Catherine: Isso é interessante, especialmente porque muitos líderes presumem que os sistemas de IA precisam ser “perfeitos” para serem utilizáveis, principalmente em ambientes regulados. Como as empresas em indústrias altamente regulamentadas devem abordar as iniciativas de IA?

Maria: Em setores altamente regulados, você realmente precisa de uma precisão muito alta, mas o primeiro ponto de referência deve ser o desempenho humano. Os humanos cometem erros hoje, o tempo todo. Se você não ancorar as expectativas na realidade, nunca vai progredir.

O que mais importa é a rastreabilidade e a responsabilização. Quando algo dá errado, você consegue rastrear por que uma decisão foi tomada? Quem é o responsável pelo resultado? Quais dados foram usados? Se você não consegue responder a essas perguntas, o sistema não está pronto para a produção, por mais impressionante que seja o resultado.

Catherine: Você fala muito sobre agentes específicos de domínio em comparação com modelos de uso geral. Como os executivos devem pensar sobre essa distinção?

Maria: um modelo de propósito geral é essencialmente um mecanismo de raciocínio muito capaz, treinado em datasets muito grandes e diversificados. Mas ele não entende o seu negócio. Um agente específico de domínio usa os mesmos modelos de base, mas se torna mais poderoso por meio do contexto. Você o força a um caso de uso predefinido. Você limita o espaço que ele pode pesquisar. Você o ensina o que seus KPIs significam, o que a sua terminologia significa e quais ações ele pode executar.

Essa restrição é, na verdade, o que o torna melhor. Ao restringir o domínio, você reduz as alucinações e aumenta a confiabilidade dos resultados. A maior parte do valor não vem do modelo em si. Isso vem dos dados proprietários que ele pode acessar com segurança, da camada semântica que define o significado e das ferramentas que tem permissão para usar. Essencialmente, ele pode raciocinar com base nos seus dados. É aí que reside a vantagem competitiva.

Catherine: onde você costuma ver os fluxos de trabalho de agentes de IA falharem quando as organizações tentam passar do protótipo para a produção?

Maria: Existem três pontos principais de falha. O primeiro é a incompatibilidade de ritmo. A tecnologia avança mais rápido do que a maioria das organizações. As equipes se apressam para criar agentes antes de fazer o trabalho fundamental de acesso a dados, segurança e estrutura.

O segundo é o conhecimento tácito. Muito do que torna os funcionários eficazes está na cabeça das pessoas ou em documentos espalhados. Se esse conhecimento não for codificado em uma forma que um agente possa usar, o sistema nunca se comportará da maneira que a empresa espera.

A terceira é a infraestrutura. Muitas equipes não planejam a escala ou o uso no mundo real. Elas criam algo que funciona uma vez, em uma demonstração, mas entra em colapso sob a carga de produção.

Todos os três problemas tendem a aparecer juntos.

Catherine: Você já disse antes que capturar o conhecimento de negócios é tão importante quanto escolher o modelo certo. Como você vê as organizações fazendo isso bem?

Maria: começa com o reconhecimento de que os sistemas de IA não são projetos únicos. Eles são sistemas vivos. Uma abordagem prática é gravar e transcrever reuniões e tratar isso como matéria-prima. Em seguida, você estrutura, resume e etiqueta essas informações para que o sistema possa recuperá-las mais tarde. Com o tempo, você cria uma base de conhecimento que reflete como a empresa realmente pensa.

Igualmente importante é como você projeta as avaliações. As primeiras versões de um agente devem ser usadas pelas partes interessadas do negócio, e não apenas por engenheiros. O feedback deles — o que parece certo, o que não parece, por que algo está errado — se torna dados de treinamento.

Construir um sistema de avaliação eficaz, personalizado para o propósito específico desse agente, é fundamental para garantir resultados de alta qualidade, o que, em última análise, é fundamental para qualquer projeto de IA em produção. Nossos próprios dados de uso mostram que os clientes que usam ferramentas de avaliação de IA colocam quase 6 vezes mais projetos de IA em produção do que aqueles que não as usam.

Na prática, você está codificando o cérebro do negócio em critérios de avaliação.

Catherine: Isso parece caro e demorado. Como você equilibra rigor com velocidade?

Maria: É aqui que eu falo sobre governança mínima viável. Você não resolve a governança para toda a empresa no primeiro dia. Você a resolve para o domínio e o caso de uso específicos em que está trabalhando. Você garante que os dados sejam controlados, rastreáveis e auditáveis para aquele agente. Então, à medida que o sistema se mostra valioso, você o expande.

O que ajuda é ter blocos de construção repetíveis — padrões que já codificam boas práticas de engenharia e governança. Esse é o raciocínio por trás de abordagens como Agent Bricks, em que as equipes podem começar com bases refinadas em vez de reinventar fluxos de trabalho, avaliações e controles do zero a cada vez.

Os executivos ainda devem insistir em alguns pontos inegociáveis desde o início: KPIs de negócios claros, um patrocinador executivo nomeado, avaliações criadas com usuários de negócios e sólidos fundamentos de engenharia de software. O primeiro projeto será doloroso, mas ele estabelece o padrão para tudo o que se segue e torna os agentes subsequentes muito mais rápidos de serem implantados.

Se você pular esse o passo, acabará com o que eu chamo de “demo wear”: protótipos impressionantes que nunca se tornam reais.

Catherine: Você pode compartilhar exemplos em que os agentes mudaram significativamente a forma como o trabalho é feito?

Maria: internamente na Databricks, vimos isso em alguns lugares. Em Serviços Profissionais, os agentes são usados para escanear os ambientes dos clientes durante as migrações. Em vez de os engenheiros revisarem manualmente cada esquema e sistema, o agente gera fluxos de trabalho recomendados com base nas melhores práticas. Isso reduz drasticamente o tempo gasto em análises repetitivas.

Em Engenharia de Campo, os agentes geram automaticamente ambientes de demonstração adaptados ao setor e ao caso de uso do cliente. O que antes levava horas de preparação manual agora acontece muito mais rápido e com maior consistência.

Em ambos os casos, o agente não substituiu a especialização, ele a amplificou.

Catherine: Se você tivesse que resumir isso para um CIO ou CDO que está apenas começando nesse caminho, em que eles deveriam se concentrar primeiro?

Maria: Comece pelos dados. Agentes confiáveis exigem uma base de dados unificada, controlável e auditável. Se seus dados estiverem fragmentados ou inacessíveis, o agente falhará, não importa o quão bom seja o modelo. Em segundo lugar, seja claro sobre a responsabilidade. Quem é responsável pela qualidade? Quem é responsável pelos resultados? Quem decide quando o agente é “bom o suficiente”? E, por fim, lembre-se de que a IA agêntica não se trata de mostrar o quão inteligente o sistema é. Trata-se de se o sistema ajuda a empresa de forma confiável a tomar decisões melhores e mais rápidas, sem introduzir novos riscos.

Considerações Finais

A IA agentiva representa uma mudança real: de ferramentas que auxiliam os humanos para sistemas que agem em seu nome. Mas, como Maria deixa claro, o sucesso depende muito menos da sofisticação do modelo do que da disciplina: nos dados, na governança e na engenharia.

Para os executivos, o desafio não é se os agentes estão chegando. Mas sim se suas organizações estão prontas para construir sistemas confiáveis para quando eles chegarem.

Para saber mais sobre como construir um modelo operacional eficaz, baixe o Modelo de Maturidade de IA da Databricks.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original