Acertando na governança de IA sem desacelerar tudo

À medida que as empresas passam da experimentação com IA para a escala, a governança se tornou uma preocupação no nível da diretoria. O desafio para os executivos não é mais se a governança importa, mas como projetá-la de uma forma que permita velocidade, inovação e confiança ao mesmo tempo.

Para explorar como esse equilíbrio está se manifestando na prática, conversei com David Meyer, vice-presidente sênior de produtos da Databricks. Trabalhando em estreita colaboração com clientes de diversas indústrias e regiões, David tem uma visão clara de onde as organizações estão fazendo progressos reais, onde estão enfrentando dificuldades e como as decisões de governança de hoje moldam o que será possível amanhã.

O que se destacou na nossa conversa foi o pragmatismo dele. Em vez de tratar a governança de IA como algo novo ou abstrato, David retornava consistentemente aos primeiros princípios: disciplina de engenharia, visibilidade e responsabilidade.

Governança de AI como uma forma de avançar mais rápido

Catherine Brown: Você passa muito tempo com clientes de várias indústrias. O que está mudando na forma como os líderes pensam em governança ao planejar para o próximo ano ou dois?

David Meyer: Um dos padrões mais claros que vejo é que os desafios de governança são tanto organizacionais quanto técnicos, e os dois estão intimamente ligados. Do lado organizacional, os líderes estão tentando descobrir como permitir que as equipes ajam rapidamente sem criar o caos.

As organizações que enfrentam dificuldades tendem a ser excessivamente avessas ao risco. Elas centralizam todas as decisões, adicionam processos de aprovação rigorosos e, sem querer, atrasam tudo. Ironicamente, isso geralmente leva a resultados piores, não mais seguros.

O interessante é que uma governança técnica forte pode, na verdade, proporcionar flexibilidade organizacional. Quando os líderes têm visibilidade real sobre quais dados, modelos e agentes estão sendo usados, eles não precisam controlar cada decisão manualmente. Eles podem dar mais liberdade às equipes porque entendem o que está acontecendo em todo o sistema. Na prática, isso significa que as equipes não precisam pedir permissão para cada modelo ou caso de uso — o acesso, a auditoria e as atualizações são gerenciados centralmente, e a governança acontece por design, em vez de por exceção.

Catherine Brown: Muitas organizações parecem estar presas entre agir muito rápido e bloquear tudo. Onde você vê as empresas acertando nisso?

David Meyer: Eu geralmente vejo dois extremos.

De um lado, temos empresas que se declaram “AI first” e incentivam todos a criar livremente. Isso funciona por um tempo. As pessoas agem rápido, e há muita empolgação. Então, quando você pisca, de repente tem milhares de agentes, nenhum inventário real, nenhuma ideia dos custos e nenhuma visão clara do que está de fato rodando em produção.

No outro extremo, existem organizações que tentam controlar tudo desde o início. Elas estabelecem um único ponto de estrangulamento para aprovações, e o resultado é que quase nada de significativo é implantado. Essas equipes geralmente sentem uma pressão constante de que estão ficando para trás.

As empresas que estão fazendo isso bem costumam se situar em um meio-termo. Em cada função de negócios, eles identificam pessoas que são alfabetizadas em AI e podem orientar a experimentação localmente. Essas pessoas trocam informações em toda a organização, compartilham o que está funcionando e restringem o conjunto de ferramentas recomendadas. Passar de dezenas de ferramentas para apenas duas ou três faz uma diferença muito maior do que as pessoas esperam.

Agentes não são tão novos quanto parecem.

Catherine: Uma coisa que você disse antes realmente se destacou. Você sugeriu que os agentes não são tão fundamentalmente diferentes quanto muitas pessoas supõem.

David: Isso mesmo. Os agentes parecem algo novo, mas muitas de suas características são, na verdade, bastante familiares.

Eles custam dinheiro continuamente. Eles expandem sua área de superfície de segurança. Eles se conectam a outros sistemas. Todas essas são coisas com as quais já lidamos antes.

Já sabemos como governar ativos de dados e APIs, e os mesmos princípios se aplicam aqui. Se você não sabe onde um agente existe, não consegue desativá-lo. Se um agente acessa dados sensíveis, alguém precisa ser responsável por isso. Muitas organizações presumem que sistemas de agentes exigem um manual de regras totalmente novo. Na realidade, se você aplicar as práticas comprovadas de ciclo de vida e governança da gestão de dados, já terá a maior parte do caminho andado.

Catherine: Se um executivo pedisse um ponto de partida simples, o que você diria a ele?

David: Eu começaria com a observabilidade.

Uma IA de impacto quase sempre depende de dados proprietários. É preciso saber quais dados estão sendo usados, quais modelos estão envolvidos e como essas peças se unem para formar os agentes.

Muitas empresas estão usando vários provedores de modelos em diferentes nuvens. Quando esses modelos são gerenciados isoladamente, torna-se muito difícil entender o custo, a qualidade ou o desempenho. Quando dados e modelos são governados em conjunto, as equipes podem testar, comparar e aprimorar com muito mais eficácia.

Essa observabilidade é ainda mais importante porque o ecossistema está mudando muito rápido. Os líderes precisam ser capazes de avaliar novos modelos e abordagens sem reconstruir toda a sua stack sempre que algo muda.

Catherine: Em que pontos as organizações estão progredindo rapidamente e onde elas costumam empacar?

David: Agentes baseados em conhecimento geralmente são os mais rápidos de implementar. Você os direciona para um conjunto de documentos e, de repente, as pessoas podem fazer perguntas e obter respostas. Isso é poderoso. O problema é que muitos desses sistemas se degradam com o tempo. O conteúdo muda. Os índices ficam desatualizados. A qualidade cai. A maioria das equipes não planeja isso.

Manter o valor significa pensar além da implantação inicial. Você precisa de sistemas que refreshem os dados continuamente, avaliem os resultados e melhorem a precisão ao longo do tempo. Sem isso, muitas organizações veem ótimos primeiros meses de atividade, seguidos por uma queda no uso e no impacto.

Tratando a IA agentiva como uma disciplina de engenharia

Catherine: Como os líderes estão equilibrando velocidade com confiança e controle na prática?

David: As organizações que fazem isso bem tratam a IA agentiva como um problema de engenharia. Elas aplicam a mesma disciplina que usam para software: testes contínuos, monitoramento e implantação. Falhas são esperadas. O objetivo não é evitar todos os problemas, mas sim limitar o raio de impacto e corrigir os problemas rapidamente. Quando as equipes conseguem fazer isso, elas avançam mais rápido e com mais confiança. Se nada nunca der errado, você provavelmente está sendo conservador demais.

Catherine: Como as expectativas em torno de confiança e transparência estão evoluindo?

David: A confiança não vem da suposição de que os sistemas serão perfeitos. Ela vem de saber o que aconteceu depois que algo deu errado. Você precisa de rastreabilidade: quais dados foram usados, qual modelo foi envolvido, quem interagiu com o sistema. Quando você tem esse nível de auditabilidade, pode experimentar mais.

É assim que grandes sistemas distribuídos sempre foram executados. Você otimiza para a recuperação, não para a ausência de falhas. Essa mentalidade se torna ainda mais importante à medida que os sistemas de IA se tornam mais autônomos.

Construindo uma estratégia de governança de IA

Em vez de tratar a IA agentiva como uma ruptura completa com o passado, ela é uma extensão de disciplinas que as empresas já sabem como operar. Para os executivos que pensam sobre o que realmente importa a seguir, três temas se destacam:

• Use a governança para viabilizar a velocidade, não para restringi-la. As organizações mais fortes implementam controles fundamentais para que as equipes possam avançar mais rápido sem perder a visibilidade ou a responsabilidade.
• Aplique práticas conhecidas de engenharia e de dados aos agentes. Inventário, gerenciamento do ciclo de vida e rastreabilidade são tão importantes para os agentes quanto para dados e APIs.
• Trate a IA como um sistema de produção, não como um lançamento único. O valor sustentado depende de avaliação contínua, dados novos e da capacidade de detectar e corrigir problemas rapidamente.

Juntas, essas ideias apontam para uma conclusão clara: o valor duradouro da AI não vem da busca pelas ferramentas mais novas ou de restringir tudo, mas da construção de bases que permitem que as organizações aprendam, se adaptem e escalem com confiança.

Para saber mais sobre como criar um modelo operacional eficaz, faça o download do Databricks AI Maturity Model.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original