Governança de AI é a estratégia: por que iniciativas de AI bem-sucedidas começam com controle, não com código

A AI está se tornando parte integrante dos fluxos de trabalho, das interações com os clientes e da tomada de decisões corporativas em todas as organizações. Para conselhos e CEOs, essa mudança altera a conversa. A questão central não é mais “Com que rapidez podemos adotar a AI?”, mas sim: “Podemos governá-la bem o suficiente para confiar nela em grande escala?”

Lexy Kassan, líder sênior de tecnología responsável pela estratégia e governança de AI corporativa na Databricks, traz uma vasta experiência atuando na interseção de dados, AI e transformações de negócios. Sua perspectiva está fundamentada não na teoria, mas nas realidades de sistemas generativos e agênticos implantados em grandes organizações, onde tom, viés, monitoramento e responsabilidade não são riscos abstratos, mas requisitos operacionais.

A seguir, uma conversa sobre por que a governança é um pré-requisito para escalar AI empresarial de alta qualidade.

A governança de AI leva a resultados confiáveis e relevantes

Catherine Brown: Quando os executivos dizem que estão “fazendo governança de AI”, o que eles não entendem sobre o que realmente é necessário para escalar a AI para a produção?

Lexy Kassan: Normalmente, quando ouço organizações abordando a governança de AI, torna-se um esforço de: “Temos uma política, vários processos documentados e pessoas que aprovam as coisas. Desde que alguém tenha cumprido os requisitos e seguido os passos, então tudo está bem.”

Realisticamente, a governança impacta as iniciativas de AI tanto na fase de desenvolvimento quanto no sucesso contínuo em escala. Uma governança forte leva a uma AI em produção que é confiável e continua a melhorar e apoiar a organização conforme projetado. A escala não vem da obtenção de aprovações. A escala vem da operação contínua da AI. E isso exige muito mais do que apenas a equipe de dados e AI.

A governança de AI para confiança em escala exige três coisas: comunicação, colaboração e iteração. Comunicar as expectativas tanto da perspectiva da política e da mitigação de riscos quanto da intenção e do uso do negócio. Colabore entre especialistas no assunto, especialistas técnicos, especialistas em risco e segurança e outros para abordar preocupações e criar sistemas confiáveis. E iterar ao longo do tempo para manter os sistemas de AI relevantes, confiáveis e valiosos.

Governança como o habilitador do valor da AI

Catherine: Em que momento a governança de AI deixa de ser uma preocupação de compliance e se torna um requisito operacional para a empresa?

Lexy: A governança passou por transformações nos últimos anos, principalmente por causa da AI. Cinco ou dez anos atrás, a governança era frequentemente vista como mitigação de riscos e compliance. Era quase vista como a antítese da inovação. Agora, a governança é mais bem compreendida em sua forma mais verdadeira: como a facilitadora da realização de valor. Sem governança, é muito difícil confiar nos dados ou na AI. E sem confiança, ninguém usa. E é do uso que vem o valor.

Se ninguém confia na sua AI, você investiu recursos e não obteve nenhum valor. 

Portanto, a governança já é um requisito se você deseja ampla adoção e operar em escala.

A sobrecarga de processos desacelera a inovação

Catherine: O que acontece quando as organizações simplesmente adicionam AI aos seus processos de revisão existentes em vez de redesenhar o modelo operacional?

Lexy: É aqui que se tende a adicionar uma quantidade indevida de processos.

As organizações dizem: “Em vez de identificar um caminho mais tranquilo para a AI, vamos simplesmente pegar os processos existentes que temos — avaliações de privacidade, revisões de arquitetura, revisões de segurança — e adicionar mais a eles”. Você acaba com comitês desconectados que podem se reunir uma vez por mês. Você está adicionando uma camada de AI sobre uma governança lenta, em vez de redesenhar a governança para a AI.

Se leva seis meses para aprovar algo, e as capacidades de AI evoluem mensalmente, você está se preparando estruturalmente para ficar para trás. Governança não deveria significar mais sobrecarga. Deveria significar identificar um caminho pavimentado — uma arquitetura e um framework que já mitiguem o risco para que você não precise começar do zero toda vez.

Das percepções à ação: alteração do perfil de risco

Catherine: Como a conversa sobre governança muda quando os sistemas de AI passam de gerar percepções para tomar ações por meio de agentes e aplicações?

Lexy: Quando pensamos em colocar AI em um processo, geralmente pensamos em um espectro que vai do controle à confiança. De um lado, temos processos totalmente controlados por humanos. Do outro lado, temos sistemas agênticos e totalmente automatizados. Quando a AI passa de gerar percepções para tomar ações, os riscos mudam. Você abre mão de mais controle e, portanto, precisa conseguir depositar mais confiança no sistema. 

Para alcançar os níveis de confiança necessários para a ação agêntica, a maior parte da responsabilidade pela governança de AI precisa ser transferida para os especialistas no assunto de negócios. Ter uma abordagem em etapas para testes, feedback, desenvolvimento de guardrails e avaliação ajuda a criar confiança de que os agentes agirão adequadamente na grande maioria das vezes. E essa responsabilidade continua em produção, onde o feedback adicional e a engenharia de prompts mantêm os sistemas no caminho certo. 

Isso cobre a parte de conteúdo e ação, mas e a parte técnica? É aí que os mecanismos de fallback do sistema, a resiliência e a robustez se tornam essenciais. O que acontece se a AI estiver fora do ar? O que acontece se for preciso retreinar um modelo ou refatorar uma cadeia? A governança inclui o planejamento para esses cenários. Para onde ele retorna? Quem assume? Como isso funciona?

Responsabilidade antes da produção

Catherine: Que decisões as equipes de liderança precisam tomar antecipadamente sobre responsabilidade, caminhos de escalonamento e supervisão humana antes que a AI chegue à produção?

Lexy: Cada vez mais, vemos organizações pensando em agentes quase como funcionários. Há empresas colocando agentes em ferramentas de gestão da força de trabalho, atribuindo-os a gerentes e responsabilizando os gerentes por seu desempenho. Você pode aplicar a lógica de gestão de desempenho a agentes, assim como faria com um funcionário humano. Qual é o seu desempenho? Ele está se mantendo dentro dos limites? Ele está produzindo os resultados para os quais foi projetado? De certa forma, é mais fácil corrigir agentes — você pode alterar as instruções ou treinar novamente os modelos —, mas também é diferente. Agentes não têm as mesmas motivações que os humanos.

As equipes de liderança precisam decidir como o desempenho será medido, como a confiança será avaliada e o que é necessário para retirar algo da produção — e o que é necessário para restabelecê-lo. A confiança é fácil de perder e muito mais difícil de reconstruir. Isso se aplica à AI assim como se aplica às pessoas.

Escalando com responsabilidade sem desacelerar

Catherine: Nas organizações com as quais você trabalha, quais padrões distinguem as equipes que avançam rapidamente e que fazem a escala da AI de forma responsável?

Lexy: O primeiro é o caminho pavimentado de que falei anteriormente. Eles chegam a um ponto em que não precisam debater a tecnología toda vez. Elas têm uma arquitetura governada com rastreabilidade, auditabilidade e responsabilidade integradas. Isso permite que eles avancem rapidamente porque as barreiras de proteção já existem.

A segunda é trazer especialistas no assunto de negócios diretamente para o processo. A escalabilidade acontece mais rapidamente quando não há um vaivém constante entre as equipes de negócios e de tecnologia para traduzir os requisitos. A área de negócios traz o contexto — o que é considerado um bom resultado, o que é válido e o que não é.

A governança não é mais apenas sobre os tecnólogos. Trata-se de negócios e tecnología se unindo sob uma estrutura compartilhada.

A confiança deve ser projetada e medida

Catherine: Como os executivos devem pensar sobre a confiança — como algo a ser projetado, medido e gerenciado — tanto internamente quanto com os clientes?

Lexy: A confiança é difícil de medir diretamente. Então, contamos com proxies. Medimos a qualidade dos dados, o desempenho do sistema, a adoção e o uso. Avaliamos se o sistema permanece dentro dos limites definidos e produz resultados aceitáveis.

Você pode pensar nisso como a gestão de desempenho de uma pessoa. O quanto os outros dependem dela? Quão produtiva ela é? Com que consistência ela atende às expectativas?

A confiança em si pode ser difícil de quantificar, mas o desempenho, a consistência e a adesão aos padrões são mensuráveis. Com o tempo, essas medições ajudam a estabelecer a confiança.

A governança se consolida quando existem ciclos de feedback

Catherine: Se um CEO lhe pedisse uma mudança concreta a ser feita nos próximos 90 dias para garantir que a governança de AI realmente se consolide, o que você recomendaria?

Lexy: Garanta que haja feedback, seja no uso ou no entendimento do porquê algo não está sendo usado. Se as pessoas estão interagindo com a AI, elas estão fornecendo feedback sobre a qualidade dos resultados? Elas estão avaliando os resultados? E se ninguém estiver interagindo diretamente com ela, ainda assim precisamos avaliar esses resultados. Quem faz parte desse ciclo de revisão?

A governança se consolida quando o feedback gera mudanças significativas. Quando as pessoas veem que suas contribuições melhoram o sistema e melhoram sua própria maneira de trabalhar, elas se engajam com ele.

E, em última análise, certifique-se de que você está priorizando o valor. Construa o que vale a pena construir. Em seguida, estabeleça esse caminho pavimentado para que seja mais fácil dizer sim à próxima iniciativa valiosa de AI.

Governança é a condição para a escala

A governança de AI é frequentemente apresentada como um mecanismo de controle. Na prática, é uma disciplina operacional. Escalar a AI não se trata de adicionar mais conselhos de revisão ou mais documentação. Trata-se de incorporar guardrails à arquitetura, estabelecer ciclos de feedback e projetar sistemas que possam ser confiáveis ao longo do tempo.

Para as equipes de liderança, a conclusão é direta: a governança não é o que retarda a AI, mas uma governança mal projetada, sim. Quando a governança é incorporada à plataforma, alinhada à responsabilidade de negócios e reforçada por meio de medição e feedback, ela se torna a condição que permite que a AI escale de forma responsável e sustentável.

Explore o relatório da Databricks, Delivering a Secure Data and AI Strategy, para ver como as empresas líderes estão incorporando governança, segurança e confiança diretamente em seus modelos operacionais de AI.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original