O que é governança de AI? Um guia claro para AI responsável

O que é governança de AI?

A governança de AI é o conjunto de estruturas, políticas e processos que as organizações utilizam para garantir que sistemas de inteligência artificial sejam desenvolvidos, implantados e operados de forma responsável ao longo de todo o seu ciclo de vida. O termo se refere a todos os mecanismos de supervisão que abordam considerações éticas, conformidade regulatória, gerenciamento de riscos e responsabilização por decisões e resultados orientados por AI.

À medida que os sistemas de AI se integram cada vez mais às operações de negócios e à vida em sociedade, práticas sólidas de governança se tornam indispensáveis. As organizações enfrentam uma pressão crescente de reguladores, clientes e partes interessadas para demonstrar que sua AI opera de forma transparente, justa e segura. Sem uma governança estruturada, as organizações correm o risco de sofrer sanções regulatórias, vieses algorítmicos, violações de privacidade e a erosão da confiança de partes interessadas e/ou clientes. Em resumo, uma governança de AI eficaz fornece salvaguardas que permitem inovar ao mesmo tempo que gerenciam esses riscos de forma sistemática.

Este guia explora os princípios e as estruturas centrais que definem a governança de AI, analisa como as organizações podem construir e personalizar estruturas de governança e aborda os desafios práticos de implementar a governança em sistemas de AI tradicionais e generativos.

Definindo a governança da AI: princípios essenciais e escopo

O que se entende por governança de AI?

A governança de AI se estende por todo o ciclo de vida da AI, desde o desenvolvimento inicial e o treinamento até a implantação, o monitoramento, a manutenção e a eventual descontinuação. Ao contrário da governança tradicional de TI, a governança de AI precisa lidar com desafios específicos apresentados por sistemas que aprendem com dados, tomam decisões autônomas e geram resultados inéditos.

Em sua essência, a governança de AI estabelece responsabilidade pelos processos de tomada de decisão da AI. Por exemplo, quando um sistema de AI recomenda a negação de um empréstimo, sinaliza conteúdo para remoção ou influencia decisões de contratação, os sistemas de governança determinam quem é responsável por esses resultados e de que forma as organizações podem revisar, explicar e contestar essas decisões. Em resumo, essa estrutura de responsabilização é o que conecta os sistemas técnicos a políticas organizacionais mais amplas e aos objetivos de negócio.

A governança da AI também aborda impactos sociais mais amplos. Sistemas treinados com dados históricos podem perpetuar vieses contra grupos protegidos, enquanto o surgimento de aplicações de AI levanta questões sobre substituição de empregos, erosão da privacidade e maior concentração de poder tecnológico. As estruturas de governança são os mecanismos que ajudam as organizações a lidar com essas considerações ao incorporar processos de revisão ética, mecanismos de engajamento de partes interessadas e protocolos de avaliação de impacto aos fluxos de trabalho de desenvolvimento e implantação de AI.

Uma governança eficaz conecta controles técnicos, como testes de modelos, monitoramento de performance ou validação de dados, a estruturas organizacionais, como comitês de supervisão, definições claras de papéis e procedimentos de escalonamento, além de mecanismos mais amplos de responsabilização, como trilhas de auditoria, padrões de documentação e transparência para as partes interessadas.

Conceitos-chave: estrutura, princípios e pilares

A governança de AI se apoia em diversos pilares que atuam em conjunto para criar uma supervisão abrangente. Esses pilares abordam a estrutura organizacional, a conformidade legal, as considerações éticas, a infraestrutura técnica e a segurança ao longo de todo o ciclo de vida da AI.

Os Princípios de AI da Organização para a Cooperação e Desenvolvimento Econômico (OCDE) fornecem uma estrutura fundamental reconhecida por 47 países. Estabelecidos inicialmente em 2019 e atualizados em 2024, esses princípios definem valores que os sistemas de AI devem seguir, incluindo inclusão, sustentabilidade e a promoção do bem-estar humano, ao mesmo tempo que respeitam os direitos humanos, os valores democráticos e o Estado de Direito. A estrutura também inclui outros princípios essenciais, como transparência e explicabilidade, robustez e segurança, além de responsabilização. O objetivo da OCDE foi oferecer às organizações pontos de referência para o desenvolvimento de suas próprias estruturas de governança. Atualmente, mais de mil iniciativas de políticas de AI em mais de setenta jurisdições seguem esses princípios.

Por mais relevantes e transformadores que sejam os princípios da OCDE, existem outras diretrizes éticas que também orientam as estruturas de governança, como:

• Centralidade humana: coloca o bem-estar e a dignidade humanos no centro do design de AI.
• Equidade: exige a identificação e a mitigação proativas de vieses.
• Inclusão: para garantir que os sistemas de AI atendam populações diversas de forma equitativa.

O conjunto desses princípios estabelece uma estrutura teórica e conceitual sobre a qual a governança de AI concreta pode ser construída. É importante observar, no entanto, que a relação entre estruturas de governança de AI, práticas de AI responsável e considerações éticas segue uma hierarquia clara. Por exemplo, os princípios éticos fornecem os valores fundamentais, enquanto as práticas de AI responsável traduzem esses valores em boas práticas técnicas e operacionais. Por fim, as estruturas de governança fornecem as estruturas organizacionais, as políticas e os mecanismos de aplicação que garantem que essas práticas sejam seguidas de forma consistente.

Compreender a distinção entre princípios e estruturas é essencial. Princípios são valores orientadores; são declarações sobre o que importa e por quê. Estruturas são construções operacionais; pense nelas como políticas, procedimentos, papéis e pontos de controle que transformam princípios em prática. Por exemplo, “equidade” é um princípio; a estrutura de governança expressa esse princípio por meio de um protocolo de teste de vieses com métricas definidas, cadências de revisão e procedimentos de correção.

Estruturas essenciais para a governança da AI

Análise das principais estruturas de governança de AI

Existem várias estruturas consolidadas que servem como ponto de partida para organizações que estão criando programas de governança. Embora semelhantes em seus objetivos, cada uma oferece ênfases e abordagens diferentes, projetadas para atender a distintos tipos de organizações e ambientes regulatórios.

1. Os Princípios de AI da OCDE enfatizam valores centrais como crescimento inclusivo, desenvolvimento sustentável, bem-estar, transparência, robustez, segurança e responsabilização. Esses princípios influenciam abordagens regulatórias em todo o mundo e fornecem uma base orientada por valores que as organizações podem adotar. De forma crucial, os princípios não são vinculantes, o que permite que governos e organizações os implementem em seus contextos específicos, ao mesmo tempo que permanecem alinhados a um padrão global mais amplo.

2. O Regulamento de AI da União Europeia adota uma abordagem regulatória baseada em risco. Esse regulamento classifica os sistemas de AI de acordo com seu impacto potencial e define quatro níveis de risco:

   a. Risco inaceitável: sistemas proibidos, como pontuação social.

   b. Alto risco: incluindo sistemas usados em infraestrutura crítica, emprego e aplicação da lei. Esses sistemas estão sujeitos a requisitos rigorosos de governança de dados, documentação, transparência, supervisão humana e precisão.

   c. Risco limitado: com exigências de transparência.

   d. Risco mínimo: Não regulamentado

3. A Estrutura de Gerenciamento de Riscos de AI do NIST fornece uma abordagem estruturada para gerenciar riscos de AI ao longo de todo o ciclo de vida. A estrutura organiza as atividades em quatro funções: Governar, Mapear, Medir e Gerenciar. Ela foi desenvolvida por meio da colaboração de mais de 240 organizações do setor privado, da academia, da sociedade civil e do governo, sendo especialmente útil para organizações que buscam uma abordagem focada em riscos e integrada aos processos existentes de gerenciamento de riscos corporativos. O NIST projetou a estrutura para ser voluntária, preservadora de direitos, não específica por setor e independente de casos de uso.
4. A ISO/IEC 42001 oferece especificações técnicas para sistemas de gestão de AI, com foco em qualidade, confiabilidade e gerenciamento do ciclo de vida. Como o primeiro padrão certificável do mundo para sistemas de gestão de AI, a norma especifica requisitos para estabelecer, implementar, manter e melhorar continuamente um sistema de gestão de AI dentro das organizações.

Além dessas estruturas mais amplas de governança de AI, as próprias organizações também estão desenvolvendo estruturas internas abrangentes que enfrentam os desafios de governança ao longo de todo o ciclo de vida da AI. Embora sigam princípios gerais, qualquer estrutura deve equilibrar a complexidade e o rigor da governança com a maturidade em AI da organização, sua exposição a riscos e suas obrigações regulatórias, tornando a governança uma solução sob medida para cada organização. Por exemplo, uma startup que desenvolve um único chatbot voltado ao cliente precisa de estruturas de governança diferentes das de uma instituição financeira global que implanta centenas de modelos de AI em avaliações de risco, operações de trading e atendimento ao cliente. Para ajudar a enfrentar esses desafios amplos de governança, a Databricks desenvolveu uma estrutura que integra estrutura organizacional, conformidade legal, supervisão ética, governança de dados e segurança em uma abordagem unificada.

Construindo e personalizando uma estrutura de governança

O principal benefício dessas estruturas líderes de governança de AI é permitir que as organizações avaliem e adaptem estruturas existentes às suas necessidades específicas, em vez de criá-las do zero. Além da economia de tempo, essa abordagem incorpora boas práticas e garante alinhamento com padrões reconhecidos internacionalmente.

1. Avaliação: comece avaliando a maturidade em AI da sua organização e seus casos de uso. Catalogue iniciativas de AI existentes e planejadas, avaliando seu impacto nos negócios, complexidade técnica e perfil de risco. Uma organização que utiliza AI principalmente para ferramentas internas de produtividade, por exemplo, enfrenta requisitos de governança diferentes de outra que implanta AI em decisões de crédito voltadas ao cliente ou diagnósticos médicos.
2. Requisitos regulatórios: seguida, identifique os requisitos regulatórios e padrões do setor relevantes. Organizações que atuam na área da saúde precisam atender aos requisitos da HIPAA, enquanto empresas de serviços financeiros devem considerar leis de crédito justo e regulamentações antidiscriminação. Se uma empresa opera em várias jurisdições, precisa lidar com diferentes leis de privacidade de dados, regulações específicas de AI e restrições de transferência internacional de dados.
3. Definir tolerância a risco e prioridades de governança: isso varia de acordo com a cultura organizacional, as expectativas das partes interessadas e os objetivos de negócio. Algumas organizações priorizam velocidade de lançamento no mercado e podem aceitar riscos maiores com uma governança mais leve para aplicações de baixo impacto. Outras, especialmente em setores altamente regulados ou com fortes compromissos éticos, podem implementar uma governança rigorosa mesmo para aplicações de risco moderado.
4. Avaliar recursos e estrutura organizacional: a governança exige papéis dedicados, colaboração entre áreas, infraestrutura técnica para monitoramento e documentação, além de patrocínio executivo. As organizações devem projetar estruturas de governança que sejam viáveis de implementar e sustentar, considerando seus recursos e sua estrutura.
5. Selecionar estruturas básicas: em vez de adotar integralmente uma única estrutura, muitas organizações combinam elementos de várias estruturas. Por exemplo, uma organização pode adotar os princípios da OCDE como base ética, usar a estrutura de gerenciamento de riscos do NIST para os processos operacionais e incorporar os requisitos do Regulamento de AI da União Europeia para sistemas implantados em mercados europeus.
6. Personalizar estruturas existentes: depois de selecionar uma estrutura de base, ajuste os requisitos para que reflitam suas aplicações de AI e seu perfil de risco. Em outras palavras, uma estrutura projetada para a segurança de veículos autônomos pode ser excessivamente rigorosa para um mecanismo de recomendação de marketing, enquanto uma estrutura voltada a modelos simples de machine learning pode ser insuficiente para modelos de linguagem de grande porte com capacidades amplas. É nesse ponto que as partes interessadas conseguem personalizar as estruturas de acordo com suas necessidades.
7. Garantir contribuições multifuncionais: envolva as partes interessadas das áreas jurídica, técnica, de negócios e de ética ao longo de todo o desenvolvimento da estrutura. Cada equipe contribui com sua área de especialidade: equipes técnicas compreendem as capacidades e limitações dos modelos; equipes jurídicas identificam obrigações de conformidade; lideranças de negócio articulam tolerância a riscos e prioridades estratégicas; e a expertise em ética ajuda a lidar com escolhas complexas de valores.
8. Tornar a estrutura acionável, mensurável e escalável: ao definir desde o início procedimentos claros, critérios de decisão e métricas de sucesso, você prepara sua governança para funcionar. A governança deve especificar quem aprova quais tipos de iniciativas de AI, qual documentação é exigida, quais testes precisam ocorrer antes da implantação e como o monitoramento contínuo é realizado. Estruturas que existem apenas como princípios de alto nível, sem procedimentos operacionais claros, raramente são implementadas de forma consistente.

Ética, direitos humanos e AI responsável

A diferença entre AI responsável e governança de AI

AI responsável e governança de AI muitas vezes são usadas como sinônimos. São conceitos distintos, sem dúvida, mas trabalham em conjunto para garantir que os sistemas de AI operem de forma ética e segura.

AI responsável se refere a princípios, valores e boas práticas para desenvolver e implantar AI de forma ética. Implementar AI responsável significa assumir um compromisso com equidade, transparência, responsabilização, privacidade e bem-estar humano. Em outras palavras, AI responsável é principalmente a base teórica que sustenta os padrões éticos e os valores que orientam o trabalho com AI.

A governança de AI, por sua vez, refere-se às estruturas organizacionais, aos processos, às políticas e aos mecanismos de aplicação que garantem que os princípios de AI responsável sejam efetivamente seguidos. Se a AI responsável é a teoria, a governança é a prática de como as organizações implementam, verificam e mantêm essas práticas de forma sistemática em todas as iniciativas de AI. As estruturas de governança precisam contemplar tanto compromissos éticos voluntários quanto requisitos regulatórios obrigatórios.

Os contextos regulatórios ilustram bem essa relação, já que leis e regulamentos estão cada vez mais transformando expectativas éticas em exigências concretas de conformidade. O Regulamento de AI da União Europeia, por exemplo, converte princípios éticos relacionados à transparência e à equidade em obrigações legais específicas que as empresas precisam cumprir, além de prever medidas sancionatórias quando essas obrigações não são atendidas.

Outra forma como esses dois conceitos interagem é na maneira como orientam decisões de governança no dia a dia. Por exemplo, quando um comitê de ética em AI analisa uma proposta de implantação de reconhecimento facial, ele aplica princípios éticos como privacidade, consentimento e potencial de impacto discriminatório. A aplicação desses princípios se expressa em processos de governança como avaliações de impacto, consulta às partes interessadas e requisitos de aprovação. Os princípios fornecem a estrutura de valores; a governança fornece a estrutura operacional para aplicar esses valores de forma consistente.

Operacionalizando princípios éticos

Traduzir padrões éticos abstratos em políticas concretas de governança pode ser desafiador e exige abordagens sistemáticas e mecanismos específicos de implementação. Algumas abordagens comuns incluem:

• Cartões de modelo: fornecem documentação padronizada que explica o uso pretendido de um modelo, suas limitações, características de performance e considerações éticas. Isso ajuda a tornar a transparência um elemento concreto, e não apenas aspiracional.
• Auditorias de viés: ao usar testes quantitativos para medir equidade entre diferentes grupos demográficos, esse processo transforma princípios de equidade em resultados mensuráveis, com thresholds definidos para níveis aceitáveis de desempenho.
• Validação com partes interessadas: esse processo incorpora contribuições de diferentes partes interessadas durante o desenvolvimento, garantindo que perspectivas diversas informem as decisões de design.
• Sistemas de pontuação de risco: avaliam fatores como a necessidade de intervenção humana, intensidade de monitoramento e requisitos de planos de contingência. O objetivo desses sistemas é alinhar o rigor da governança aos níveis reais de risco.
• Comitês de revisão ética: para oferecer caminhos estruturados de escalonamento, um comitê de revisão ética pode ser composto por equipes multifuncionais que avaliam iniciativas de alto risco com base em critérios éticos antes da aprovação.
• Monitoramento contínuo: independentemente de quão cuidadosamente um processo de governança seja implementado, é fundamental acompanhar o desempenho dos modelos, detectar desvios e sinalizar anomalias em tempo real. Ferramentas automatizadas ajudam as organizações a transformar essas revisões em uma prática sistemática.

Além dessas abordagens mais amplas para operacionalizar a ética, também existem mecanismos específicos que tratam de princípios éticos individuais:

1. Explicabilidade: requisitos de explicabilidade se traduzem em padrões de documentação, cartões de modelo que descrevem capacidades e limitações dos sistemas e trilhas de auditoria que registram como as decisões são tomadas. As organizações podem exigir que todos os sistemas de AI de alto impacto forneçam explicações para decisões individuais, com o nível de detalhe ajustado à relevância da decisão.
2. Privacidade: proteções de privacidade se tornam operacionais por meio de práticas de minimização de dados, sistemas de gerenciamento de consentimento, procedimentos de conformidade com o GDPR, técnicas de privacidade diferencial e controles de acesso. As políticas de governança especificam quais dados podem ser usados para treinamento de AI, por quanto tempo podem ser retidos e quais proteções de privacidade precisam ser implementadas.
3. Equidade: os princípios de equidade são operacionalizados por meio de protocolos de teste de vieses conduzidos em várias etapas do ciclo de vida, exigências de dados de treinamento diversos e representativos, métricas de equidade definidas de acordo com cada domínio de aplicação e procedimentos de correção quando vieses são identificados. As organizações precisam definir o que constitui viés inaceitável para diferentes casos de uso e quais ações são exigidas quando os testes identificam problemas.
4. Segurança: os procedimentos de segurança normalmente são conduzidos antes da implantação, por meio de protocolos de teste que avaliam o comportamento do sistema sob diferentes condições e de planos de resposta a incidentes para quando os sistemas se comportam de maneira inesperada. Eles também podem incluir capacidades de rollback que permitem a desativação rápida do sistema caso surjam problemas.
5. Construção de processos de revisão ética: muitas organizações estabelecem comitês de ética em AI com representantes de diferentes funções e origens para lidar com desafios sistêmicos. Esses comitês revisam iniciativas de AI de alto risco, avaliam implicações éticas, recomendam modificações e aprovam ou rejeitam implantações. Processos claros ajudam a definir o que aciona uma revisão ética, quais informações precisam ser fornecidas e como as decisões são tomadas e documentadas.
6. Considerações sobre direitos humanos: compreender como os sistemas de AI podem afetar direitos fundamentais, como privacidade, liberdade de expressão e devido processo legal, é essencial para uma implantação responsável. As estruturas de governança devem incluir avaliações de impacto sobre direitos humanos para sistemas que possam afetar esses direitos, com atenção especial a populações vulneráveis.
7. Mecanismos de responsabilização: por fim, a criação de mecanismos de responsabilização trata do que acontece quando padrões éticos são violados ou comprometidos. Isso inclui procedimentos de reporte de incidentes, processos de investigação, requisitos de correção e consequências para violações. Os mecanismos de responsabilização garantem que qualquer violação ou comprometimento da governança resulte em consequências.

Implementação: das estruturas à governança no mundo real

Quem deve liderar e como construir a governança de AI?

Uma governança de AI eficaz exige liderança clara, papéis bem definidos e integração com as estruturas organizacionais existentes. Mas quem exatamente deve liderar esses esforços e como as organizações devem estruturar sua abordagem? A seguir estão algumas questões e modelos mais amplos que uma organização pode usar para construir sua governança.

Abordagens de governança: centralizada, distribuída ou híbrida. As organizações podem estruturar sua governança de diferentes formas, dependendo de seu porte, cultura e necessidades. Por exemplo, a governança centralizada concentra a autoridade de tomada de decisão em um escritório ou comitê central de governança de AI. Isso traz consistência em toda a organização, mas também pode criar gargalos. A governança distribuída, por outro lado, transfere a autoridade para unidades de negócio ou equipes de produto, permitindo decisões mais rápidas, porém com risco de inconsistência. Modelos híbridos buscam equilibrar esses trade-offs ao definir padrões centralizados enquanto delegam decisões às equipes mais próximas do trabalho.

Funções-chave: diversas funções essenciais fornecem liderança e especialização em governança de AI. Um Chief AI Officer normalmente oferece patrocínio executivo e direcionamento estratégico para o programa de AI e sua governança. Enquanto isso, um Conselho de Ética em AI reúne perspectivas diversas para analisar iniciativas de alto risco e dilemas éticos. Comitês de governança desenvolvem políticas, revisam a conformidade e resolvem questões escalonadas. E equipes multidisciplinares, como aquelas que reúnem ciência de dados, engenharia, jurídico, conformidade e áreas de negócio, podem colaborar na implementação do dia a dia.

Integração com processos existentes: em vez de criar a governança como uma função isolada, as organizações devem conectar a governança de AI a programas de conformidade já existentes, estruturas de gerenciamento de riscos e processos de governança de TI. Essa integração aproveita a expertise existente e evita esforços duplicados em toda a organização. Além disso, ela posiciona a governança de AI no mesmo nível de outras prioridades de risco e conformidade.

Mecanismos de supervisão multifuncional: para traduzir requisitos de governança em realidade operacional, as organizações precisam de pontos de contato e processos regulares. Revisões periódicas de governança avaliam a conformidade contínua, analisam novas iniciativas e enfrentam desafios emergentes. Com o engajamento das partes interessadas, líderes podem incorporar contribuições de equipes internas, especialistas externos e comunidades impactadas. Pontos de controle de auditoria e conformidade verificam se os requisitos de governança estão sendo seguidos, enquanto ciclos regulares de revisão adaptam a governança à medida que as capacidades de AI evoluem e novos desafios surgem.

Construção de processos escaláveis: à medida que as organizações passam de um pequeno número de modelos de AI para dezenas ou centenas, processos manuais de revisão rapidamente se tornam gargalos. Uma governança escalável utiliza recursos como automação, modelos e checklists padronizados, processos de revisão em camadas que alinham rigor ao nível de risco e recursos de autoatendimento que ajudam as equipes a cumprir os requisitos de governança sem exigir, em todos os casos, a revisão por um comitê.

• Abordagens para organizar estruturas internas de liderança (centralizada versus distribuída)
• Funções-chave: Chief AI Officer, Conselho de Ética em AI, comitês de governança, equipes multidisciplinares
• Integração da governança de AI a processos existentes de conformidade, gerenciamento de riscos e governança de TI
• Sugestão de mecanismos para integrar a supervisão multifuncional:
  • Reuniões regulares de revisão de governança
  • Processos de engajamento de partes interessadas, incluindo equipes internas, especialistas externos e comunidades impactadas
  • Pontos de controle de auditoria e conformidade
  • Ciclos regulares de revisão para adaptar a governança conforme as capacidades de AI evoluem
• Construção de processos internos que acompanhem a escalabilidade da adoção de AI em toda a organização

Habilidades práticas e carreiras emergentes em governança de AI

Habilidades necessárias e trajetórias de carreira

A melhor governança de AI exige uma combinação de conhecimento técnico, raciocínio ético, expertise jurídica e habilidades organizacionais. Esse conjunto único de competências está criando novos caminhos de carreira para profissionais capazes de fazer a ponte entre os domínios técnico e de políticas.

Competências técnicas: profissionais de governança precisam compreender sistemas de AI e machine learning o suficiente para avaliar riscos e analisar controles, mesmo que não estejam desenvolvendo modelos diretamente. Isso inclui capacidades de avaliação da qualidade dos dados, habilidades de avaliação algorítmica e familiaridade com abordagens de monitoramento de modelos. Além disso, a fluência técnica confere credibilidade a esses profissionais junto às equipes de ciência de dados, permitindo que façam as perguntas certas durante as revisões.

Conhecimento ético e jurídico: esse conhecimento ajuda a navegar pelos complexos trade-offs de valores inerentes à governança de AI. Os profissionais precisam compreender estruturas de ética em AI, estar familiarizados com requisitos regulatórios nas jurisdições relevantes e metodologias de avaliação de risco, além de analisar como sistemas de AI podem afetar indivíduos e comunidades. Em resumo, é necessário compreender tanto os fundamentos filosóficos da AI ética quanto as obrigações legais práticas que as organizações enfrentam.

Habilidades organizacionais: habilidades organizacionais sólidas ajudam profissionais de governança a implementar estruturas de forma eficaz. Competências em desenvolvimento de políticas permitem traduzir princípios em procedimentos claros e acionáveis, enquanto capacidades de gestão de partes interessadas são essenciais para facilitar a colaboração entre áreas técnicas, de negócio e jurídicas, que possuem prioridades e perspectivas diferentes. Habilidades adicionais em colaboração multifuncional e gestão da mudança ajudam a promover um engajamento produtivo com equipes diversas, ao mesmo tempo que facilitam a transição para a adoção de novas práticas de governança.

Trajetórias de carreira emergentes: a crescente demanda por expertise em governança de AI está se traduzindo em um campo profissional em rápida expansão.

• Especialistas em Governança de AI: esses profissionais projetam, implementam e mantêm estruturas de governança.
• Responsáveis por Ética em AI: encarregados de fornecer orientação ética, esses profissionais lideram processos de revisão ética.
• Gestores de Risco em AI: essa função identifica, avalia e mitiga riscos relacionados à AI.
• Analistas de Políticas de AI: responsáveis por monitorar desenvolvimentos regulatórios e garantir a conformidade organizacional.

Recursos para desenvolver expertise: certificações profissionais em governança de AI, ética e gerenciamento de riscos oferecem trilhas de aprendizado estruturadas. A participação em grupos do setor e entidades profissionais focadas em AI responsável promove networking e troca de conhecimento. Além disso, programas de capacitação e educação continuada oferecidos por universidades e organizações profissionais ajudam a desenvolver habilidades fundamentais na área. Por fim, talvez o ativo mais importante seja a construção de experiência prática por meio de projetos multifuncionais que envolvam a implementação de governança de AI.

Adaptação da governança à AI generativa e à AI de próxima geração

AI generativa e desafios de governança

Sistemas de AI generativa, especialmente grandes modelos de linguagem e modelos fundacionais, introduzem desafios de governança diferentes daqueles dos sistemas tradicionais de machine learning. Como resultado, as organizações precisam adaptar suas estruturas de governança para lidar com essas características específicas. Alguns dos principais desafios que precisam ser enfrentados incluem:

Alucinações e precisão factual: diferentemente de sistemas de AI tradicionais, com comportamentos mais previsíveis, modelos de AI generativa podem produzir informações incorretas com alto grau de confiança. Pesquisas mostram que as alucinações não podem ser completamente eliminadas, pois são uma característica inerente à forma como grandes modelos de linguagem geram texto. Isso significa que as estruturas de governança precisam abordar como as organizações verificam a precisão em diferentes casos de uso, quais avisos ou declarações de isenção de responsabilidade são necessários e quando a revisão humana é exigida antes de agir com base em conteúdo gerado por AI. Técnicas como geração aumentada de recuperação podem reduzir alucinações ao fornecer contexto factual, mas não conseguem impedir totalmente que os modelos introduzam erros.

Questões de direitos autorais e propriedade intelectual: essas preocupações são recorrentes e tendem a surgir a partir da forma como os modelos são treinados e de como geram conteúdo. O treinamento com materiais protegidos por direitos autorais levanta questões jurídicas que ainda estão sendo resolvidas nos tribunais, já que dados e modelos de terceiros muitas vezes não autenticam fontes originais ou a intenção dos criadores, dificultando o rastreamento da origem real do conteúdo. As políticas de governança precisam definir quais dados de treinamento são aceitáveis, como documentar as fontes e que tipo de divulgação é exigida ao usar conteúdo gerado por AI.

Requisitos de procedência de dados e transparência: esses requisitos se tornam mais complexos no caso de modelos fundacionais treinados com conjuntos de dados massivos. As organizações precisam compreender com quais dados seus modelos foram treinados, mas modelos fundacionais nem sempre divulgam detalhes sobre os dados de treinamento. As estruturas de governança devem especificar qual documentação é exigida ao utilizar modelos de terceiros, bem como o nível necessário de due diligence.

Autenticidade de conteúdo e divulgação: esse aspecto trata de quando e como as organizações devem divulgar que um conteúdo foi gerado por AI. Diferentes contextos, como comunicações políticas ou trabalhos acadêmicos, impõem exigências distintas. As políticas de governança devem definir de forma clara os requisitos de divulgação para cada um de seus diferentes casos de uso.

Desafios de responsabilização: esses desafios decorrem das capacidades amplas e das múltiplas aplicações potenciais de LLMs e modelos fundacionais. Um modelo fundacional pode ser usado para dezenas de finalidades diferentes dentro de uma organização, cada uma com perfis de risco distintos. A governança precisa determinar quem é responsável quando, por exemplo, o mesmo modelo gera resultados benéficos em uma aplicação e resultados problemáticos em outra.

Requisitos de transparência: no caso da AI generativa, as organizações devem documentar características dos dados de treinamento, capacidades e limitações dos modelos, modos de falha e riscos conhecidos, além de casos de uso pretendidos e proibidos. Essa documentação dá suporte tanto à governança interna quanto à transparência externa.

Considerações sobre privacidade de dados: essas considerações surgem da forma como modelos generativos lidam com informações em prompts e saídas. Usuários podem incluir inadvertidamente informações sensíveis nos prompts, e os modelos correm o risco de reproduzir informações privadas presentes nos dados de treinamento. As estruturas de governança devem abordar políticas de tratamento de dados para prompts e respostas, controles técnicos para evitar a exposição de dados sensíveis e iniciativas de educação dos usuários sobre riscos de privacidade.

Desafios de governança no mundo real: a governança de AI enfrenta desafios complexos na prática, o que torna essencial que qualquer estrutura tenha uma alocação clara de responsabilidades e procedimentos de avaliação de risco. Por exemplo, considere um chatbot de atendimento ao cliente que passa a fornecer aconselhamento médico para o qual não foi projetado. Nesse cenário, quem é responsável? O desenvolvedor do modelo, a organização que o implantou ou a equipe de negócio que o configurou? Quando uma ferramenta de geração de código reproduz código protegido por direitos autorais, qual é a responsabilidade da organização? Saber onde as responsabilidades recaem facilita a resolução mais rápida de problemas.

Estruturas adaptativas: dada a velocidade das mudanças em AI, a governança precisa evoluir no mesmo ritmo. As organizações devem implementar revisões regulares de governança acionadas por atualizações de modelos ou mudanças de capacidade, além de monitorar processos que detectem novos padrões de uso ou riscos emergentes. Também devem existir mecanismos robustos de feedback que capturem problemas relatados por usuários e comunidades impactadas, assim como processos para atualizar procedimentos e garantir que a governança acompanhe a evolução da tecnologia.

Conclusão

A governança de AI é um processo contínuo e iterativo que deve evoluir junto com a tecnologia de AI, os requisitos regulatórios e os recursos organizacionais. Uma governança eficaz se apoia em estruturas claras que traduzem princípios éticos em políticas acionáveis, em uma supervisão abrangente que equilibra inovação e gerenciamento de riscos e em um compromisso organizacional que se estende da liderança executiva às equipes técnicas.

Organizações que investem em uma governança de AI estruturada criam vantagens competitivas. Elas conseguem implantar AI com confiança, sabendo que dispõem de processos sistemáticos para identificar e lidar com riscos. Constroem confiança com clientes, reguladores e partes interessadas por meio de transparência e responsabilização. Reduzem riscos legais e reputacionais ao tratar questões de conformidade e ética de forma proativa, em vez de reativa.

À medida que os sistemas de AI se tornam mais capazes e mais profundamente integrados aos negócios e à sociedade, a governança deixa de ser opcional e passa a ser essencial. As estruturas, os processos e a expertise que as organizações desenvolvem hoje determinarão sua capacidade de aproveitar os benefícios da AI ao mesmo tempo que gerenciam seus riscos de forma responsável.