Ir para o conteúdo principal
Estratégia de Dados

Governança, Riscos e Conformidade: Estratégias Essenciais

por Josh Howard

À medida que as organizações se apressam para adotar tecnologias de IA, a implementação de estruturas abrangentes de governança, gestão de riscos e conformidade é crucial para aproveitar com segurança os benefícios da IA, ao mesmo tempo em que lidam com possíveis riscos e requisitos regulatórios.

  • As organizações devem estabelecer estratégias e estruturas claras de governança de IA, com o envolvimento da alta liderança e supervisão multifuncional
  • As principais áreas de políticas incluem proteção da privacidade, segurança de IP, transparência, prevenção de vieses e gestão da força de trabalho
  • O sucesso exige a unificação da governança de dados e de IA para garantir um acesso simples e seguro a dados de alta qualidade, mantendo a conformidade regulatória

Governança: A base invisível do sucesso da AI

Governança, risco e conformidade: a chave para colher as recompensas da AI

A revolução da AI está em andamento, e as empresas estão ávidas para explorar como os avanços mais recentes em AI podem beneficiá-las, especialmente as capacidades de grande destaque da GenAI. Com uma infinidade de aplicações na vida real — desde o aumento da eficiência e produtividade até a criação de experiências superiores para os clientes e o incentivo à inovação —, a AI promete causar um enorme impacto em diversos setores do mundo dos negócios.

Embora seja compreensível que as organizações não queiram ficar para trás na colheita dos frutos da AI, há riscos envolvidos. Eles variam desde considerações de privacidade até proteção de IP, confiabilidade e precisão, segurança cibernética, transparência, responsabilização, ética, viés e equidade, além de preocupações com a força de trabalho.

As empresas precisam abordar a AI de forma deliberada, com uma conscientização clara dos perigos e um plano bem pensado sobre como aproveitar ao máximo os recursos da AI com segurança. A AI também está cada vez mais sujeita a regulamentações e restrições governamentais e a ações judiciais nos Estados Unidos e em todo o mundo.

Programas de governança, risco e conformidade de AI são cruciais para se manter à frente em um cenário de AI em rápida evolução. A governança de AI consiste nas estruturas, políticas e procedimentos que supervisionam o desenvolvimento e o uso da AI dentro de uma organização.

Assim como as principais empresas estão adotando a AI, elas também estão adotando a governança de AI, com envolvimento direto dos mais altos níveis de liderança. Organizações que obtêm os maiores retornos sobre AI têm estruturas abrangentes de governança de AI, de acordo com a McKinsey, e a Forrester relata que um em cada quatro executivos de tecnologia prestará contas sobre governança de AI ao seu conselho.

Há um bom motivo para isso. Uma governança de AI eficaz garante que as empresas possam realizar o potencial da AI enquanto a utilizam de forma segura, responsável e ética, em conformidade com os requisitos legais e regulatórios. Uma estrutura sólida de governança ajuda as organizações a reduzir riscos, garantir transparência e responsabilização e construir confiança internamente, com os clientes e com o público.

Melhores práticas de governança, risco e conformidade de AI

Para construir proteções contra riscos de AI, as empresas devem desenvolver deliberadamente um plano abrangente de governança, risco e conformidade de AI antes de implementar a AI. Veja como começar.

Crie uma estratégia de AI
Uma estratégia de AI elenca os objetivos gerais de AI da organização, suas expectativas e o business case. Ela deve incluir riscos e recompensas potenciais, bem como o posicionamento ético da empresa em relação à AI. Essa estratégia deve funcionar como um guia para os sistemas e iniciativas de AI da organização.

Construa uma estrutura de governança de AI
A criação de uma estrutura de governança de AI começa com a nomeação das pessoas que tomam decisões sobre a governança de AI. Muitas vezes, isso assume a forma de um comitê, grupo ou conselho de governança de AI, idealmente composto por líderes de alto nível e especialistas em AI, além de membros que representem várias unidades de negócios, como TI, recursos humanos e departamentos jurídicos. Esse comitê é responsável por criar processos e políticas de governança de AI, bem como atribuir responsabilidades para vários aspectos da implementação e governança de AI.

Assim que a estrutura estiver pronta para dar suporte à implementação da AI, o comitê fica responsável por fazer as alterações necessárias na estrutura de governança de AI da empresa, avaliar novas propostas de AI, monitorar o impacto e os resultados da AI e garantir que os sistemas de AI estejam em conformidade com padrões éticos, legais e regulatórios e apoiem a estratégia de AI da empresa.

Ao desenvolver a governança de AI, as organizações podem obter orientação em estruturas voluntárias, como o AI Risk Management Framework do NIST dos EUA, a plataforma open source de testes de segurança de AI Inspect do AI Safety Institute do Reino Unido, as Diretrizes de Ética para uma AI Confiável da Comissão Europeia e os Princípios de AI da OECD.

Políticas fundamentais para governança, risco e conformidade de AI

Depois que uma organização avalia minuciosamente os riscos de governança, os líderes de AI podem começar a definir políticas para mitigá-los. Essas políticas criam regras e processos claros a serem seguidos por qualquer pessoa que trabalhe com AI dentro da organização. Elas devem ser detalhadas o suficiente para cobrir o máximo de cenários possível no início — mas precisarão evoluir junto com os avanços da AI. As principais áreas de políticas incluem:

Privacidade
Em nosso mundo digital, os riscos à privacidade pessoal já são de suma importância, mas a AI eleva o nível desse desafio. Com a enorme quantidade de dados pessoais usados pela AI, as violações de segurança podem representar uma ameaça ainda maior do que atualmente, e a AI pode potencialmente ter o poder de coletar informações pessoais — mesmo sem o consentimento do indivíduo — e expô-las ou usá-las para causar danos. Por exemplo, a AI poderia criar perfis detalhados de indivíduos ao agregar informações pessoais ou usar dados pessoais para auxiliar na vigilância.

As políticas de privacidade garantem que os sistemas de AI tratem os dados de forma responsável e segura, especialmente dados pessoais sensíveis. Nesse âmbito, as políticas podem incluir salvaguardas como:

  • Coletar e usar a quantidade mínima de dados necessária para um propósito específico
  • Anonimizar dados pessoais
  • Garantir que os usuários deem seu consentimento informado para a coleta de dados
  • Implementar sistemas de segurança avançados para proteger contra violações
  • Monitorar os dados continuamente
  • Entender as leis e regulamentações de privacidade e garantir a adesão

Proteção de IP
A proteção de IP e de dados proprietários da empresa é uma das principais preocupações para empresas que adotam a AI. Ataques cibernéticos representam um tipo de ameaça a dados organizacionais valiosos. Mas soluções comerciais de AI também geram preocupações. Quando as empresas inserem seus dados em enormes LLMs, como o ChatGPT, esses dados podem ser expostos — permitindo que outras entidades gerem valor a partir deles.

Uma solução é as empresas proibirem o uso de plataformas de GenAI de terceiros, uma medida tomada por empresas como Samsung, JP Morgan Chase, Amazon e Verizon. No entanto, isso limita a capacidade das empresas de aproveitar alguns dos benefícios de grandes LLMs. E apenas uma minoria seleta de empresas possui os recursos para criar seus próprios modelos em grande escala.

No entanto, modelos menores, personalizados com os dados da empresa, podem oferecer uma solução. Embora eles possam não contar com a abrangência de dados oferecida pelos LLMs comerciais, eles podem fornecer dados personalizados e de alta qualidade sem as informações irrelevantes e potencialmente falsas encontradas em modelos maiores.

Transparência e explicabilidade
Algoritmos e modelos de AI podem ser complexos e opacos, dificultando a determinação de como seus resultados são produzidos. Isso pode afetar a confiança e criar desafios para a adoção de medidas proativas contra riscos.

As organizações podem instituir políticas para aumentar a transparência, tais como:

  • Seguir estruturas que incorporem a responsabilização à AI desde o início
  • Exigir trilhas de auditoria e logs dos comportamentos e decisões de um sistema de AI
  • Manter registros das decisões tomadas por humanos em todas as etapas, desde o design até a implantação
  • Adotar técnicas de AI explicável

A capacidade de reproduzir os resultados de machine learning também permite auditorias e revisões, aumentando a confiança no desempenho do modelo e na conformidade. A seleção de algoritmos também é uma consideração importante para tornar os sistemas de AI explicáveis e transparentes em seu desenvolvimento e impacto.

Confiabilidade
A AI é tão boa quanto os dados que recebe e as pessoas que a treinam. Informações imprecisas são inevitáveis para grandes LLMs que usam uma vasta quantidade de dados online. Plataformas de GenAI, como o ChatGPT, são notórias por às vezes produzirem resultados imprecisos, que variam desde pequenas imprecisões fáticas até alucinações completamente fabricadas. As políticas e programas que podem aumentar a confiabilidade e a precisão incluem:

  • Processos consistentes de garantia de qualidade de dados
  • Educar os usuários sobre como identificar e se defender contra informações falsas
  • Testes rigorosos de modelos, avaliação e melhoria contínua

As empresas também podem aumentar a confiabilidade treinando seus próprios modelos com dados verificados e de alta qualidade, em vez de usar grandes modelos comerciais.

O uso de sistemas agênticos é outra forma de aumentar a confiabilidade. A AI agêntica consiste em “agentes” que podem realizar tarefas para outra entidade de forma autônoma. Enquanto os sistemas de AI tradicionais dependem de entradas e programação, os modelos de AI agêntica são projetados para atuar mais como um funcionário humano, compreendendo contexto e instruções, definindo metas e agindo de forma independente para alcançá-las enquanto se adaptam conforme necessário, com intervenção humana mínima. Esses modelos podem aprender com o comportamento do usuário e outras fontes além dos dados de treinamento iniciais do sistema e são capazes de raciocínio complexo sobre dados corporativos.

Recursos de dados sintéticos podem ajudar a aumentar a qualidade dos agentes gerando rapidamente conjuntos de dados de avaliação — o equivalente na GenAI a suítes de testes de software — em poucos minutos. Isso acelera significativamente o processo de melhoria da qualidade de resposta dos agentes de AI, agiliza o tempo até a produção e reduz os custos de desenvolvimento.

Viés e equidade
O viés social infiltrando-se nos sistemas de AI é outro risco. A preocupação é que os sistemas de AI possam perpetuar vieses sociais para criar resultados injustos com base em fatores como raça, gênero ou etnia, por exemplo. Isso pode resultar em discriminação e é particularmente problemático em áreas como contratação, empréstimos e saúde. As organizações podem mitigar esses riscos e promover a equidade com políticas e práticas como:

  • Criação de métricas de equidade
  • Uso de conjuntos de dados de treinamento representativos
  • Formação de equipes de desenvolvimento diversas
  • Garantia de supervisão e revisão humana
  • Monitoramento de resultados para identificar viés e equidade

Força de trabalho
Os recursos de automação da AI terão um impacto na força de trabalho humana. Segundo a Accenture, 40% das horas de trabalho em todos os setores podem ser automatizadas ou aprimoradas pela AI generativa, com os setores bancário, de seguros, de mercados de capitais e de software apresentando o maior potencial. Isso afetará até dois terços das ocupações nos U.S., de acordo com o Goldman Sachs, mas a empresa conclui que a AI tem mais probabilidade de complementar os trabalhadores atuais do que levar a uma perda generalizada de empregos. Especialistas humanos continuarão sendo essenciais, idealmente assumindo trabalhos de maior valor, enquanto a automação ajuda com tarefas repetitivas de menor valor. A maioria dos líderes empresariais vê a AI como um copiloto, e não como um rival para os funcionários humanos.

De qualquer forma, alguns funcionários podem estar mais apreensivos com a AI do que entusiasmados com a forma como ela pode ajudá-los. As empresas podem tomar medidas proativas para ajudar a força de trabalho a adotar as iniciativas de AI em vez de temê-las, incluindo:

  • Educar os trabalhadores sobre os fundamentos da AI, considerações éticas e políticas de AI da empresa
  • Focar no valor que os funcionários podem obter com as ferramentas de AI
  • Capacitar e requalificar funcionários conforme as necessidades evoluem
  • Democratizar o acesso a recursos técnicos para capacitar os usuários de negócios

Unificando a governança de dados e AI

A AI apresenta desafios únicos de governança, mas está profundamente entrelaçada com a governança de dados. As empresas enfrentam dificuldades com a governança fragmentada entre bancos de dados, data warehouses e data lakes. Isso complica o gerenciamento, a segurança e o compartilhamento de dados e tem um impacto direto na AI. A governança unificada é fundamental para o sucesso geral, promovendo a interoperabilidade, simplificando a conformidade regulatória e acelerando as iniciativas de dados e AI.

A governança unificada melhora o desempenho e a segurança para dados e AI, gera transparência e constrói confiança. Ela garante acesso contínuo a dados atualizados e de alta qualidade, resultando em resultados mais precisos e tomadas de decisão aprimoradas. Uma abordagem unificada que elimina os silos de dados aumenta a eficiência e a produtividade, reduzindo os custos. Esse framework também fortalece a segurança com fluxos de trabalho de dados claros e consistentes, alinhados aos requisitos regulatórios e às melhores práticas de AI.

O Databricks Unity Catalog é a única solução de governança aberta e unificada do setor para dados e AI, integrada à Databricks Data + AI Platform. Com o Unity Catalog, as organizações podem governar perfeitamente todos os tipos de dados, bem como componentes de AI. Isso capacita as organizações a descobrir, acessar e colaborar com segurança em ativos confiáveis de dados e AI em várias plataformas, ajudando-as a liberar todo o potencial de seus dados e AI.

Para se aprofundar na governança de AI, consulte nosso e-book Big Book of AI Governance.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original

Tags relacionadas:

Líder de dados e Práticas recomendadas

Receba os posts mais recentes na sua caixa de entrada

Assine nosso blog e receba os posts mais recentes diretamente na sua caixa de entrada.