Enquanto os líderes de negócios procuram aproveitar as tecnologias de IA em suas operações para impulsionar a eficiência e a inovação, eles geralmente têm dificuldade para entender seu perfil de risco exclusivo e as etapas necessárias para gerenciar o risco de IA de forma eficaz. A rápida adoção de sistemas de AI em todas as indústrias criou oportunidades sem precedentes, mas também introduziu desafios complexos que exigem estratégias abrangentes de gerenciamento de risco de AI.
Assim como os recursos de dados existentes, os sistemas de IA têm vulnerabilidades de cibersegurança, privacidade e compliance regulatória, mas também introduzem preocupações éticas e consequências não intencionais, como viés, discriminação e falta de confiança. As organizações que implementam tecnologias de IA devem desenvolver abordagens robustas de gerenciamento de riscos que abordem tanto as preocupações tradicionais de segurança de TI quanto os riscos exclusivos associados a sistemas de inteligência artificial.
A complexidade do gerenciamento de riscos de IA deriva de múltiplos fatores: a opacidade de modelos de IA complexos, a escala dos dados de treinamento necessários, a velocidade do desenvolvimento da IA e o cenário em evolução dos requisitos de compliance regulatória, incluindo a Lei de IA da UE. Os riscos de AI podem se manifestar em qualquer estágio do ciclo de vida da AI, desde a coleta inicial de dados até a implantação da AI e as operações contínuas.
Sem controles de acesso adequados, os sistemas de IA podem ser explorados por agentes mal-intencionados, levando a violações de dados e manipulação de modelos. Usuários internos podem realizar shadow AI e usar modelos de IA generativa para encontrar dados confidenciais aos quais não deveriam ter acesso. E sem auditabilidade e rastreabilidade dos modelos de IA e seus dados, as organizações enfrentam riscos de não compliance associados à IA.
No Estudo de Referência de Privacidade de Dados de 2024 da Cisco, 91% das organizações reconhecem que precisam fazer mais para garantir a seus clientes que seus dados estão sendo usados apenas para fins pretendidos e legítimos em IA. Mas muitas vezes eles não sabem o que esse "mais" significa.
Com muitas aplicações potenciais de AI afetando funcionários, clientes e parceiros, a responsabilidade pelo gerenciamento de riscos de AI se estende para além da TI. Sem um entendimento de como os componentes de um sistema de AI funcionam juntos e a capacidade de identificar riscos potenciais e mitigar os riscos presentes em seus casos de uso, as organizações podem default para uma abordagem de pior caso e ficar sobrecarregadas tentando solucionar todas as ameaças possíveis. Elas precisam de uma forma simplificada de gerenciar os riscos de IA enquanto se mantêm alinhadas com as prioridades de negócios. Isso exige uma linguagem comum e colaboração entre as equipes de negócios, dados, IA, governança e segurança para navegar nesse ato de equilíbrio e inovar sem conflitos.
Sabendo que as ameaças à segurança da IA não podem ser vistas pela ótica dos padrões de segurança estabelecidos para um mundo determinístico pré-IA, vários frameworks de gerenciamento de risco de IA surgiram para ajudar a impulsionar as organizações a lidar com os riscos e a proteger seus dados de forma eficaz.
Frameworks comuns de segurança de IA, como o Artificial Intelligence Risk Management Framework (AI RMF) do National Institute of Standards and Technology (NIST), descrevem eficazmente os riscos associados à proteção de sistemas de IA e fornecem uma abordagem estruturada para identificação e avaliação de riscos, mas não chegam a descrever completamente como aplicar os controles e as mitigações necessárias para cada tipo de risco de IA.
Uma estratégia eficaz de gerenciamento de risco de IA envolve a implementação de práticas abrangentes de gerenciamento de risco em todo o ciclo de vida da IA. As organizações precisam de frameworks de gerenciamento de risco que abordem os riscos potenciais no desenvolvimento, implantação e operações de IA. O framework de gerenciamento AI RMF fornece orientação sobre o gerenciamento de riscos por meio de estratégias de mitigação de riscos e abordagens práticas de gerenciamento de riscos.
Os riscos de IA podem ser categorizados em quatro tipos principais:
Riscos de segurança: Incluindo ameaças à segurança de IA, ameaças cibernéticas e vulnerabilidades de segurança que expõem os sistemas de IA a ataques
Riscos operacionais: abrangendo falhas de sistema, drift de modelo e degradação do desempenho de modelos de IA
Riscos éticos e de compliance: Abordar a compliance regulatória, as implicações éticas e os resultados injustos de sistemas de IA
Riscos de dados: envolvendo qualidade dos dados, integridade de dados, proteção de dados confidenciais e dados de treinamento enviesados
Para desmistificar o gerenciamento de riscos de AI, o Databricks AI Security Framework (DASF) oferece um roteiro prático com diretrizes para usar recomendações de controle defensivo, mantendo o alinhamento com as prioridades de negócios. O DASF mapeia seus controles de AI da estrutura de gerenciamento de riscos para 10 padrões e estruturas do setor e adota uma abordagem holística de conscientização e mitigação para que as equipes de desenvolvimento de dados e AI colaborem com as equipes de segurança em todo o seu ciclo de vida de AI e machine learning.
A implantação de IA também traz uma dimensão regulatória crucial para o gerenciamento de riscos, enfatizando a necessidade de uma supervisão cuidadosa e de uma governança de IA responsável. Dependendo do setor e da localização, as organizações precisam garantir o compliance regulatório com uma infinidade de regulamentações, incluindo a Lei de IA da UE e outros riscos emergentes de novas legislações.
A Lei de AI da UE representa um marco regulatório que classifica os sistemas de AI com base nos níveis de risco e impõe requisitos específicos para aplicações de AI de alto risco. As organizações que implantam sistemas de AI na Europa devem entender esses requisitos e implementar frameworks de gerenciamento de riscos adequados para garantir a compliance regulatória. Regulamentações semelhantes estão surgindo globalmente, criando um cenário complexo para a governança de IA.
As key issues de compliance para sistemas de IA envolvem qualidade e confiabilidade dos dados, segurança de IA, resiliência, responsabilidade e transparência, privacidade de dados e justiça e viés em modelos de IA. As organizações devem atender a esses requisitos de compliance por meio de práticas abrangentes de gerenciamento de riscos de IA que abrangem todo o ciclo de vida da IA.
As estruturas de governança de IA devem abranger políticas, procedimentos e controles que garantam o desenvolvimento e a implantação responsáveis da IA. Isso inclui estabelecer estruturas claras de responsabilização, definir níveis de tolerância a riscos, implementar processos de identificação de riscos e manter o monitoramento contínuo do desempenho dos sistemas de IA. O gerenciamento eficaz de riscos de IA requer a colaboração entre cientistas de dados, engenheiros, equipes de segurança e stakeholders de negócios para equilibrar a inovação com o gerenciamento de riscos.
Começa com a governança de dados, que resulta em melhor compliance regulatória com requisitos como HIPAA, FedRAMP, GDPR ou CCPA. A governança de dados é crucial para garantir a qualidade dos dados, a consistência, o compliance regulatório e as políticas organizacionais internas, bem como a integridade de dados, a segurança da IA, a privacidade dos dados, a auditoria e o gerenciamento de riscos. A governança de dados adequada ajuda a evitar problemas com dados de treinamento tendenciosos e garante que os dados de entrada atendam aos padrões de qualidade.
Para compliance regulatório, as organizações precisam de visibilidade para garantir a capacidade de descoberta e a capacidade de catalogar dados de várias fontes usados em modelos de fundação de uso duplo. Isso inclui acompanhamento de fontes de dados histórica, monitoramento de práticas de coleta de dados e proteção de dados sensíveis e dados pessoais sensíveis durante todo o processo de desenvolvimento do sistema de IA. Sediado no NIST, o recém-formado Instituto de Segurança de IA dos EUA (USAISI) criará diretrizes para mecanismos de avaliação de risco de IA e desenvolverá orientação técnica que os reguladores usarão em questões como estabelecer limites para categorizar modelos poderosos, autenticar conteúdo, marcar com marca d'água o conteúdo gerado por IA, identificar e mitigar a discriminação algorítmica, garantir a transparência e permitir a adoção de IA que preserva a privacidade.
As organizações líderes no uso de AI estão usando ferramentas de AI para lidar com os riscos em desafios de operações comuns e problemas sistemáticos, como gerenciamento de mudanças na compliance regulatória, redução de falsos positivos, prevenção de fraudes e AML e correção de erros humanos. Elas automatizam o monitoramento de seus sistemas de IA para garantir dados de treinamento de alta qualidade e modelos do machine learning justos e imparciais por meio do monitoramento contínuo do desempenho do sistema de IA.
Sim, as tecnologias de IA podem aprimorar significativamente os recursos de gerenciamento de riscos nas organizações. Os aplicativos de IA podem auxiliar no gerenciamento de riscos, identificando riscos potenciais, realizando avaliações de risco regulares e desenvolvendo estratégias de mitigação de riscos que se adaptam aos cenários de ameaças em constante mudança. Os algoritmos de Machine learning podem detectar padrões e anomalias que os humanos podem não perceber, tornando o gerenciamento de riscos de IA mais eficaz por meio do monitoramento contínuo e de processos automatizados de avaliação de riscos.
As ferramentas de AI se destacam no processamento de grandes quantidades de data histórica para identificar riscos potenciais antes que eles se materializem. Por meio de análise preditiva e reconhecimento de padrões, os sistemas de IA podem sinalizar vulnerabilidades de segurança, detectar ameaças cibernéticas e alertar as equipes de segurança sobre riscos emergentes em tempo real. Essa abordagem proativa ao gerenciamento de riscos permite que as organizações mitiguem riscos antes que eles afetem as operações ou comprometam informações confidenciais.
No entanto, depender da IA para o gerenciamento de riscos também introduz novos riscos relacionados à IA que devem ser abordados por meio de estruturas abrangentes de gerenciamento de riscos de IA. As organizações devem garantir que as ferramentas de IA usadas para o gerenciamento de riscos sejam elas mesmas seguras, imparciais e operem dentro de estruturas de governança apropriadas. Isso exige práticas de gerenciamento de riscos que abranjam tanto os riscos tradicionais quanto os riscos únicos associados aos próprios sistemas de IA.
As práticas de gerenciamento de riscos exigem um entendimento dos componentes de um sistema de IA e dos riscos genéricos de IA, bem como dos riscos associados à IA relevantes para casos de uso específicos. O gerenciamento bem-sucedido de riscos de IA depende da implementação de processos abrangentes de gerenciamento de riscos que abordem todas as etapas do desenvolvimento e da implantação da IA. O DASF propõe sete os passos para simplificar esse processo:
Com controles implementados, as ferramentas baseadas em AI podem ajudar as organizações a detectar e mitigar riscos mais rapidamente do que as medidas de segurança tradicionais. Com o treinamento adversário, os algoritmos de machine learning podem detectar padrões e anomalias para a detecção ativa de ameaças e fornecer monitoramento contínuo, resposta automatizada a incidentes, análise comportamental e previsão de ameaças como parte de processos abrangentes de gerenciamento de riscos.
A regra dos 30% no gerenciamento de riscos de IA refere-se ao princípio de que as organizações devem dedicar aproximadamente 30% de seus esforços de gerenciamento de riscos de IA ao monitoramento e à avaliação contínuos de sistemas de IA após a implantação. Isso garante que o desempenho do sistema de AI permaneça alinhado com os resultados pretendidos e ajuda a identificar riscos potenciais que surgem durante o uso em produção.
O gerenciamento eficaz de riscos de IA exige uma avaliação contínua de riscos, em vez de uma avaliação única durante o desenvolvimento da IA. A regra dos 30% enfatiza que as práticas de gerenciamento de riscos de IA devem se estender além das fases iniciais de desenvolvimento e implantação do sistema de IA. As organizações devem alocar recursos significativos para realizar avaliações de risco regulares, monitorar modelos de AI para drift, detectar riscos emergentes e atualizar estratégias de mitigação de riscos à medida que as tecnologias de AI e os cenários de ameaças evoluem.
Essa abordagem contínua para o gerenciamento de riscos de IA ajuda as organizações a detectar ameaças de segurança, falhas de sistema e consequências não intencionais antes que se transformem em incidentes graves. Ao dedicar recursos a esforços contínuos de gerenciamento de riscos, as organizações podem manter a integridade de dados, garantir a segurança da IA e lidar com os riscos de forma proativa, em vez de reativa. A regra dos 30% apoia práticas de IA responsável, garantindo que os sistemas de IA recebam supervisão consistente durante todo o seu ciclo de vida operacional.
Não se pode ter IA sem dados de alta qualidade, e não se pode ter dados de alta qualidade sem governança de dados e supervisão. Governança e supervisão eficazes garantem:
Diferentemente da segurança de TI tradicional, a IA introduz novas vulnerabilidades que abrangem dados, modelos, infraestrutura e governança. No DASF, identificamos 62 riscos distintos de IA nos 12 componentes de um sistema de IA. Em um nível geral, esses riscos potenciais incluem:
Riscos de operações de dados, como controles de acesso insuficientes, falta de classificação de dados, baixa qualidade dos dados, falta de logs de acesso a dados e envenenamento de dados que afetam a qualidade dos dados de treinamento.
Riscos de operações de modelo, como experimentos que não são rastreados e reproduzíveis, model drift, roubo de hiperparâmetros, bibliotecas maliciosas e envenenamento de dados de avaliação que afetam os modelos de AI.
Riscos de implantação e serviço de modelo, como injeção de prompt, inversão de modelo, negação de serviço (DOS), alucinações de LLM e ataques de caixa preta durante a implantação da IA.
Riscos de operações e plataforma, como falta de gerenciamento de vulnerabilidades, testes de penetração e bug bounty, acesso privilegiado não autorizado, um ciclo de vida de desenvolvimento de software (SDLC) inadequado e problemas de compliance regulatório.
As implicações desses riscos de IA abrangem uma variedade de consequências indesejadas e dispendiosas:
Gerenciar a desinformação e o viés também se torna crucial com a IA generativa e os modelos do machine learning. O monitoramento baseado em IA pode identificar erros de forma proativa, realizar análise de causa raiz e manter os padrões de qualidade dos pipelines de dados e de IA. As ferramentas de IA também podem auxiliar na previsão de riscos, combinando IA e análise preditiva para fornecer percepções em tempo real e recomendações acionáveis para a tomada de decisões de negócios, apoiando um gerenciamento de risco de IA eficaz.
Para fortalecer o gerenciamento de riscos de IA, as equipes devem implementar essas medidas com as políticas organizacionais existentes e garantir a supervisão adequada para criar sistemas de IA seguros, resilientes e alinhados com os objetivos de negócios, ao mesmo tempo em que mitigam as ameaças em evolução em um mundo cada vez mais orientado por IA. Essas estratégias de gerenciamento de riscos são essenciais para o desenvolvimento responsável de IA e para a implantação segura de sistemas de IA:
A implementação desses controles práticos de gerenciamento de riscos exige colaboração entre cientistas de dados, engenheiros, equipes de segurança e pessoal de governança. As organizações devem estabelecer frameworks claros de gerenciamento de riscos que definam responsabilidades, procedimentos de escalonamento e protocolos de resposta para diferentes tipos de riscos de IA. Esses frameworks devem estar alinhados com a tolerância a riscos organizacionais mais ampla e apoiar tanto a inovação quanto os objetivos de gerenciamento de riscos.
O compartilhamento de dados e a colaboração seguros permitem que os líderes de negócios obtenham percepções precisas, oportunas e relevantes para a tomada de decisões estratégicas. A Databricks Data Intelligence Platform oferece um único ponto de acesso para consolidar e consultar (query) dados com segurança de várias fontes para extrair rapidamente percepções de dados estruturados e não estruturados por meio de aplicações de AI, mantendo a segurança da AI e a privacidade dos dados.
Ao implementar uma governança de AI robusta, as instituições financeiras cultivam uma base de confiança em sua data histórica, permitindo que os sistemas de AI analisem grandes e complexos datasets de modelos de AI de forma rápida e precisa. Sistemas de IA confiáveis exigem esforços abrangentes de gerenciamento de risco em toda a organização, desde a coleta inicial de dados, passando pelo desenvolvimento, implantação e operações contínuas da IA.
A governança de IA responsável exige que a organização assuma a responsabilidade e o controle sobre seus dados e modelos de IA com monitoramento contínuo abrangente, controles de privacidade e governança de IA em todo o processo de desenvolvimento e implantação da IA. A responsabilidade não pode mais ser atribuída exclusivamente ao CIO para equilibrar a inovação e a segurança da IA ao mesmo tempo em que se alinha com as prioridades de negócios. É preciso haver um entendimento comum entre as equipes de negócios, dados, segurança, privacidade e governança para liberar todo o potencial da IA por meio de práticas de IA responsáveis.
Os sistemas de inteligência artificial devem ser desenvolvidos com princípios de desenvolvimento de IA responsáveis que priorizam a transparência, a justiça e a responsabilidade. As organizações que implementam práticas de gerenciamento de riscos de IA devem se concentrar em realizar avaliações de risco regulares, implementar estratégias de mitigação de riscos e manter sistemas de IA confiáveis que agreguem valor ao negócio enquanto gerenciam os riscos de forma eficaz.
A Databricks está colaborando com o NIST no Artificial Intelligence Safety Institute Consortium para estabelecer uma nova ciência de medição que permitirá a identificação de medições e metodologias comprovadas, escaláveis e interoperáveis para promover o desenvolvimento de sistemas de IA confiáveis e seu uso responsável. Essa colaboração apoia as estruturas mais amplas de gerenciamento de riscos de IA e os princípios da estrutura de gerenciamento AI RMF.
Os riscos emergentes impactarão o desenvolvimento e o uso tanto de modelos de IA autônomos quanto dos sistemas de IA agênticos que a Databricks vê seus clientes utilizarem cada vez mais para criar aplicações de IA com Agents específicos de domínio. O erro humano custa bilhões a empresas regulamentadas e essas perdas podem ser atribuídas a problemas de dados e ao volume de dados históricos que precisa ser rastreado. A AI pode auxiliar nos esforços de gerenciamento de riscos e compliance regulatória, detectando anomalias, tendências e padrões que os humanos podem não perceber e gerando alertas com base em um conjunto de regras.
Use o Databricks AI Security Framework para obter orientação essencial para desenvolver e implantar sistemas de IA com segurança e para manter modelos de IA em escala por meio de estruturas abrangentes de gerenciamento de riscos de IA. A estrutura ajuda as organizações a garantir que seus modelos de AI permaneçam seguros e continuem a agregar valor ao negócio, ao mesmo tempo em que aborda os riscos relacionados à AI e implementa o gerenciamento prático de riscos em todas as tecnologías de AI. Essa abordagem abrangente para o gerenciamento de riscos de AI ajuda as organizações a equilibrar a inovação com a mitigação de ameaças de segurança e o compliance regulatório.
(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original
Parceiros
February 2, 2026/29 min de leitura

