Compreendendo a segurança da IA

Embora as organizações sintam pressões concorrentes para acelerar o uso de AI, a tecnología em rápida evolução traz novos níveis de preocupação e responsabilidade para suas práticas de segurança de dados. Os dados são um dos ativos mais valiosos para qualquer organização e devem ser protegidos para garantir a segurança dos sistemas de IA. As organizações devem implementar protocolos de segurança robustos, métodos de criptografia, controles de acesso e mecanismos de monitoramento para proteger os ativos de IA e mitigar os riscos potenciais associados ao seu uso. Mas o gerenciamento da segurança e do risco da AI vai ainda mais fundo.  

A segurança de IA refere-se às práticas, medidas e estratégias implementadas para proteger sistemas, modelos e dados de inteligência artificial de acesso não autorizado, manipulação ou atividades mal-intencionadas. Preocupações com viés, alucinações, transparência e confiança, juntamente com o cenário regulatório em constante mudança, tornam desafiador testar e monitorar sistemas de IA de forma eficaz.

Por mais assustador que isso possa parecer, a IA também pode ajudar nas suas iniciativas de segurança com a capacidade de automatizar proteções e corrigir vulnerabilidades. A IA está sendo usada para abordar todas as fases da cibersegurança, incluindo: 

• Análise de dados tempo-real para detecção de fraudes e outras atividades maliciosas
• Teste adversarial para aprender como um modelo se comporta ao receber uma entrada prejudicial para guiar a mitigação.
• Identificação/avaliação de riscos com a capacidade de analisar grandes quantidades de dados para identificar riscos em potencial
• Pontuação e categorização de riscos com aprendizado adaptativo e processamento de dados tempo-real para avaliar e priorizar riscos
• Teste de viés para detectar disparidades nos resultados entre diferentes grupos demográficos
• Reconhecimento de padrões para verificação de identidade e detecção de ameaças
• Acompanhamento automatizado para reduzir o esforço manual e o erro humano, auxiliando na compliance e no gerenciamento de riscos.
• Previsão de risco usando modelagem preditiva para analisar padrões e anomalias que humanos poderiam não perceber
• Detecção de ameaças usando análise comportamental e resposta por meio do isolamento de dispositivos afetados e bloqueio de atividades mal-intencionadas

Riscos comuns de segurança de IA   

Diferentemente da segurança de TI tradicional, a IA introduz novas vulnerabilidades que abrangem dados, modelos, infraestrutura e governança. É importante entender os riscos para cada componente de um sistema de IA:

• Riscos de operações de dados resultantes do manuseio inadequado de dados e de más práticas de gestão de dados, como controles de acesso insuficientes, ausência de classificação de dados, baixa qualidade dos dados, falta de logs de acesso a dados e envenenamento de dados.
• Riscos de operações de modelo, como experimentos não rastreados e não reproduzíveis, drift de modelo, hiperparâmetros roubados, bibliotecas maliciosas e envenenamento de dados de avaliação.
• Riscos de implantação e serviço de modelo, como injeção de prompt, inversão de modelo, negação de serviço, alucinações de modelos de linguagem grandes e ataques de caixa-preta.
• Riscos de operações e plataforma, como falta de gerenciamento de vulnerabilidades, testes de penetração e programas de recompensa por bugs, acesso privilegiado não autorizado, um ciclo de vida de desenvolvimento de software inadequado e falta de compliance.

Compreensão das vulnerabilidades específicas dos aplicativos de IA   

Também é importante entender e identificar vulnerabilidades relevantes para seus casos de uso de IA específicos, em vez de analisar todos os cenários de ameaça possíveis. Diferentes modelos de implantação exigem controles diferentes. Para obter uma explicação dos diferentes modelos de implantação de AI e como alinhar os componentes de seus sistemas de AI com os modelos implantados e os riscos potenciais, faça o download do Databricks AI Security Framework (DASF)

Impacto dos riscos de segurança nas organizações   

Os sistemas de IA são complexos e podem operar com pouca supervisão humana. Os problemas de segurança de AI podem ter um alto custo de maneiras que vão muito além dos ataques bem-sucedidos à segurança de dados dos últimos anos. O manuseio inseguro de dados ainda pode revelar dados pessoais e apresentar riscos à privacidade, mas a falta de supervisão, testes e monitoramento pode levar a consequências não intencionais, como propagação de erros downstream e dilemas éticos em torno da desigualdade social e econômica. O viés introduzido durante o treinamento do modelo pode levar à discriminação e a práticas injustas.

A falta de transparência sobre como os sistemas de IA são criados e monitorados pode levar à desconfiança e à resistência à adoção. A IA pode ser cooptada para disseminar desinformação e manipular para obter ganhos competitivos e econômicos.

E as responsabilidades pelo não compliance estão forçando as organizações a acompanhar as novas regulamentações à medida que a tecnologia avança. A regulamentação de AI mais abrangente do mundo até o momento foi aprovada por uma margem de votos considerável no Parlamento da União Europeia (UE), enquanto o governo federal dos Estados Unidos e as agências estaduais tomaram recentemente vários passos notáveis para estabelecer controles sobre o uso de AI.

A ampla Ordem Executiva sobre o Desenvolvimento e Uso Seguro, Protegido e Confiável da IA oferece proteções contra discriminação, segurança do consumidor e práticas antitruste. Um dos principais esforços no âmbito da ordem executiva é que o Instituto Nacional de Padrões e Tecnologia expanda sua Estrutura de Gerenciamento de Riscos de Inteligência Artificial para aplicá-la à IA generativa. O recém-formado Instituto de Segurança de IA dos EUA dentro do NIST apoiará o esforço com pesquisa e expertise dos membros participantes, incluindo a Databricks.

Melhores práticas para IA

A implementação de frameworks de IA seguros será extremamente útil para proteger os sistemas de IA no futuro, pois eles prometem evoluir com a tecnologia e a regulamentação. O Databricks AI Security Framework (DASF) leva o framework do NIST vários os passos adiante, ajudando a entender:

• Responsabilidades das partes interessadas durante todo o ciclo de vida do sistema de IA
• Como diferentes modelos de implantação e casos de uso de IA impactam a segurança
• Os 12 principais componentes do sistema de IA e os controles de mitigação de riscos associados
• Riscos relevantes para seus casos de uso e modelos, e seus impactos
• Como implementar controles priorizados por tipos de modelo e casos de uso

A DASF recomenda os sete os passos a seguir para gerenciar os riscos de IA:

• Tenha um modelo mental de um sistema de IA e dos componentes que precisam funcionar em conjunto.
• Entenda as pessoas e os processos envolvidos na criação e no gerenciamento de sistemas de IA e defina suas funções.
• Entenda o que a IA responsável envolve e todos os riscos prováveis de IA, e catalogue esses riscos nos componentes de IA.
• Compreender os vários modelos de implantação de IA e as implicações de risco para cada um.
• Compreender as ameaças exclusivas aos seus casos de uso de IA e mapear seus riscos para essas ameaças de IA.
• Compreenda os riscos exclusivos que se aplicam ao seu caso de uso de IA e filtre esses riscos com base em seus casos de uso.
• Identifique e implemente os controles que precisam ser aplicados por caso de uso e modelo de implantação, mapeando cada risco para componentes e controles de IA.

Benefícios de aproveitar a IA em cibersegurança   

Empregar a tecnologia de IA em suas SecOps gerais pode ajudar você a dimensionar suas operações de segurança e gerenciamento de riscos para acomodar os volumes de dados crescentes e as soluções de IA cada vez mais complexas. Você também pode aproveitar os benefícios de custo e utilização de recursos com base na redução de tarefas manuais de rotina, auditoria e custos relacionados à compliance.

A eficiência operacional é aprimorada com a análise comportamental baseada em IA e o reconhecimento de anomalias para melhorar os tempos de resposta e a precisão da detecção e mitigação de ameaças.

Ao usar a IA para automatizar os processos de gerenciamento de segurança, você pode obter visibilidade rapidamente da sua superfície de ataque. Modelos de IA podem ser treinados para monitoramento contínuo, acompanhamento e investigação de endereços IP, identificando e priorizando vulnerabilidades com base no impacto delas para uma mitigação proativa.

A AI pode realizar análise de inventário, tagging e acompanhamento para o gerenciamento de compliance e automatizar a aplicação de patches e upgrades. Isso ajuda a reduzir o erro humano e otimiza a avaliação de riscos e os relatórios de compliance.

A automação e a IA também podem fornecer respostas em tempo real a ataques cibernéticos e reduzir alarmes falsos, enquanto aprendem continuamente sobre o cenário de ameaças em constante mudança.

O futuro da segurança da AI   

As tendências emergentes em segurança de IA prometem uma mudança de medidas reativas para uma fortificação proativa. Essas mudanças incluem:    

• Os algoritmos de Machine learning são usados para análise preditiva, identificando padrões e a probabilidade de futuras ameaças e vulnerabilidades com base em data histórica.
• Detecção de ameaças orientada por AI usando analítica comportamental para identificar anomalias suspeitas e padrões de ataque.
• Orquestração e resposta de segurança automatizada por AI (SOAR) para analisar rapidamente grandes quantidades de dados para gerar tíquetes de incidentes, atribuir equipes de resposta e implementar medidas de mitigação.
• Testes de penetração com AI, ou “hacking ético”, para acelerar a análise de possíveis ameaças.
• A integração da AI em estruturas de confiança zero para autenticação e autorização contínuas.
• Tomada de decisão para sistemas de autorrecuperação que usam lógica orientada por AI para encontrar as melhores soluções.

Há também várias inovações que usam IA generativa para o gerenciamento de segurança, como a criação de “IA adversarial” para combater ataques orientados por IA e modelos de GenAI para reduzir falsos positivos. Também há trabalhos sendo realizados em criptografia pós-quântica para combater a ameaça iminente dos computadores quânticos.

A preparação para os desafios de segurança futuros envolverá a evolução contínua das plataformas de segurança com IA, e os profissionais do centro de operações de segurança (SOC) precisarão aprender novas técnicas e se aprimorar com IA. Combinado com tecnologias de avaliação de risco orientadas por AI, o blockchain ajudará a garantir registros de risco imutáveis e a fornecer trilhas de auditoria transparentes e verificáveis.

Conclusão: Garantindo a implementação segura e ética da IA   

O rápido impulso por trás do uso de AI está fazendo com que as organizações percebam a necessidade de democratizar a tecnología e criar confiança em suas aplicações. Para alcançar isso, serão necessários mecanismos de proteção eficazes, responsabilização das partes interessadas e novos níveis de segurança. Esforços colaborativos importantes estão em andamento para preparar o caminho. A Agência de Segurança Cibernética e de Infraestrutura (CISA) desenvolveu o Manual de Colaboração em Segurança Cibernética de Inteligência Artificial (IA) da Colaborativa de Defesa Cibernética Conjunta (JCDC) com parceiros federais, internacionais e do setor privado, incluindo a Databricks.

O avanço da segurança dos sistemas de IA exigirá investimento em treinamento e ferramentas. O Databricks AI Security Framework (DASF) pode ajudar a criar um perfil de risco de ponta a ponta para suas implantações de IA, desmistificar a tecnologia para suas equipes em toda a organização e fornecer recomendações práticas sobre controles que se aplicam a qualquer plataforma de dados e IA.

O uso responsável de IA envolve educação cultural e comportamental, e uma liderança que enfatiza a responsabilidade e o aprendizado contínuo. Você pode encontrar eventos, webinars, blogs, podcasts e muito mais sobre o papel evolutivo da segurança de IA em Databricks Security Events. E confira o Databricks Learning para cursos de treinamento com instrutor e no seu próprio ritmo.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original