Apresentando o Framework de Governança de IA da Databricks

Hoje, estamos apresentando o Framework de Governança de IA da Databricks (DAGF v1.0), uma abordagem estruturada e prática para governar a adoção de IA em toda a empresa.

À medida que as organizações adotam a IA em larga escala, a necessidade de uma governança formal aumenta. As empresas devem alinhar o desenvolvimento de IA com os objetivos de negócio, cumprir obrigações legais e considerar os riscos éticos. Este framework foi projetado para suportar o desenvolvimento, implantação e melhoria contínua do programa.

O DAGF complementa o Framework de Segurança de IA da Databricks, oferecendo uma visão completa de governança que abrange tanto a segurança quanto a integridade operacional.

Por que a governança de IA não pode esperar

De acordo com uma pesquisa global de 2024 realizada pelo Economist Impact, com 1.100 executivos e engenheiros de tecnologia, 40% dos entrevistados acreditavam que o programa de Governança de IA de sua organização era insuficiente para garantir a segurança e conformidade de seus ativos de IA e casos de uso. Além disso, violações de privacidade e segurança de dados foram a principal preocupação para 53% dos arquitetos de empresas, enquanto a segurança e a governança são os aspectos mais desafiadores da engenharia de dados para os engenheiros.

Além disso, de acordo com a Gartner, a confiança, o risco e a gestão de segurança em IA é a principal tendência estratégica em 2024 que influenciará as decisões de negócios e tecnologia, e até 2026, os modelos de IA de organizações que operacionalizam a transparência, confiança e segurança em IA alcançarão um aumento de 50% em termos de adoção, objetivos de negócios e aceitação do usuário.

Embora seja evidente que a falta de programas de governança de IA em nível empresarial está se tornando rapidamente um obstáculo chave para realizar o retorno sobre o valor dos investimentos em IA e a adoção de IA como um todo, percebemos que não existe um único framework de orientação abrangente que as empresas possam usar para construir programas eficazes de governança de IA.

Os cinco pilares fundamentais

Neste framework, introduzimos 43 considerações chave que são essenciais para todas as empresas entenderem (e implementarem conforme apropriado) para governar efetivamente suas jornadas de IA.

Essas considerações-chave foram então agrupadas logicamente em 5 pilares fundamentais, projetados e sequenciados para refletir as estruturas organizacionais e personas típicas de empresas.

Pilar I: Organização de IA

O pilar da Organização de IA incorpora a governança de IA na estratégia de governança mais ampla da organização. Ele destaca a base para um programa eficaz de IA através de melhores práticas como objetivos de negócios claramente definidos e a integração das práticas de governança adequadas que supervisionam as pessoas, processos, tecnologia e dados da organização. Explica como as organizações podem estabelecer a supervisão necessária para alcançar seus objetivos estratégicos enquanto reduzem o risco.

Pilar II: Conformidade Legal e Regulatória

O pilar de Conformidade Legal e Regulatória ajuda as organizações a alinhar as iniciativas de IA com as leis e regulamentos aplicáveis. Ele orienta a gestão de riscos legais, interpretação de requisitos específicos do setor e adaptação de estratégias de conformidade em resposta a paisagens regulatórias em evolução. O resultado é que os programas de IA são desenvolvidos e implantados dentro de um robusto quadro legal e regulatório.

Pilar III: Ética, Transparência e Interpretabilidade

O pilar de Ética, Transparência e Interpretabilidade apoia as organizações na construção de sistemas de IA confiáveis e responsáveis. Ele enfatiza a aderência a princípios éticos como justiça, responsabilidade e supervisão humana, enquanto promove explicabilidade e engajamento das partes interessadas. Este pilar fornece métodos para estabelecer responsabilidade e estrutura dentro das equipes organizacionais, ajudando a garantir que as decisões de IA sejam interpretáveis, alinhadas com os padrões éticos em evolução e promovendo a confiança e aceitação a longo prazo da sociedade.

Pilar IV: Dados, AI Ops e Infraestrutura

O pilar de Dados, Operações de IA (AIOps) e Infraestrutura define a base que suporta as organizações na implantação e manutenção total da IA. Ele fornece diretrizes para a criação de uma infraestrutura de IA escalável e confiável, gerenciando o ciclo de vida do aprendizado de máquina e garantindo a qualidade, segurança e conformidade dos dados. Este pilar também enfatiza as melhores práticas para operações de IA, incluindo treinamento de modelos, avaliação, implantação e monitoramento, para que os sistemas de IA sejam confiáveis, eficientes e alinhados com os objetivos de negócios.

Pilar V: Segurança em IA

O pilar de Segurança da IA introduz o Framework de Segurança da IA da Databricks (DASF), um framework abrangente para entender e mitigar riscos de segurança em todo o ciclo de vida da IA. Ele abrange áreas críticas como proteção de dados, gerenciamento de modelos, serviço seguro de modelos e a implementação de medidas robustas de cibersegurança para proteger os ativos de IA.

Para uma visão geral adicional do DAGF e para um exemplo de como uma organização pode utilizar o framework para criar propriedade e alinhamento claros em todo o ciclo de vida do programa de IA, assista a esta apresentação dos autores feita durante o 2025 Data + AI Summit.

Por que a Databricks está liderando esse esforço

Como líder de indústria na área de dados e IA, com mais de 15.000 clientes em diversas geografias e segmentos de mercado, a Databricks continua a cumprir seu compromisso com os princípios de desenvolvimento responsável e inovação de código aberto. Mantivemos esses compromissos através de nosso:

• Engajamento com a indústria e o governo em esforços para promover a inovação e defender o uso de IA segura e confiável
• Oficinas interativas para educar as organizações sobre como conduzir com sucesso sua jornada de IA de maneira consciente em relação aos riscos
• Abertura do código-fonte de inovações chave em governança como MLFlow e Catálogo Unity, a única solução unificada do setor para governança de dados e IA em nuvens, formatos de dados e plataformas de dados.

Esses programas nos proporcionaram uma visibilidade única sobre os problemas práticos que as empresas e reguladores enfrentam hoje na governança de IA. Para reforçar nosso compromisso em ajudar todas as empresas a terem sucesso e acelerarem sua jornada de Dados e IA, decidimos aproveitar essa visibilidade para construir (e disponibilizar gratuitamente) um Framework de Governança de IA abrangente, estruturado e acionável.

Baixe o Framework de Governança de IA da Databricks hoje!

O whitepaper do Framework de Governança da IA da Databricks está agora disponível para download. Por favor, entre em contato conosco por e-mail em [email protected] para qualquer dúvida ou feedback. Se você está interessado em contribuir para futuras atualizações deste framework (e outros artefatos futuros) ao se juntar à nossa comunidade de revisores, adoraríamos ouvir de você também!

(This blog post has been translated using AI-powered tools) Original Post