De modelos abertos a harnesses de agentes abertos: a Databricks traz código aberto, frameworks comunitários e uma arquitetura concreta para a segurança de AI
por Katie Cummiskey, Maria Pere-Perez, Arun Pamulapati e Nishith Sinha
A Databricks é patrocinadora do Black Hat USA 2026 esta semana. Visite-nos nos estandes #5106 / #2167 e leia como nossa aquisição da Panther acelera a era do Lakehouse de segurança.
À medida que os sistemas de AI se tornam mais capazes e autônomos, dois desafios convergem: proteger os próprios sistemas de AI contra novas classes de ataques e usar AI para fortalecer a ciberedefesa. Ambos exigem abertura, pois a inteligência de segurança crítica bloqueada dentro de um pequeno número de sistemas fechados deixa o ecossistema mais amplo exposto. A Databricks apoia ambos os lados da missão: frameworks abertos para proteger sistemas de AI e dados abertos via Lakewatch, o Open Security Lakehouse que impulsiona a detecção e resposta a ameaças agênticas em escala.
É por isso que a Databricks se orgulha de ser membro fundador da Open Secure AI Alliance, ao lado da NVIDIA e de outros líderes do setor. A aliança baseia-se em uma premissa simples, mas poderosa: a pesquisa de segurança e proteção de AI deve ser compartilhada abertamente, e as ferramentas que ela produz devem ser construídas em sistemas abertos. Esse trabalho abrange segurança de AI, proteção de AI e ciberedefesa habilitada por AI, fortalecendo empresas, softwares e sistemas críticos em todo o mundo. Os membros estão contribuindo abertamente: modelos abertos, pesos de modelos, harnesses abertos, ferramentas abertas e os aprendizados por trás deles, para acelerar o desenvolvimento de novas ferramentas e técnicas de segurança cibernética.
Um agente de AI não é apenas um modelo. É um sistema complexo construído a partir de modelos, harnesses e guardrails que governam o que o agente tem permissão para fazer. Embora muita atenção tenha se concentrado na proteção de modelos de pesos abertos dentro dos limites empresariais, os pesos dos modelos são apenas uma camada. A segurança na era agêntica exige uma pilha de execução aberta: desde o runtime e os guardrails subjacentes, passando pelo harness que orquestra os agentes e suas ferramentas, até os frameworks que definem riscos e controles, e a camada de governança que garante a segurança, auditabilidade e responsabilidade empresarial.
Sistemas abertos permitem que a comunidade mais ampla de defensores estude, teste e fortaleça cada componente dessa pilha. O resultado é uma confiança construída sobre garantias, visibilidade, evidências, participação e escolha.
A aliança abrange mais de 75 organizações em chips, modelos, segurança e infraestrutura. A NVIDIA contribui com computação acelerada e infraestrutura de AI aberta. A Databricks traz dados governados, recursos de modelo e agente, além de ferramentas e frameworks abertos para segurança, governança, red teaming e ciberedefesa.
Junto com as contribuições de toda a aliança, esse trabalho ajuda a fortalecer toda a pilha de agentes.
A Open Secure AI Alliance defende modelos, harnesses e guardrails abertos para que os defensores possam inspecionar, auditar e governar o comportamento dos agentes em toda a pilha de AI. Omnigent (Apache 2.0) é a resposta da Databricks a esse chamado, um meta-harness de código aberto. O Omnigent oferece aos desenvolvedores a escolha de harness e modelo, permitindo a composição e o compartilhamento seguro, ao mesmo tempo em que impõe políticas, limites de gastos e isolamento de sandbox em mais de 13 harnesses, tanto abertos quanto fechados.
As políticas contextuais do Omnigent permitem a governança do comportamento do agente rastreando o estado da sessão, bloqueando ataques slow-burn, e impondo autorização baseada em intenção. Esses são exatamente os tipos de controles abertos e inspecionáveis que a aliança prevê.
O Omnigent foi projetado para suportar o NVIDIA OpenShell como um backend de governança, combinando controles de política com isolamento em nível de kernel para uma proteção em camadas e auditável, desde a autorização do agente até a execução no host.
O DASF 3.0 cataloga 97 riscos técnicos de segurança em 13 componentes e os mapeia para 73 controles de mitigação, todos com referências cruzadas para MITRE ATLAS, OWASP, NIST, AIUC-1, HITRUST, ISO e CSA. Lançada sob a licença CC BY-SA 4.0, a versão 3.0 introduz cobertura dedicada para ameaças de AI agêntica (incluindo envenenamento de memória, manipulação de objetivos e conexões MCP inseguras), fornecendo aos defensores um modelo aberto e independente de fornecedor para passar da identificação do risco à mitigação.
Como o DASF conecta a taxonomia de risco a controles aplicáveis e independentes de fornecedor, ele oferece aos defensores um caminho concreto de um "risco nomeado" a uma "mitigação implantada". Ele oferece uma taxonomia comum para ameaças e mitigações agênticas, disponível para qualquer organização na comunidade.
O DAGF define quem é responsável e como a empresa gerencia isso. Este framework descreve cinco pilares para construir um programa de AI responsável e resiliente, oferecendo insights práticos para tomada de decisão e execução. Ele aborda áreas centrais, como governança de AI, conformidade ética, gerenciamento de riscos e supervisão operacional. Isso ajuda a gerenciar programas de AI de forma transparente, segura e eficaz, ao mesmo tempo em que promove a colaboração entre pessoas, processos e tecnologia. No contexto da aliança, o DAGF ajuda as empresas a governar como a computação acelerada e a infraestrutura de AI da NVIDIA são selecionadas, implantadas e gerenciadas, e garante que a tecnologia aberta seja adotada de forma responsável em escala. Lançado sob a licença Creative Commons Attribution-ShareAlike 4.0 International, o DAGF é independente de fornecedor e já está alinhado aos padrões que a comunidade utiliza.
BlackIce é o kit de ferramentas de red teaming conteinerizado e de código aberto da Databricks. Ele agrupa 14 ferramentas de segurança de AI amplamente utilizadas em um único ambiente reproduzível, mapeado para o MITRE ATLAS e o DASF, para que uma equipe de segurança possa testar um sistema contra injeção de prompt, vazamento de dados e ataques à cadeia de suprimentos sem precisar configurar cada ferramenta manualmente.
Isso reduz a barreira para o red teaming de AI. Configurar 14 ferramentas individualmente exige tempo e conhecimento profundo, o que coloca testes adversários sérios fora do alcance da maioria das equipes. Com mais de 6.000 downloads até o momento, ele já está nas mãos de equipes que não teriam conseguido reunir essas ferramentas por conta própria.
No lado da ciberedefesa habilitada por AI da missão da aliança, nosso compromisso com a abertura vai além dos frameworks. A Databricks foi pioneira no Lakehouse de segurança, uma arquitetura aberta e governada que unifica dados de segurança, IT e negócios para que os defensores possam executar detecção, investigação e resposta em escala de petabytes.
Com o Lakewatch, o Open Security Lakehouse da Databricks, as equipes de segurança podem implantar agentes de AI que triam alertas ativamente, realizam buscas por ameaças (threat hunts) e refinam a lógica de detecção, tudo sobre formatos de dados abertos que evitam a dependência de fornecedor. Essa é a mesma filosofia que impulsiona a Open Secure AI Alliance: os defensores devem ser donos de seus dados, de suas ferramentas e de sua inteligência.
A base de governança para essa arquitetura é o Unity Catalog, que a Databricks disponibilizou em código aberto sob a licença Apache 2.0 e doou para a Linux Foundation. O catálogo é a camada que decide qual agente pode acessar quais dados, modelos ou ferramentas, e impõe essa decisão. Deixar essa camada proprietária enquanto tudo acima dela é aberto colocaria o ponto de controle mais crítico de segurança fora do alcance de inspeção. Com um catálogo aberto, ou seja, APIs abertas, formatos de tabela abertos e uma implementação aberta, os defensores podem auditar e estender o próprio ponto de aplicação, e os dados de segurança permanecem portáveis entre mecanismos, em vez de ficarem presos ao plano de controle de um único fornecedor.
Nosso compromisso com a segurança aberta baseia-se em uma profunda herança de código aberto que remonta à nossa fundação. Apache Spark, Delta Lake e MLflow foram todos construídos sob o princípio de que a tecnologia fundamental deve ser aberta, inspecionável e impulsionada pela comunidade, e estendemos esse princípio para a camada de governança quando abrimos o código do Unity Catalog. Apenas o Apache Spark já ultrapassou dois bilhões de downloads. A Open Secure AI Alliance estende essa mesma filosofia para a segurança e proteção de AI.
A Open Secure AI Alliance é um movimento para desenvolver e compartilhar pesquisas relevantes sobre segurança e proteção de AI de forma transparente. Com o tempo, a aliança produzirá um conjunto crescente de recursos práticos e abertos que as organizações poderão inspecionar, adotar e desenvolver a partir deles.
Estamos entusiasmados em estar ao lado da NVIDIA e de toda a aliança nessa missão e em continuar disponibilizando código aberto, frameworks abertos e pesquisas abertas para a comunidade, enquanto protegemos a era agêntica juntos.
Saiba mais sobre o Lakewatch, o Open Security Lakehouse e como a Databricks está redefinindo as operações de segurança para a era agêntica.
Comece a usar o Omnigent para executar o meta-harness de agente aberto, suas políticas contextuais e o isolamento de sandbox em seu próprio ambiente.
Explore o Databricks AI Security Framework (DASF) 3.0 para entender os riscos e controles para proteger seus sistemas de AI.
Baixe o Databricks AI Governance Framework (DAGF) para saber mais sobre responsabilidade e supervisão em todo o seu programa de AI.
Confira nosso repositório do GitHub BlackIce para saber mais sobre as ferramentas integradas, encontrar exemplos para executá-las com modelos hospedados na Databricks e acessar todos os artefatos de build do Docker.
(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original
Assine nosso blog e receba os posts mais recentes diretamente na sua caixa de entrada.