Des modèles ouverts aux harnesses d'agents ouverts : Databricks apporte du code ouvert, des frameworks communautaires et une architecture concrète à la sécurité de l'AI
par Katie Cummiskey, Maria Pere-Perez, Arun Pamulapati et Nishith Sinha
Databricks est sponsor de l'événement Black Hat USA 2026 cette semaine. Retrouvez-nous aux stands #5106 / #2167, et découvrez comment notre acquisition de Panther accélère l'ère du Security Lakehouse.
À mesure que les systèmes d'AI gagnent en capacités et en autonomie, deux défis convergent : sécuriser les systèmes d'AI eux-mêmes contre de nouvelles catégories d'attaques, et utiliser l'AI pour renforcer la cyberdéfense. Les deux exigent de l'ouverture, car les informations de sécurité critiques verrouillées au sein d'un petit nombre de systèmes fermés laissent l'écosystème global exposé. Databricks soutient ces deux aspects de la mission : des frameworks ouverts pour sécuriser les systèmes d'AI, et des données ouvertes via Lakewatch, l'Open Security Lakehouse qui alimente la détection et la réponse aux menaces agentiques à grande échelle.
C'est pourquoi Databricks est fier d'être membre fondateur de l'Open Secure AI Alliance, aux côtés de NVIDIA et d'autres leaders du secteur. L'alliance repose sur un principe simple mais puissant : la recherche sur la sûreté et la sécurité de l'AI doit être partagée ouvertement, et les outils qui en découlent doivent être conçus sur des systèmes ouverts. Ces travaux couvrent la sûreté de l'AI, la sécurité de l'AI et la cyberdéfense optimisée par l'AI, renforçant ainsi les entreprises, les logiciels et les systèmes critiques à travers le monde. Les membres contribuent ouvertement : modèles ouverts, poids de modèles, harnais ouverts, outillage ouvert et enseignements tirés, afin d'accélérer le développement de nouveaux outils et techniques de cybersécurité.
Un agent d'AI n'est pas seulement un modèle. C'est un système complexe composé de modèles, de harnais et de garde-fous qui régissent ce que l'agent est autorisé à faire. Bien que l'attention se soit largement portée sur la sécurisation des modèles à poids ouverts au sein des frontières de l'entreprise, les poids des modèles ne constituent qu'une seule couche. La sécurité à l'ère agentique exige une pile d'exécution ouverte : du runtime et des garde-fous sous-jacents au harnais qui orchestre les agents et leurs outils, en passant par les frameworks qui définissent les risques et les contrôles, jusqu'à la couche de gouvernance qui garantit la sécurité, l'auditabilité et la responsabilité de l'entreprise.
Les systèmes ouverts permettent à la plus large communauté de défenseurs d'étudier, de tester et de renforcer chaque composant de cette pile. Le résultat est une confiance bâtie sur des garanties, de la visibilité, des preuves, de la participation et du choix.
L'alliance regroupe plus de 75 organisations spécialisées dans les puces, les modèles, la sécurité et l'infrastructure. NVIDIA apporte le calcul accéléré et une infrastructure d'AI ouverte. Databricks apporte des données gouvernées, des capacités de modèles et d'agents, ainsi que des outils et frameworks ouverts pour la sécurité, la gouvernance, le red teaming et la cyberdéfense.
Associés aux contributions de l'ensemble de l'alliance, ces travaux permettent de renforcer l'intégralité de la pile d'agents.
L'Open Secure AI Alliance préconise des modèles, des harnais et des garde-fous ouverts afin que les défenseurs puissent inspecter, auditer et gouverner le comportement des agents sur l'ensemble de la pile d'AI. Omnigent (Apache 2.0) est la réponse de Databricks à cet appel, un méta-harnais open source. Omnigent offre aux développeurs le choix du harnais et du modèle, permettant la composition et le partage sécurisé, tout en appliquant des politiques, des limites de dépenses et une isolation en bac à sable (sandbox) sur plus de 13 harnais, ouverts comme fermés.
Les politiques contextuelles d'Omnigent permettent de gouverner le comportement des agents en suivant l'état de la session, en bloquant les attaques lentes et progressives, et en appliquant une autorisation basée sur l'intention. C'est exactement le type de contrôles ouverts et inspectables que l'alliance envisage.
Omnigent est conçu pour prendre en charge NVIDIA OpenShell en tant que backend de gouvernance, associant les contrôles de politiques à une isolation au niveau du noyau pour une protection multicouche et auditable, de l'autorisation de l'agent jusqu'à l'exécution sur l'hôte.
Le DASF 3.0 répertorie 97 risques techniques de sécurité répartis sur 13 composants et les associe à 73 contrôles d'atténuation, tous référencés par rapport à MITRE ATLAS, OWASP, NIST, AIUC-1, HITRUST, ISO et CSA. Publiée sous licence CC BY-SA 4.0, la version 3.0 introduit une couverture dédiée aux menaces liées à l'AI agentique (notamment l'empoisonnement de la mémoire, la manipulation d'objectifs et les connexions MCP non sécurisées), offrant aux défenseurs un modèle ouvert et indépendant des fournisseurs pour passer de l'identification des risques à leur atténuation.
Parce que le DASF relie la taxonomie des risques à des contrôles applicables et indépendants des fournisseurs, il offre aux défenseurs un parcours concret allant du « risque identifié » à « l'atténuation déployée ». Il propose une taxonomie commune des menaces agentiques et des atténuations, accessible à toute organisation de la communauté.
Le DAGF définit qui est responsable et comment l'entreprise gère cette responsabilité. Ce framework présente cinq piliers pour concevoir un programme d'AI responsable et résilient, offrant des conseils pratiques pour la prise de décision et l'exécution. Il aborde des domaines clés tels que la gouvernance de l'AI, la conformité éthique, la gestion des risques et la surveillance opérationnelle. Cela permet de gérer les programmes d'AI de manière transparente, sécurisée et efficace, tout en favorisant la collaboration entre les personnes, les processus et la technologie. Dans le contexte de l'alliance, le DAGF aide les entreprises à gouverner la sélection, le déploiement et la gestion du calcul accéléré et de l'infrastructure d'AI de NVIDIA, et garantit que les technologies ouvertes sont adoptées de manière responsable et à grande échelle. Publié sous licence Creative Commons Attribution-ShareAlike 4.0 International, le DAGF est indépendant des fournisseurs et déjà aligné sur les normes utilisées par la communauté.
BlackIce est la boîte à outils de red teaming d'AI conteneurisée et open source de Databricks. Elle regroupe 14 outils de sécurité de l'AI largement utilisés dans un seul environnement reproductible, associé à MITRE ATLAS et au DASF, afin qu'une équipe de sécurité puisse tester un système contre les injections de prompts, les fuites de données et les attaques de la chaîne d'approvisionnement sans avoir à configurer manuellement chaque outil.
Cela rend le red teaming d'AI beaucoup plus accessible. Déployer individuellement 14 outils demande du temps et une expertise approfondie, ce qui met les tests contradictoires sérieux hors de portée de la plupart des équipes. Avec plus de 6 000 téléchargements à ce jour, elle est déjà utilisée par des équipes qui n'auraient pas pu rassembler ces outils par elles-mêmes.
Concernant le volet cyberdéfense optimisée par l'AI de la mission de l'alliance, notre engagement envers l'ouverture va au-delà des frameworks. Databricks a été le pionnier du Security Lakehouse, une architecture ouverte et gouvernée qui unifie les données de sécurité, d'IT et d'entreprise afin que les défenseurs puissent exécuter des opérations de détection, d'investigation et de réponse à l'échelle du pétaoctet.
Avec Lakewatch, l'Open Security Lakehouse de Databricks, les équipes de sécurité peuvent déployer des agents d'AI qui trient activement les alertes, mènent des recherches de menaces et affinent la logique de détection, le tout sur des formats de données ouverts qui évitent la dépendance vis-à-vis d'un fournisseur. C'est cette même philosophie qui anime l'Open Secure AI Alliance : les défenseurs doivent être propriétaires de leurs données, de leurs outils et de leurs renseignements.
Le socle de gouvernance de cette architecture est Unity Catalog, que Databricks a rendu open source sous licence Apache 2.0 et a fait don à la Linux Foundation. Le catalogue est la couche qui détermine quel agent peut accéder à quelles données, modèles ou outils, et applique cette règle. Laisser cette couche propriétaire alors que tout ce qui se trouve au-dessus est ouvert placerait le point de contrôle le plus critique pour la sécurité hors de portée de toute inspection. Avec un catalogue ouvert (c'est-à-dire des API ouvertes, des formats de table ouverts et une implémentation ouverte), les défenseurs peuvent auditer et étendre le point d'application lui-même, et les données de sécurité restent portables d'un moteur à l'autre plutôt que d'être verrouillées dans le plan de contrôle d'un seul fournisseur.
Notre engagement en faveur de la sécurité ouverte s'appuie sur un solide héritage open source qui remonte à notre création. Apache Spark, Delta Lake et MLflow ont tous été conçus selon le principe que les technologies fondamentales doivent être ouvertes, inspectables et guidées par la communauté, et nous avons étendu ce principe à la couche de gouvernance lorsque nous avons rendu Unity Catalog open source. Apache Spark à lui seul a désormais dépassé les deux milliards de téléchargements. L'Open Secure AI Alliance étend cette même philosophie à la sûreté et à la sécurité de l'AI.
L'Open Secure AI Alliance est un mouvement visant à développer et à partager de manière transparente des recherches pertinentes sur la sûreté et la sécurité de l'AI. Au fil du temps, l'alliance produira un ensemble croissant de capacités pratiques et ouvertes que les organisations pourront inspecter, adopter et développer.
Nous sommes ravis de nous tenir aux côtés de NVIDIA et de l'alliance élargie dans cette mission, et de continuer à mettre du code ouvert, des frameworks ouverts et des recherches ouvertes à la disposition de la communauté alors que nous sécurisons ensemble l'ère agentique.
En savoir plus sur Lakewatch, l'Open Security Lakehouse et sur la façon dont Databricks redéfinit les opérations de sécurité pour l'ère agentique.
Démarrez avec Omnigent pour exécuter le méta-harnais d'agent ouvert, ses politiques contextuelles et l'isolation en sandbox dans votre propre environnement.
Explorez le Databricks AI Security Framework (DASF) 3.0 pour comprendre les risques et les contrôles liés à la sécurisation de vos systèmes d'AI.
Téléchargez le Databricks AI Governance Framework (DAGF) pour en savoir plus sur la responsabilité et la supervision de votre programme d'AI.
Découvrez notre dépôt GitHub BlackIce pour en savoir plus sur les outils intégrés, trouver des exemples pour les exécuter avec des modèles hébergés par Databricks et accéder à tous les artefacts de build Docker.
(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original
Abonnez-vous à notre blog et recevez les derniers articles directement dans votre boîte mail.