Lors de la conférence CAMLIS Red 2025, nous avons présenté BlackIce, une boîte à outils conteneurisée et open source qui regroupe 14 outils de sécurité pour l'IA largement utilisés dans un environnement unique et reproductible. Dans cet article, nous présentons la motivation derrière BlackIce, décrivons ses fonctionnalités principales et partageons des ressources pour vous aider à démarrer.
BlackIce a été motivé par quatre défis pratiques auxquels sont confrontées les équipes « red team » IA : (1) chaque outil a une installation et une configuration uniques qui prennent du temps, (2) les outils nécessitent souvent des environnements d'exécution distincts en raison de conflits de dépendances, (3) les Notebooks gérés exposent un seul interpréteur Python par noyau, et (4) le paysage des outils est vaste et difficile à explorer pour les nouveaux venus.
Inspiré de Kali Linux pour les tests d'intrusion traditionnels, BlackIce vise à permettre aux équipes d'éviter les tracas de la configuration et de se concentrer sur les tests de sécurité en fournissant une image de conteneur prête à l'emploi.
BlackIce fournit une image Docker avec version pin qui regroupe 14 outils open source sélectionnés couvrant l'IA responsable, les tests de sécurité et le ML contradictoire classique. Accessibles via une interface de ligne de commande unifiée, ces outils peuvent être exécutés depuis le Shell ou dans un Notebook Databricks qui utilise un environnement de compute construit à partir de l'image. Vous trouverez ci-dessous un résumé des outils inclus dans cette version initiale, ainsi que les organisations qui les soutiennent et leur nombre d'étoiles GitHub au moment de la rédaction :
| Outil | Organisation | Étoiles |
|---|---|---|
| Harnais d'évaluation LM | Eleuther AI | 10,3 k |
| Promptfoo | Promptfoo | 8,6K |
| CleverHans | CleverHans Lab | 6,4K |
| Garak | NVIDIA | 6,1 K |
| ART | IBM | 5,6 K |
| Giskard | Giskard | 4,9 K |
| CyberSecEval | Meta | 3,8 k |
| PyRIT | Microsoft | 2,9 k |
| EasyEdit | ZJUNLP | 2,6 K |
| Promptmap | N/A | 1 K |
| IA floue | CyberArk | 800 |
| Fickling | Trail of Bits | 560 |
| Rigging | Dreadnode | 380 |
| Juges | Quotient AI | 290 |
Pour montrer comment BlackIce s'intègre dans les cadres de risque d'IA établis, nous avons mis en correspondance ses capacités avec MITRE ATLAS et le Databricks AI Security Framework (DASF). Le tableau ci-dessous montre que le toolkit couvre des domaines critiques tels que l'injection de prompt, la fuite de données, la détection d'hallucinations et la sécurité de la chaîne d'approvisionnement.
| Capacité BlackIce | MITRE ATLAS | Cadre de sécurité de l'IA de Databricks (DASF) |
|---|---|---|
| Test d'injection de prompt et de jailbreak des LLM | AML.T0051 Injection de prompt LLM ; AML.T0054 Jailbreak LLM ; AML.T0056 Extraction de méta-prompt LLM | 9.1 Injection de prompt ; 9.12 Jailbreak de LLM |
| Injection de prompt indirecte via du contenu non fiable (par ex., RAG/e-mail) | AML.T0051 Injection de prompt de LLM [Indirecte] | 9.9 Contrôle des ressources d'entrée |
| Test de fuite de données des LLM | AML.T0057 Fuite de données LLM | 10.6 Sortie de données sensibles d'un modèle |
| Test de résistance et détection des hallucinations | AML.T0062 Découvrir les hallucinations des LLM | 9.8 Hallucinations de LLM |
| Génération d'exemples contradictoires et tests d'évasion (CV/ML) | AML.T0015 Évasion de modèle de ML ; AML.T0043 Création de données adverses | 10.5 Attaques en boîte noire |
| Analyse de la sécurité de la chaîne d'approvisionnement et des artefacts (par ex., pickles malveillants) | AML.T0010 Compromission de la chaîne d'approvisionnement de l'IA ; AML.T0011.000 Artefacts d'IA non sécurisés | 7,3 Vulnérabilités de la chaîne d'approvisionnement ML |
BlackIce organise ses outils intégrés en deux catégories. Les outils statiques évaluent les applications d'IA via des interfaces en ligne de commande simples et ne nécessitent que peu ou pas d'expertise en programmation. Les outils dynamiques offrent des capacités d'évaluation similaires, mais prennent également en charge la personnalisation avancée basée sur Python, permettant aux utilisateurs de développer du code d'attaque personnalisé. Dans l'image de conteneur, les outils statiques sont installés dans des environnements virtuels Python isolés (ou des projets Node.js distincts), chacun conservant des dépendances indépendantes et accessible directement depuis le CLI. Sinon, les outils dynamiques sont installés dans l'environnement Python global, les conflits de dépendances étant gérés via un fichier global_requirements.txt.
Certains outils de l'image ont nécessité des ajouts ou des modifications mineurs pour se connecter de manière transparente aux points de terminaison de Databricks Model Serving. Nous avons appliqué des correctifs personnalisés à ces outils afin qu'ils puissent interagir directement et nativement avec les Workspaces Databricks.
Pour une explication détaillée du processus de build, y compris comment ajouter de nouveaux outils ou mettre à jour les versions d'outils, consultez le fichier README de build Docker dans le dépôt GitHub.
L'image BlackIce est disponible sur Databricks' Docker Hub, et la version actuelle peut être extraite à l'aide de la commande suivante :
Pour utiliser BlackIce dans un workspace Databricks, configurez votre compute avec Databricks Container Services et spécifiez databricksruntime/blackice:17.3-LTS comme URL de l'image Docker dans le menu Docker lors de la création du cluster.
Une fois le cluster créé, vous pouvez l'associer à ce notebook de démonstration pour voir comment plusieurs outils de sécurité d'IA peuvent être orchestrés au sein d'un environnement unique pour tester les vulnérabilités des modèles et des systèmes d'IA, telles que les injections de prompt et les attaques de type jailbreak.
Consultez notre dépôt GitHub pour en savoir plus sur les outils intégrés, trouver des exemples pour les exécuter avec des modèles hébergés par Databricks et accéder à tous les artefacts de build Docker.
Pour plus de détails sur le processus de sélection des outils et l'architecture de l'image Docker, consultez notre Livre rouge CAMLIS.
(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original
Produto
June 12, 2024/11 min de leitura
Segurança e confiança
January 3, 2025/10 min de leitura


