En CAMLIS Red 2025, presentamos BlackIce, un kit de herramientas de código abierto y en contenedores que agrupa 14 herramientas de seguridad de IA ampliamente utilizadas en un único entorno reproducible. En esta publicación, destacamos la motivación detrás de BlackIce, describimos sus capacidades principales y compartimos recursos para ayudarte a empezar.
BlackIce se inspiró en cuatro desafíos prácticos que enfrentan los red teamers de IA: (1) cada herramienta tiene una instalación y configuración únicas que consumen mucho tiempo, (2) las herramientas a menudo requieren entornos de ejecución separados debido a conflictos de dependencias, (3) los notebooks administrados exponen un único intérprete de Python por kernel y (4) el panorama de herramientas es amplio y difícil de explorar para los recién llegados.
Inspirado en Kali Linux para las pruebas de penetración tradicionales, BlackIce busca que los equipos eviten las molestias de la configuración y se centren en las pruebas de seguridad, proporcionando una imagen de contenedor lista para ejecutar.
BlackIce proporciona una imagen de Docker con versiones fijas que agrupa 14 herramientas de código abierto seleccionadas que abarcan la IA responsable, las pruebas de seguridad y el ML adversario clásico. Expuestas a través de una interfaz de línea de comandos unificada, estas herramientas se pueden ejecutar desde el shell o dentro de un notebook de Databricks que utiliza un entorno de computación creado a partir de la imagen. A continuación, se presenta un resumen de las herramientas incluidas en esta versión inicial, junto con las organizaciones que las respaldan y el número de estrellas en GitHub al momento de la redacción:
| Herramienta | Organización | Estrellas |
|---|---|---|
| LM Eval Harness | Eleuther AI | 10.3K |
| Promptfoo | Promptfoo | 8.6K |
| CleverHans | CleverHans Lab | 6.4K |
| Garak | NVIDIA | 6.1K |
| ART | IBM | 5.6K |
| Giskard | Giskard | 4.9K |
| CyberSecEval | Meta | 3.8K |
| PyRIT | Microsoft | 2.9K |
| EasyEdit | ZJUNLP | 2.6K |
| Promptmap | N/A | 1K |
| Fuzzy AI | CyberArk | 800 |
| Fickling | Trail of Bits | 560 |
| Rigging | Dreadnode | 380 |
| Judges | Quotient AI | 290 |
Para mostrar cómo BlackIce se integra en los marcos de riesgo de IA establecidos, mapeamos sus capacidades con MITRE ATLAS y el Databricks AI Security Framework (DASF). La tabla a continuación ilustra que el kit de herramientas cubre áreas críticas como la inyección de prompts, la fuga de datos, la detección de alucinaciones y la seguridad de la cadena de suministro.
| Capacidad de BlackIce | MITRE ATLAS | Databricks AI Security Framework (DASF) 2.0 |
|---|---|---|
| Pruebas de inyección de prompts y jailbreak de LLM | AML.T0051 Inyección de prompt de LLM; AML.T0054 Jailbreak de LLM; AML.T0056 Extracción de meta prompt de LLM | 9.1 Inyección de prompt; 9.12 Jailbreak de LLM |
| Inyección de prompts indirecta a través de contenido no confiable (p. ej., RAG/correo electrónico) | AML.T0051 LLM Prompt Injection [Indirect] | 9.9 Control de recursos de entrada |
| Pruebas de fuga de datos de LLM | AML.T0057 Fuga de datos de LLM | 10.6 Salida de datos sensibles de un modelo |
| Pruebas de estrés y detección de alucinaciones | AML.T0062 Descubrir alucinaciones de LLM | 9.8 Alucinaciones de LLM |
| Generación de ejemplos adversarios y pruebas de evasión (CV/ML) | AML.T0015 Evadir modelo de ML; AML.T0043 Crear datos adversarios | 10.5 Ataques de caja negra |
| Análisis de seguridad de la cadena de suministro y los artefactos (p. ej., pickles maliciosos) | AML.T0010 Compromiso de la cadena de suministro de IA; AML.T0011.000 Artefactos de IA no seguros | 7.3 vulnerabilidades en la cadena de suministro de ML |
BlackIce organiza sus herramientas integradas en dos categorías. Las herramientas estáticas evalúan las aplicaciones de IA a través de interfaces de línea de comandos simples y requieren poca o ninguna experiencia en programación. Las herramientas dinámicas ofrecen capacidades de evaluación similares, pero también admiten la personalización avanzada basada en Python, lo que permite a los usuarios desarrollar código de ataque personalizado. Dentro de la imagen del contenedor, las herramientas estáticas se instalan en entornos virtuales de Python aislados (o proyectos de Node.js separados), cada uno manteniendo dependencias independientes y accesibles directamente desde la CLI. Alternativamente, las herramientas dinámicas se instalan en el entorno global de Python y los conflictos de dependencias se gestionan mediante un archivo global_requirements.txt.
Algunas herramientas de la imagen requirieron pequeñas adiciones o modificaciones para conectarse sin problemas con los endpoints de Databricks Model Serving. Aplicamos parches personalizados a estas herramientas para que puedan interactuar directamente con los workspaces de Databricks de forma inmediata.
Para obtener una explicación detallada del proceso de compilación, que incluye cómo agregar nuevas herramientas o actualizar las versiones de las herramientas, consulte el README de la compilación de Docker en el repositorio de GitHub.
La imagen de BlackIce está disponible en el Docker Hub de Databricks, y la versión actual se puede extraer con el siguiente comando:
Para usar BlackIce dentro de un área de trabajo de Databricks, configure sus recursos de computación con Databricks Container Services y especifique databricksruntime/blackice:17.3-LTS como la URL de la imagen de Docker en el menú de Docker al crear el clúster.
Una vez creado el clúster, puedes adjuntarlo a este cuaderno de demostración para ver cómo se pueden orquestar varias herramientas de seguridad de IA dentro de un único entorno para probar modelos y sistemas de IA en busca de vulnerabilidades, como inyecciones de prompts y ataques de jailbreak.
Consulte nuestro repositorio de GitHub para obtener más información sobre las herramientas integradas, encontrar ejemplos para ejecutarlas con modelos alojados en Databricks y acceder a todos los artefactos de compilación de Docker.
Para obtener más detalles sobre el proceso de selección de herramientas y la arquitectura de la imagen de Docker, consulta nuestro Red Paper de CAMLIS.
(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original
Produto
June 12, 2024/11 min de leitura
Segurança e confiança
January 3, 2025/10 min de leitura


