Direkt zum Hauptinhalt

Vorstellung von BlackIce: Ein containerisiertes Red-Teaming-Toolkit für KI-Sicherheitstests

Announcing BlackIce: A Containerized Red Teaming Toolkit for AI Security Testing

Published: January 21, 2026

Sicherheit und Vertrauen3 min de leitura

Summary

  • Kündigt die Veröffentlichung von BlackIce an, einem containerisierten Open-Source-Toolkit für KI-Sicherheitstests, das erstmals auf der CAMLIS Red 2025 vorgestellt wurde
  • Erklärt, wie BlackIce 14 Open-Source-Tools vereinheitlicht, die dem MITRE ATLAS und dem Databricks AI Security Framework (DASF) zugeordnet sind
  • Stellt Links zum Paper, zum GitHub-Repo und zum Docker-Image für den Einstieg bereit

Auf der CAMLIS Red 2025 haben wir BlackIce vorgestellt, ein containerisiertes Open-Source-Toolkit, das 14 weit verbreitete KI-Sicherheitstools in einer einzigen, reproduzierbaren Umgebung bündelt. In diesem Beitrag beleuchten wir die Motivation hinter BlackIce, skizzieren seine Kernfunktionen und stellen Ressourcen für den Einstieg zur Verfügung.

Warum BlackIce

Die Entwicklung von BlackIce war durch vier praktische Herausforderungen für KI-Red-Teamer motiviert: (1) Jedes Tool hat eine eigene, zeitaufwändige Einrichtung und Konfiguration, (2) Tools erfordern aufgrund von Abhängigkeitskonflikten oft separate Laufzeitumgebungen, (3) verwaltete Notebooks stellen nur einen Python-Interpreter pro Kernel bereit und (4) die Tool-Landschaft ist groß und für Neulinge schwer zu navigieren. 

Inspiriert von Kali Linux für traditionelle Penetrationstests, soll BlackIce Teams helfen, den Installationsaufwand zu umgehen und sich auf Sicherheitstests zu konzentrieren, indem es ein sofort einsatzbereites Container-Image bereitstellt.

Was ist drin

BlackIce stellt ein versionsgepinntes Docker-Image bereit, das 14 ausgewählte Open-Source-Tools aus den Bereichen Responsible KI, Sicherheitstests und klassisches adversariales ML bündelt. Diese Tools werden über eine einheitliche Befehlszeilenschnittstelle bereitgestellt und können über die Shell oder in einem Databricks Notebook ausgeführt werden, das eine aus dem Image erstellte compute-Umgebung verwendet. Nachfolgend finden Sie eine Zusammenfassung der in dieser ersten Version enthaltenen Tools, zusammen mit den unterstützenden Organisationen und der Anzahl der GitHub-Sterne zum Zeitpunkt der Verfassung:

ToolOrganisationStars
LM Eval HarnessEleuther KI10,3K
PromptfooPromptfoo8,6K
CleverHansCleverHans Lab6,4K
GarakNVIDIA6,1K
ARTIBM5,6K
GiskardGiskard4,9K
CyberSecEvalMeta3,8K
PyRITMicrosoft2,9K
EasyEditZJUNLP2,6K
PromptmapN/A1K
Fuzzy-KICyberArk800
FicklingTrail of Bits560
EinrichtungDreadnode380
JurorenQuotient KI290

Um zu zeigen, wie sich BlackIce in etablierte KI-Risiko-Frameworks einfügt, haben wir seine Funktionen dem MITRE ATLAS und dem Databricks AI Security Framework (DASF) zugeordnet. Die nachstehende Tabelle zeigt, dass das Toolkit kritische Bereiche wie Prompt-Injection, Datenlecks, die Erkennung von Halluzinationen und die Sicherheit der Lieferkette abdeckt.

BlackIce-FunktionalitätMITRE ATLASDatabricks AI Security Framework (DASF)
Prompt-Injection- und Jailbreak-Tests von LLMsAML.T0051 LLM Prompt Injection; AML.T0054 LLM Jailbreak; AML.T0056 LLM Meta Prompt Extraction9.1 Prompt-Injection; 9.12 LLM-Jailbreak
Indirekte Prompt-Injection durch nicht vertrauenswürdige Inhalte (z. B. RAG/E-Mail)AML.T0051 LLM Prompt-Injection [Indirekt]9.9 Kontrolle der Eingaberessourcen
Tests auf Datenlecks bei LLMsAML.T0057 LLM-Datenleck10.6 Ausgabe sensibler Daten von einem Modell
Halluzinations-Stresstests und -ErkennungAML.T0062 LLM-Halluzinationen entdecken9,8 LLM-Halluzinationen
Generierung adversarieller Beispiele und Evasion-Tests (CV/ML)AML.T0015 ML-Modell umgehen; AML.T0043 Adversarielle Daten erstellen10.5 Black-Box-Angriffe
Sicherheits-Scans der Lieferkette und von Artefakten (z. B. bösartige Pickles)AML.T0010 Kompromittierung der KI-Lieferkette; AML.T0011.000 Unsichere KI-Artefakte7,3 Schwachstellen in der ML-Lieferkette

Wie es funktioniert

BlackIce organisiert seine integrierten Tools in zwei Kategorien. Statische Tools evaluieren KI-Anwendungen über einfache Befehlszeilenschnittstellen und erfordern geringe bis keine Programmierkenntnisse. Dynamische Tools bieten ähnliche Evaluierungsfunktionen, unterstützen aber auch erweiterte Python-basierte Anpassungen, wodurch Benutzer benutzerdefinierten Angriffscode entwickeln können. Innerhalb des Container-Images sind statische Tools in isolierten virtuellen Python-Umgebungen (oder separaten Node.js-Projekten) installiert, die jeweils unabhängige Abhängigkeiten beibehalten und direkt von der CLI aus zugänglich sind. Alternativ werden dynamische Tools in die globale Python-Umgebung installiert, wobei Abhängigkeitskonflikte über eine global_requirements.txt -Datei verwaltet werden.

Einige Tools in der Abbildung erforderten geringfügige Ergänzungen oder Änderungen, um sich nahtlos mit den Databricks Model Serving-Endpunkten zu verbinden. Wir haben benutzerdefinierte Patches auf diese Tools angewendet, damit sie sofort direkt mit Databricks-Workspaces interagieren können.

Eine detaillierte Erklärung des Build-Prozesses, einschließlich des Hinzufügens neuer Tools oder der Aktualisierung von Tool-Versionen, finden Sie in der Docker-Build-README im GitHub-Repo.

Erste Schritte

Das BlackIce-Image ist auf Databricks’ Docker Hub verfügbar, und die aktuelle Version kann mit dem folgenden Befehl abgerufen werden:

Um BlackIce in einem Databricks-workspace zu verwenden, konfigurieren Sie Ihr compute mit den Databricks Container Services und geben Sie databricksruntime/blackice:17.3-LTS als Docker-Image-URL im Docker-Menü an, wenn Sie den Cluster erstellen.

Nachdem der Cluster erstellt wurde, können Sie ihn an dieses Demo-Notebook anhängen, um zu sehen, wie mehrere KI-Sicherheitstools in einer einzigen Umgebung orchestriert werden können, um KI-Modelle und -Systeme auf Schwachstellen wie Prompt-Injections und Jailbreak-Angriffe zu testen.

Besuchen Sie unser GitHub-Repo, um mehr über die integrierten Tools zu erfahren, Beispiele für deren Ausführung mit von Databricks gehosteten Modellen zu finden und auf alle Docker-Build-Artefakte zuzugreifen.

Weitere Details zum Auswahlprozess der Tools und zur Architektur des Docker-Images finden Sie in unserem CAMLIS Red Paper.

 

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag

Verpassen Sie keinen Beitrag von Databricks

Abonnieren Sie unseren Blog und erhalten Sie die neuesten Beiträge direkt in Ihren Posteingang.

Was kommt als Nächstes?

Introducing AI/BI: Intelligent Analytics for Real-World Data

Produto

June 12, 2024/11 min de leitura

Apresentando o AI/BI: analítica inteligente para dados do mundo real

VulnWatch: AI-Enhanced Prioritization of Vulnerabilities

Segurança e confiança

January 3, 2025/10 min de leitura

VulnWatch: Priorização de Vulnerabilidades Aprimorada por IA