Published: January 21, 2026
von Caelin KaplanundAlex Warnecke
Auf der CAMLIS Red 2025 haben wir BlackIce vorgestellt, ein containerisiertes Open-Source-Toolkit, das 14 weit verbreitete KI-Sicherheitstools in einer einzigen, reproduzierbaren Umgebung bündelt. In diesem Beitrag beleuchten wir die Motivation hinter BlackIce, skizzieren seine Kernfunktionen und stellen Ressourcen für den Einstieg zur Verfügung.
Die Entwicklung von BlackIce war durch vier praktische Herausforderungen für KI-Red-Teamer motiviert: (1) Jedes Tool hat eine eigene, zeitaufwändige Einrichtung und Konfiguration, (2) Tools erfordern aufgrund von Abhängigkeitskonflikten oft separate Laufzeitumgebungen, (3) verwaltete Notebooks stellen nur einen Python-Interpreter pro Kernel bereit und (4) die Tool-Landschaft ist groß und für Neulinge schwer zu navigieren.
Inspiriert von Kali Linux für traditionelle Penetrationstests, soll BlackIce Teams helfen, den Installationsaufwand zu umgehen und sich auf Sicherheitstests zu konzentrieren, indem es ein sofort einsatzbereites Container-Image bereitstellt.
BlackIce stellt ein versionsgepinntes Docker-Image bereit, das 14 ausgewählte Open-Source-Tools aus den Bereichen Responsible KI, Sicherheitstests und klassisches adversariales ML bündelt. Diese Tools werden über eine einheitliche Befehlszeilenschnittstelle bereitgestellt und können über die Shell oder in einem Databricks Notebook ausgeführt werden, das eine aus dem Image erstellte compute-Umgebung verwendet. Nachfolgend finden Sie eine Zusammenfassung der in dieser ersten Version enthaltenen Tools, zusammen mit den unterstützenden Organisationen und der Anzahl der GitHub-Sterne zum Zeitpunkt der Verfassung:
| Tool | Organisation | Stars |
|---|---|---|
| LM Eval Harness | Eleuther KI | 10,3K |
| Promptfoo | Promptfoo | 8,6K |
| CleverHans | CleverHans Lab | 6,4K |
| Garak | NVIDIA | 6,1K |
| ART | IBM | 5,6K |
| Giskard | Giskard | 4,9K |
| CyberSecEval | Meta | 3,8K |
| PyRIT | Microsoft | 2,9K |
| EasyEdit | ZJUNLP | 2,6K |
| Promptmap | N/A | 1K |
| Fuzzy-KI | CyberArk | 800 |
| Fickling | Trail of Bits | 560 |
| Einrichtung | Dreadnode | 380 |
| Juroren | Quotient KI | 290 |
Um zu zeigen, wie sich BlackIce in etablierte KI-Risiko-Frameworks einfügt, haben wir seine Funktionen dem MITRE ATLAS und dem Databricks AI Security Framework (DASF) zugeordnet. Die nachstehende Tabelle zeigt, dass das Toolkit kritische Bereiche wie Prompt-Injection, Datenlecks, die Erkennung von Halluzinationen und die Sicherheit der Lieferkette abdeckt.
| BlackIce-Funktionalität | MITRE ATLAS | Databricks AI Security Framework (DASF) |
|---|---|---|
| Prompt-Injection- und Jailbreak-Tests von LLMs | AML.T0051 LLM Prompt Injection; AML.T0054 LLM Jailbreak; AML.T0056 LLM Meta Prompt Extraction | 9.1 Prompt-Injection; 9.12 LLM-Jailbreak |
| Indirekte Prompt-Injection durch nicht vertrauenswürdige Inhalte (z. B. RAG/E-Mail) | AML.T0051 LLM Prompt-Injection [Indirekt] | 9.9 Kontrolle der Eingaberessourcen |
| Tests auf Datenlecks bei LLMs | AML.T0057 LLM-Datenleck | 10.6 Ausgabe sensibler Daten von einem Modell |
| Halluzinations-Stresstests und -Erkennung | AML.T0062 LLM-Halluzinationen entdecken | 9,8 LLM-Halluzinationen |
| Generierung adversarieller Beispiele und Evasion-Tests (CV/ML) | AML.T0015 ML-Modell umgehen; AML.T0043 Adversarielle Daten erstellen | 10.5 Black-Box-Angriffe |
| Sicherheits-Scans der Lieferkette und von Artefakten (z. B. bösartige Pickles) | AML.T0010 Kompromittierung der KI-Lieferkette; AML.T0011.000 Unsichere KI-Artefakte | 7,3 Schwachstellen in der ML-Lieferkette |
BlackIce organisiert seine integrierten Tools in zwei Kategorien. Statische Tools evaluieren KI-Anwendungen über einfache Befehlszeilenschnittstellen und erfordern geringe bis keine Programmierkenntnisse. Dynamische Tools bieten ähnliche Evaluierungsfunktionen, unterstützen aber auch erweiterte Python-basierte Anpassungen, wodurch Benutzer benutzerdefinierten Angriffscode entwickeln können. Innerhalb des Container-Images sind statische Tools in isolierten virtuellen Python-Umgebungen (oder separaten Node.js-Projekten) installiert, die jeweils unabhängige Abhängigkeiten beibehalten und direkt von der CLI aus zugänglich sind. Alternativ werden dynamische Tools in die globale Python-Umgebung installiert, wobei Abhängigkeitskonflikte über eine global_requirements.txt -Datei verwaltet werden.
Einige Tools in der Abbildung erforderten geringfügige Ergänzungen oder Änderungen, um sich nahtlos mit den Databricks Model Serving-Endpunkten zu verbinden. Wir haben benutzerdefinierte Patches auf diese Tools angewendet, damit sie sofort direkt mit Databricks-Workspaces interagieren können.
Eine detaillierte Erklärung des Build-Prozesses, einschließlich des Hinzufügens neuer Tools oder der Aktualisierung von Tool-Versionen, finden Sie in der Docker-Build-README im GitHub-Repo.
Das BlackIce-Image ist auf Databricks’ Docker Hub verfügbar, und die aktuelle Version kann mit dem folgenden Befehl abgerufen werden:
Um BlackIce in einem Databricks-workspace zu verwenden, konfigurieren Sie Ihr compute mit den Databricks Container Services und geben Sie databricksruntime/blackice:17.3-LTS als Docker-Image-URL im Docker-Menü an, wenn Sie den Cluster erstellen.
Nachdem der Cluster erstellt wurde, können Sie ihn an dieses Demo-Notebook anhängen, um zu sehen, wie mehrere KI-Sicherheitstools in einer einzigen Umgebung orchestriert werden können, um KI-Modelle und -Systeme auf Schwachstellen wie Prompt-Injections und Jailbreak-Angriffe zu testen.
Besuchen Sie unser GitHub-Repo, um mehr über die integrierten Tools zu erfahren, Beispiele für deren Ausführung mit von Databricks gehosteten Modellen zu finden und auf alle Docker-Build-Artefakte zuzugreifen.
Weitere Details zum Auswahlprozess der Tools und zur Architektur des Docker-Images finden Sie in unserem CAMLIS Red Paper.
(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag
Produto
June 12, 2024/11 min de leitura
Segurança e confiança
January 3, 2025/10 min de leitura


