によって Caelin Kaplan 、 アレックス・ワルネッケ による投稿
CAMLIS Red 2025では、広く使用されている14のAIセキュリティツールを単一の再現可能な環境にバンドルした、オープンソースのコンテナ化ツールキット「BlackIce」を発表しました。この記事では、BlackIce の開発動機、その主要な機能の概要、そして使用を開始するためのリソースをご紹介します。
BlackIce は、AI レッドチーマーが直面する 4 つの実用的な課題から着想を得ています。(1) 各ツールには独自のセットアップと構成があり、時間がかかること、(2) 依存関係の競合により、ツールはしばしば別々のランタイム環境を必要とすること、(3) マネージドノートブックはカーネルごとに単一の Python インタープリタしか公開しないこと、(4) ツール環境が広大で、新規参入者には全体像の把握が難しいことです。
従来のペネトレーションテスト用の Linux に着想を得た BlackIce は、すぐにランできるコンテナイメージを提供することで、チームがセットアップの手間を省き、セキュリティテストに集中できるようにすることを目指しています。
BlackIce は、責任ある AI、セキュリティテスト、古典的な敵対的機械学習にまたがる、厳選された 14 個のオープンソースツールをバンドルした、バージョンがピン留めされた Docker イメージを提供します。統一されたコマンドラインインターフェースを通じて提供されるこれらのツールは、シェルから、またはイメージから構築されたコンピュート環境を使用する Databricks ノートブック内で実行できます。以下は、この初期リリースに含まれるツールの概要と、それらをサポートする組織、および執筆時点での GitHub スター数です。
| ツール | 組織 | スター |
|---|---|---|
| LM Eval Harness | Eleuther AI | 10.3K |
| Promptfoo | Promptfoo | 8.6K |
| CleverHans | CleverHans Lab | 6.4K |
| Garak | NVIDIA | 6.1K |
| ART | IBM | 5.6K |
| Giskard | Giskard | 4.9K |
| CyberSecEval | メタ | 3.8K |
| PyRIT | Microsoft | 2.9K |
| EasyEdit | ZJUNLP | 2.6K |
| Promptmap | N/A | 1K |
| Fuzzy AI | CyberArk | 800 |
| Fickling | Trail of Bits | 560 |
| Rigging | Dreadnode | 380 |
| ジャッジ | Quotient AI | 290 |
BlackIce が確立された AI リスクフレームワークにどのように適合するかを示すために、その機能をMITRE ATLAS と Databricks AI セキュリティフレームワーク (DASF) にマッピングしました。以下の表は、このツールキットがプロンプトインジェクション、データ漏洩、ハルシネーション検出、サプライチェーンセキュリティなどの重要な領域をカバーしていることを示しています。
| BlackIce の機能 | MITRE ATLAS | Databricks の AI セキュリティフレームワーク（DASF） |
|---|---|---|
| LLM のプロンプトインジェクションおよびジェイルブレイクテスト | AML.T0051 LLM プロンプトインジェクション; AML.T0054 LLM ジェイルブレイク; AML.T0056 LLM メタプロンプト抽出 | 9.1 プロンプトインジェクト; 9.12 LLM ジェイルブレイク |
| 信頼できないコンテンツ (例: RAG/Eメール) を介した間接的なプロンプトインジェクション | AML.T0051 LLM プロンプトインジェクション [間接的] | 9.9 入力リソース制御 |
| LLM データ漏洩テスト | AML.T0057 LLM データ漏洩 | 10.6 モデルからの機密データ出力 |
| ハルシネーションのストレス テストと検出 | AML.T0062 LLM ハルシネーションの発見 | 9.8 LLM ハルシネーション |
| 敵対的サンプルの生成と回避テスト (CV/機械学習) | AML.T0015 機械学習モデルの回避; AML.T0043 敵対的データの作成 | 10.5 ブラックボックス攻撃 |
| サプライチェーンとアーティファクトの安全性スキャン（例: 悪意のあるpickle） | AML.T0010 AI サプライチェーン侵害; AML.T0011.000 安全でない AI アーティファクト | 7.3件の機械学習サプライチェーンの脆弱性 |
BlackIce は、統合されたツールを 2 つのカテゴリに分類しています。静的ツールは、シンプルなコマンドラインインターフェースで AI アプリケーションを評価するもので、プログラミングの専門知識はほとんど必要ありません。動的ツールは同様の評価機能を提供しますが、Python ベースの高度なカスタマイズもサポートしているため、ユーザーはカスタムの攻撃コードを開発できます。コンテナイメージ内では、静的ツールは分離された Python 仮想環境（または個別の Node.js プロジェクト）にインストールされます。これらはそれぞれ独立した依存関係を維持しており、CLI から直接アクセスできます。あるいは、動的ツールはグローバル Python 環境にインストールされ、依存関係の競合は global_requirements.txt ファイルを介して管理されます。
イメージ内の一部のツールでは、Databricks Model Servingエンドポイントとシームレスに接続するために、若干の追加や変更が必要でした。これらのツールにカスタムパッチを適用し、追加設定なしでDatabricksワークスペースと直接やり取りできるようにしました。
新しいツールの追加やツールバージョンの更新方法など、ビルドプロセスの詳細については、GitHubリポジトリにあるDockerビルドのREADMEをご覧ください。
BlackIce イメージは Databricks の Docker Hub で入手でき、現在のバージョンは次のコマンドを使用してプルできます。
Databricksワークスペース内でBlackIceを使用するには、Databricks Container Servicesでコンピュートを構成し、クラスターの作成時にDockerメニューでdatabricksruntime/blackice:17.3-LTSをDockerイメージURLとして指定します。
クラスターの作成後、このデモノートブックにアタッチすると、単一の環境内で複数のAIセキュリティツールを連携させ、プロンプトインジェクションやジェイルブレイク攻撃などの脆弱性についてAIモデルとシステムをテストする方法を確認できます。
統合ツール、Databricksホスト型モデルでの実行例、すべてのDockerビルドアーティファクトについての詳細は、GitHub リポジトリをご覧ください。
ツール選択プロセスと Docker イメージアーキテクチャの詳細については、CAMLIS Red Paper をご覧ください。
(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事
ブログを購読して、最新の投稿を受信トレイにお届けします。