AIセキュリティ最前線： NVIDIA Garak × Databricksで実現するLLMの安全対策

Databricks上のLLMを守れ： NVIDIA製脆弱性スキャナーと簡単連携！

公開日: 2025年7月2日

Summary

LLMのセキュリティリスクを紹介し、NVIDIAのLLM脆弱性スキャナーGarakがそれらを自動的に検出する方法を紹介します。
REST APIを使用してDatabricksでホストされているモデルを簡単にスキャンする方法を学びます。
Garakが提供する評価を理解し、ホストされているLLMの堅牢性の概要を得る方法を理解します。

はじめに

大規模言語モデル（LLMs）は、人間が伝統的に行っていたタスクを自動化する現代のワークフローの重要なコンポーネントとなっています。そのアプリケーションは、カスタマーサポートのチャットボット、コンテンツ生成、データ分析、ソフトウェア開発に及び、効率を向上させ、手作業を最小限に抑えることでビジネス運営を革新しています。しかし、その広範で急速な採用は、安全なデプロイメントを確保するために対処しなければならない重大なセキュリティ課題をもたらします。このブログでは、生成型AIとLLMアプリケーションの潜在的な危険性のいくつかの例を挙げ、課題、リスク、緩和コントロールの包括的なリストについてはDatabricks AI Security Framework (DASF)を参照しています。

LLMセキュリティの主要な側面の一つは、これらのモデルによって生成される出力に関連しています。LLMがチャットインターフェースを通じて公に露出した直後、敵対者が特定のプロンプトを作成してLLMを操作し、意図した範囲を超えて有害または不倫な反応を引き起こすいわゆる脱獄攻撃が現れました（DASF：モデル提供 - 推論リクエスト9.12：LLM脱獄）。これにより、モデルはフィッシングメールの作成や、悪用可能なバックドアを埋め込んだコードの生成など、悪意のある活動の無意識の助手となりました。

既存のシステムやワークフローにLLMを統合することから生じる別の重大なセキュリティ問題があります。例えば、MicrosoftのEdgeブラウザは、現在表示されているウェブページを要約することができるサイドバーチャットアシスタントを搭載しています。研究者たちは、ウェブページ内に隠されたプロンプトを埋め込むことで、ユーザーから機密データを引き出そうとする説得力のある詐欺師にチャットボットを変えることができることを示しています。これらのいわゆる間接的なプロンプト注入攻撃は、LLMが外部情報を処理する際に、情報とコマンドの間の線がぼやけているという事実を利用しています（DASF: モデルサービング - 推論リクエスト 9.1: プロンプト注入）。

これらの課題を考えると、LLMをホストしたり開発したりする企業は、このような攻撃に対するレジリエンスを評価することに投資すべきです。LLMのセキュリティを確保することは、信頼、コンプライアンス、AI駆動のソリューションの安全なデプロイメントを維持するために重要です。

Garak脆弱性スキャナ

大規模言語モデル（LLM）のセキュリティを評価するために、NVIDIAのAI Red TeamはGarak、Generative AI Red-teaming and Assessment Kitを導入しました。Garakは、LLMの脆弱性を探るために設計されたオープンソースのツールで、システムセキュリティのペネトレーションテストツールに似た機能を提供します。下の図は、簡略化されたGarakのワークフローとその主要なコンポーネントを示しています。

ジェネレータはGarakがターゲットのLLMにプロンプトを送信し、その回答を得ることを可能にします。彼らはネットワーク接続の確立、認証、レスポンスの処理といったプロセスを抽象化します。Garakは、OpenAIやHugging Face、またはローカルで使用するOllamaなどのプラットフォームでホストされているモデルと互換性のあるさまざまなジェネレータを提供します。
プローブは、特定の弱点を突くためのプロンプトを組み立て、またはLLMから特定の行動を引き出すためのプロンプトを組織します。これらのプロンプトは、さまざまなソースから収集され、異なる脱獄攻撃、有害で憎悪的なコンテンツの生成、プロンプト注入攻撃などをカバーしています。執筆時点で、プローブのコーパスは150以上の異なる攻撃と3,000のプロンプトとプロンプトテンプレートで構成されています。
ディテクターは、望ましい動作が引き出されたかどうかを判断するために、LLMの反応を分析する最後の重要なコンポーネントです。攻撃のタイプによっては、検出器は単純な文字列マッチング関数、機械学習分類器、または別のLLMを「判断者」として使用して、例えば有害性を識別するなどのコンテンツを評価することがあります。

これらのコンポーネントが一緒になることで、GarakはLLMの堅牢性を評価し、特定の攻撃ベクトルに沿った弱点を特定することができます。これらのテストでの成功率が低いということは免疫を意味するわけではありませんが、成功率が高いということは、敵対者にとってより広範でアクセスしやすい攻撃面を示唆しています。

次のセクションでは、DatabricksでホストされたLLMをGarakに接続し、セキュリティスキャンを実行する方法を説明します。

Databricksエンドポイントのスキャン

DatabricksのREST APIを利用することで、GarakをDatabricksでホストされているLLMと簡単に統合することができます。

Garakのインストール

まず、仮想環境を作成し、Pythonのパッケージマネージャー、pipを使用してGarakをインストールしましょう：

インストールが成功した場合、最後のコマンドを実行した後にバージョン番号が表示されるはずです。このブログでは、バージョン0.10.3.1とPython 3.13.10を使用したGarakを使用しました。

RESTインターフェースの設定

Garakは、さまざまなLLMですぐにツールを使用できるようにする複数のジェネレータを提供します。さらに、Garakの一般的なRESTジェネレータは、Databricks上のモデル提供エンドポイントを含む、REST APIを提供する任意のサービスとの対話を可能にします。

RESTジェネレータを利用するためには、Garakにエンドポイントをどのように問い合わせ、結果からレスポンスを文字列として抽出する方法を指示するjsonファイルを提供する必要があります。DatabricksのREST APIは、次のように構造化されたJSONペイロードを含むPOSTリクエストを期待します：

応答は通常次のように表示されます：

最も重要なことは、モデルの応答がmessageとcontentのキーワードの下のchoicesリストに格納されているということです。

GarakのRESTジェネレータは、リクエスト構造と応答の解析方法を指定するJSON設定を必要とします。例として次の設定があります：

まず、エンドポイントのURLと、PATトークンを含む認証ヘッダーを提供する必要があります。req_template_json_objectは、上記で見たリクエストボディを指定し、$INPUTを使用して、この位置で入力プロンプトを提供することを示すことができます。最後に、response_json_fieldは、応答から応答文字列を抽出する方法を指定します。この場合、応答辞書の choices フィールドに格納されているリストの最初のエントリの message エントリの content フィールドを選択する必要があります。これを $.choices[0].message.content という JSONPath で表現することができます。

すべてをPythonスクリプトにまとめて、JSONファイルをディスクに保存しましょう。

ここでは、ホストされたモデルのURLと認証用のPATトークンが環境変数に保存されていると仮定し、長時間の処理に対応するためにrequest_timeoutを300秒に設定しました。このスクリプトを実行すると、Garakのスキャンを開始するために使用できるrest_json.jsonファイルが作成されます。

このコマンドは、デモンストレーション用に、既知の脱獄技術であるDAN攻撃クラスを指定します。出力はこのようになるはずです。

GarakがDANタイプの攻撃を15件ロードし、それらを処理し始めたことがわかります。AntiDANプローブは、LLMに5回送信される単一のプローブであり（LLMの応答の非決定性を考慮して）、脱獄が毎回成功したことも観察できます。

結果の収集

Garakはスキャン結果を.jsonlに記録しますファイル、そのパスは出力で提供されます。このファイルの各エントリは、entry_typeキーでカテゴライズされたJSONオブジェクトです：

start_run setup、そしてinit:は最初に一度だけ表示され、開始時間やプローブの繰り返し回数などの実行パラメータを詳細に説明します。
completion: ログの最後に表示され、実行が正常に終了したことを示します。
試行: モデルに送信された個々のプロンプト（(prompt)）、モデルの応答（(output)）、および検出器の結果（(detector)）を含む。
eval:は各スキャナーの概要を提供し、試行回数と成功回数を含みます。

ターゲットの脆弱性を評価するためには、例えば攻撃クラスごとの相対的な成功率を決定するために、evalエントリに焦点を当てることができます。より詳細な分析のためには、成功した特定のプロンプトを特定するために、レポートJSONログの試行エントリを調査する価値があります。

ぜひお試しください

Garakで利用可能なさまざまなプローブを探索し、この実際の例を使用してCI/CDパイプラインやMLSecOpsプロセスにスキャンを組み込むことをお勧めします。攻撃クラスごとの成功率を追跡するダッシュボードは、モデルの弱点を完全に把握し、新しいモデルリリースを積極的に監視するのに役立ちます。

LLMのセキュリティを評価するために設計されたさまざまな他のツールの存在を認識することが重要です。Garakは、特定のLLMでの潜在的なセキュリティ問題を特定するのに理想的な、広範な静的コーパスを提供します。他のツール、例えばMicrosoftのPyRIT、MetaのPurple Llama、Giskardなどは、特定のシナリオに合わせた評価を可能にする追加の柔軟性を提供します。これらのツールの共通の課題は、成功した攻撃を正確に検出することで、偽陽性の存在はしばしば結果の手動検査を必要とします。

特定のアプリケーションでの潜在的なリスクや適切なリスク軽減手段について不確かな場合は、Databricks AIセキュリティフレームワークが役立ちます。また、業界をリードするAIリスクフレームワークと標準へのマッピングも提供しています。また、AIセキュリティに対するアプローチについては、Databricksセキュリティと信頼センターをご覧ください。