2026年3月20日

エージェンティックAIセキュリティ：Databricks AIセキュリティフレームワーク（DASF v3.0）における新たなリスクと制御

データにアクセスし、ツールを呼び出し、アクションを実行するエージェント向けの35の新しいエージェント型AIリスクと6の緩和制御

によってデビッド・ヴェーヴ, オマール・カワジャ, Arun Pamulapati, Nishith Sinha 、 Caelin Kaplan による投稿

Databricks AIセキュリティフレームワーク（DASF）は、エージェンティックAIを13番目のシステムコンポーネントとしてカバーするようになり、組織が自律エージェントを自信を持って展開できるよう、35の新しい技術的セキュリティリスクと6つの新しい緩和制御が追加されました。
この拡張機能は、エージェントのメモリ、計画、ツール使用における固有のリスク、特にエージェントをエンタープライズツールに接続するための新しい標準であるModel Context Protocol（MCP）によってもたらされる脅威に対処します。
DASFエージェンティックAI拡張機能のホワイトペーパーと更新されたコンペンディウムが利用可能になりました。これらをダウンロードして、エージェントアーキテクチャを評価し、ツールエコシステムをマッピングし、自律性のために特別に構築された多層防御制御を実装してください。

Databricks AI Security Framework (DASF) Agentic AI Extension whitepaper のリリースを発表できることを嬉しく思います。Databricks のお客様はすでに、データベースにクエリを実行したり、外部 API を呼び出したり、コードを実行したり、他のエージェントと連携したりする AI エージェントを展開しています。これらのデプロイを担当するチームからは、「AI が何かを言うだけでなく、何かを 実行できる ようになるとどうなるのか？」という難しい質問を常に受けています。そのため、DASF を拡張しました。

このアップデートでは、自律型 AI エージェントを保護するための新しいガイダンスを導入します。

35 の新しいエージェント AI セキュリティリスク（エージェントの推論、メモリ、ツール使用に関するもの）
6 つの新しい緩和制御（最小権限、サンドボックス化、人間の監視など）
モデルコンテキストプロトコル (MCP) ツールサーバーおよびクライアントのセキュリティガイダンス
マルチエージェントシステムのリスクとエージェント通信の脅威に対するカバレッジ

これらを組み合わせることで、組織はガバナンス、オブザーバビリティ、および防御深度セキュリティ制御を維持しながら、AI エージェントを安全に展開できるようになります。

これにより、フレームワーク全体で 97 のリスクと 73 の制御が利用可能になりました。DASF コンペンディウム (Google スプレッドシート、Excel) を更新し、これらの新しいリスクと制御を業界標準にマッピングして、即時の運用化を容易にしました。これらの追加は、「DASF Revision」列の下で DASF v3.0 としてカタログ化されています。

Databricks AI Security Framework — 図 1: エンドツーエンド AI システムの 13 の標準コンポーネント。エージェント AI が 13 番目のコンポーネントとして導入されています。

AI エージェントがアクションを実行できる場合のセキュリティリスク

RAG のような従来の AI システムは、主に読み取り専用モードで動作します。しかし、AI エージェントは、データベースのクエリ、API の呼び出し、コードの実行、外部ツールとの対話などのアクションを実行できます。

エージェントは異なる動作をします。ユーザーがエージェントと対話すると、モデルはループを開始します。リクエストをサブタスクに分割し、ツール（例：「販売データベースのクエリ」）を選択し、それを実行し、出力を評価し、次に別のツールを呼び出すかどうかを決定します。タスクが完了するまでこれが続きます。エージェントは、どのデータにアクセスし、どのツールを呼び出すかについてリアルタイムで意思決定を行います。これらの決定は、かつては人間が行っていたか、アプリケーションロジックにハードコードされていました。

これにより、発見と横断と呼ぶ新しいクラスのリスクが生まれます。ソリューションを見つけるように設計されたエージェントは、要求したユーザーには決して意図されていなかったデータパスやツールインターフェイスを横断します。これはバグを悪用しているわけではありません。それは、構築されたとおりに機能しているだけです。しかし、適切な制御がない場合、ユーザーは実際には自分の権限ではなく、エージェントの権限を継承することになります。

致命的な三位一体。 Meta の「Agents Rule of Two」や Simon Willison の「Lethal Trifecta」などの最近の業界調査は、これが危険になる条件を強調しています。次の 3 つの条件が同時に存在する場合、リスクプロファイルが急上昇します。

機密システムまたはプライベートデータへのアクセス: エージェントがプライベートまたは制限されたデータにアクセスできます。
信頼できない入力の処理: エージェントが信頼境界外のデータ（ユーザープロンプト、外部ウェブサイト、受信メールなど）を処理します。
状態の変更または外部通信: エージェントがツールまたは MCP 接続を通じて状態を変更できます（メール送信、SQL 実行、コード変更など）。

これらすべてが揃うと、信頼できないデータに埋め込まれた間接的なプロンプトインジェクションがエージェントの完全な機能セットを乗っ取り、「混乱した副官」に変えて、悪意のある意図で承認されたアクションを実行させることができます。権限をスコープダウンしたり、人間のチェックポイントを追加したり、ツール選択前に意図を検証したり、攻撃チェーンを断ち切ったりすることで、いずれか 1 つの要素を削除します。

拡張機能の構成方法

35 の新しいリスクと 6 つの制御は、エージェントが実際に機能する方法に対応する 3 つのサブコンポーネントを中心に構成されています。

13A: エージェントコア（脳とメモリ）

これらのリスクは、エージェントの推論ループを対象としています。メモリポイズニング (リスク 13.1) は、現在の意思決定または将来の意思決定を変更する誤ったコンテキストを導入します。意図破壊と目標操作 (リスク 13.6) は、エージェントを目的から逸脱するように強制します。エージェントはマルチターンループで動作するため、連鎖的な幻覚攻撃 (リスク 13.5) は、マイナーなエラーをイテレーション全体で増幅し、破壊的なアクションにつながる可能性があります。

13B: MCP サーバーリスク（ツールインターフェイス）

エージェントは、ますますモデルコンテキストプロトコル (MCP) によって標準化されているツールを通じて外部システムと対話します。サーバー側では、攻撃者はツールポイズニング (リスク 13.18) を展開したり、ツール定義に悪意のある動作を注入したり、ツール記述内のプロンプトインジェクション (リスク 13.16) を悪用してセキュリティ制御をバイパスしたりする可能性があります。

13C: MCP クライアントリスク（接続レイヤー）

クライアント側では、エージェントが悪意のあるサーバー (リスク 13.26) に接続したり、サーバー応答の検証に失敗したりすると、クライアント側コード実行 (リスク 13.32) またはデータ漏洩 (リスク 13.30) のリスクがあります。MCP の採用が拡大するにつれて、クライアントとサーバーの境界を保護することは、エージェントの推論を保護することと同じくらい重要になります。

エージェント間のダイナミクス

エージェントはますます他のエージェントと通信するようになります。これにより、エージェント通信ポイズニング (リスク 13.12) や、監視境界外で動作するエージェントであるマルチエージェントシステムにおける不正エージェント (リスク 13.13) のリスクが生じます。これは、スケールが大きくなるにつれて問題が増幅されます。

AI エージェントと自律システムを保護するための制御

DASF は常に防御深度を重視してきました。しかし、AI システムがアクションを実行できる場合、読み取り専用アクセス制御だけでは不十分です。新しい制御はこれを直接対象としています。

ツールの最小権限 (DASF 5、DASF 57、DASF 64): エージェントは、即時のタスクにスコープされた詳細な権限を必要とし、RBAC や ABAC が人間の権限を制限するのと同じように、影響範囲を制限します。エージェントが HR メトリクスツールを呼び出すことができるからといって、販売クエリに応答するときにそれを行うべきではありません。
人間参加型の監視 (DASF 66): 高リスクのアクションについては、ツール実行前に人間の検証を要求します。制御設計は、承認の疲労を考慮に入れています。レビュー担当者を圧倒した場合、新しい脆弱性を生み出しただけで、問題を解決したわけではありません。
サンドボックス化と分離 (DASF 34、DASF 62): エージェント生成コードは、一時的で分離された環境で実行されます。エージェントがスクリプトを書き込み、実行することを決定した場合、その実行は広範なシステムや未知の宛先へのアウトバウンド接続にアクセスすべきではありません。
AI ゲートウェイとガードレール (DASF 54): エージェントは、エージェントが本来公開すべきでないデータを表示するように操作されているシナリオに対する保護が必要です。ゲートウェイとガードレール（監視、安全フィルタリング、PII 検出など）を介したエージェントの対話には、適用が必要です。これらのガードレールは、エージェントの入力または出力（またはその両方）に適用できます。また、エージェントが実際に返しているものを監視することも同様に重要です。
思考のオブザーバビリティ (DASF 65): 標準的なログは、何が起こったかを示します。エージェントのトレーシングは、なぜそうなったのかをキャプチャします。計画ステップ、ツール選択の推論、アクションにつながった思考の連鎖です。これなしでは、エージェントの決定を監査したり、推論が侵害されたかどうかを検出したりすることはできません。

Databricksのお客様向けに、このハンドブックは、エージェントデータアクセス用のUnity Catalog ガバナンス、Agent Bricks Framework、AI Gateway ガードレール、Vector Search のセキュリティ設定を含むプラットフォーム機能にこれらのコントロールをマッピングします。

コミュニティと共に構築

この拡張機能は、Atlassian、Experian、ComplyLeft のチームを含む、Databricks およびセキュリティコミュニティのレビュアーや貢献者からのインプットを反映しています。また、MITRE ATLAS、OWASP、NIST、Cloud Security Alliance の作業からも多くを参考にしました。更新されたハンドブックは、これら 97 のリスクと 73 のコントロールすべてをこれらの業界標準にマッピングします。

はじめに

新しい 35 のエージェントAIリスクと 6 つの新しいコントロールの完全な説明については、DASF Agentic AI Extension ホワイトペーパーをダウンロードし、更新されたハンドブック（Google スプレッドシート、Excel）を入手してください。このハンドブックは、エージェントのリスクとコントロールを元の DASF と共にマッピングします。これらのリソースを使用して以下を行います。

エージェントAIリスクモデルに対して、現在のエージェントアーキテクチャを評価します。
MCP サーバーやクライアントを含むツールのエコシステムを、特定された脅威ベクトルにマッピングします。
推奨されるコントロールを実装して、エージェントが安全で管理された境界内で動作することを保証します。

さらに詳しい背景については、完全な DASF ホワイトペーパーを読み、これらのコントロールがプラットフォーム上でどのように機能するかを確認するために、Agent Bricks Framework のドキュメントを探索してください。

フィードバックについては、Databricks アカウントチームに連絡するか、[email protected] までメールでお問い合わせください。このフレームワークは、私たちだけのものではなく、コミュニティ全体のものであると考えています。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事