Archived. This article has not been updated since the publish date above. The dynamic nature of information means that previously accurate content can become outdated or even obsolete over time. Readers are advised to exercise due diligence and cross-check any information found in this blog post before making decisions or adopting any practices based on said information.
生成型AIは強力な現実となり、顧客体験を向上させ、決定を自動化することで業界を変革しています。組織がAIエージェントシステムをコア業務に統合するに つれて、新たに出現する脅威からこれらのシステムを保護するために、堅牢なセキュリティ対策が不可欠となります。このブログでは、AIゲートウェイがどのようにAIエージェントシステムを保護し、今日の複雑なデジタル環境での安全なデプロイメントと運用を確保するかについて探ります。
銀行や保険などのセクターでは、ルールエンジンは長い間、意思決定において重要な役割を果たしてきました。銀行口座の開設資格を決定したり、保険請求を承認したりするかどうか、これらのエンジンは事前に定義されたルールを適用してデータを処理し、自動的な決定を下します。これらのシステムが失敗すると、人間の主題専門家（SMEs）が例外処理を行います。
しかし、指示に従うGenAIモデルの出現は、ゲームを変えることになるでしょう。静的なルールエンジンに頼るのではなく、これらのモデルは特定のルールデータセットで訓練され、複雑な決定を動的に行うことができます。例えば、指示に従うモデルは、リアルタイムで顧客の金融履歴を評価し、ローン申請を承認または拒否することができます。ハードコーディングされたルールは必要ありません。データに基づいて決定を下す訓練されたモデルだけです。
この変化は、より大きな柔軟性と効率性をもたらしますが、重要な問いを提起します： 伝統的なルールエンジンを置き換えるこれらのAIエージェントシステムをどのように保護するのでしょうか？
伝統的に、ビジネスプロセス（ルールエンジンなど）はAPIにカプセル化され、その後、フロントエンドアプリケーションによって消費されました。これらのAPIを保護するために、組織はAPIゲートウェイを実装し、OSIモデルの異なるレイヤーにわたるセキュリティポリシーを強制しました：
これらのAPIポリシーは、承認されたリクエストのみが基礎となるビジネスプロセスと対話できるように保証し、APIを重要な操作を管理する安全な方法としています。
しかし、AIエージェントシステムの台頭に伴い、これらのサービングエンドポイントのセキュリティを確保することがより複雑になります。複数のAIモデルが複雑なタスクを処理するために協力する場所です。伝統的なAPIポリシーはインフラストラクチャと通信レイヤーを保護することに焦点を当てていますが、これらのAIエージェントシステムが受け取る指示を検証するための装備がありません。AIエージェントシステムでは、悪意のあるアクターがプロンプト入力を悪用し、適切に保護されていない場合にはプロンプト結果を悪用することができます。これにより、顧客とのやり取りが悪化し、望ましくない行動が生じ、IPが失われる可能性があります。
顧客のローンの適格性を判断するという任務を持つ銀行のAIエージェントシステムがあると想像してみてください。もし悪意のあるアクターがサービングエンドポイントを制御することができれば、システムを操作して不正なローンを承認したり、正当な申請を拒否したりすることができます。スキーマ検証やJSON保護の ような標準的なAPIセキュリティ対策は、この文脈では不十分です。
組織は、AIエージェントシステムを保護するために、従来のAPIポリシーを超える必要があります。その鍵は、APIレイヤーを保護し、AIゲートウェイを構築し、AIエージェントシステムに送信される指示を評価することにあります。
従来のAPIでは、メッセージは通常スキーマチェックを通じて検証されますが、AIエージェントシステムは自然言語や他のテキスト形式で書かれた指示を処理します。これらの指示は、有効でありかつ悪意のないものであることを確認するために、より深い検証が必要です。
ここで大規模言語モデル（LLMs）が登場します。オープンソースのLLMモデル、例えばDatabricks DBRXやMeta Llamaは、AIエージェントシステムが受け取る指示を分析する「審判」の役割を果た します。これらのモデルをサイバー脅威や悪意のあるパターンに対してファインチューニングすることで、組織はAIエージェントシステムに送られる指示の意図と正当性を検証するAIゲートウェイを作成することができます。
Databricksは、Agent Bricks AI Gatewayを通じてAIエージェントシステムを保護するための先進的なプラットフォームを提供します。サイバー脅威や安全リスクに対してLLMを微調整し、有害な指示を認識しフラグを立てるように訓練することで、AIゲートウェイは従来のAPIポリシーを超えた新たなセキュリティ層を提供することができます。
トレーニングのプロセス
このアプローチは、AIエージェントシステムに追加の防御層を提供し、悪意のあるアクターが悪用するのを大幅に困難にします。AIを用いてAIを保護することで、組織は潜在的な脅威に一歩先んじることができ、AI駆動のビジネスプロセスが信頼性と安全性を保つことができます。
生成AIが進化し続ける中で、企業はますますAIエージェントシステムに依存して複雑な意思決定プロセスを処理するようになるでしょう。しかし、このシフトに伴い、従来のAPIポリシーを超えてAIエージェントシステムを駆動する指示そのものを保護する新しいセキュリティアプローチが必要となります。
実装することによりAIゲートウェイは、Databricksが提供するような大規 模な言語モデルによって駆動され、組織はAIエージェントシステムがビジネス運営でより洗練された役割を果たすにつれて、安全を保つことができます。
AIの未来は明るいが、それは同時に安全でなければならない。Databricksのようなツールを使えば、ビジネスはAIエージェントシステムの力を自信を持って活用しつつ、新たに出現する脅威から自身を守ることができます。
ブログを購読して、最新の投稿を受信トレイにお届けします。