AIリスク管理: AIシステムのセキュリティを確保するための総合ガイド

ビジネスリーダーは、業務における効率化とイノベーションを推進するためにAI技術の活用を検討する際、自社固有のリスクプロファイルと、AIのリスクを効果的に管理するために必要なステップを理解することに苦慮することがよくあります。業界全体でのAIシステムの急速な導入は、かつてない機会を生み出しましたが、同時に、包括的なAIリスク管理戦略を必要とする複雑な課題ももたらしました。

既存のデータリソースと同様に、AIシステムにもサイバーセキュリティ、プライバシー、規制コンプライアンスに関する脆弱性がありますが、それに加えてバイアス、差別、信頼性の欠如といった倫理的な懸念や意図しない結果ももたらします。AI技術を導入する組織は、従来のITセキュリティに関する懸念事項と人工知能システムに関連する特有のリスクの両方に対処する、堅牢なリスク管理アプローチを開発する必要があります。

AIリスク管理の複雑さは、複雑なAIモデルの不透明性、必要なトレーニングデータの大規模さ、AI開発のスピード、そしてEU AI法をはじめとする規制コンプライアンス要件の状況の変化など、複数の要因から生じます。AIリスクは、初期のデータ収集からAIのデプロイ、継続的な運用に至るまで、AIライフサイクルのどの段階でも現れる可能性があります。

適切なアクセス制御がなければ、AIシステムは悪意のある攻撃者によって悪用され、データ侵害やモデルの改ざんにつながる可能性があります。内部ユーザーがシャドーAIを実行し、生成AIモデルを使用して、アクセス権のない機密データを見つけ出す可能性があります。また、AIモデルとそのデータの監査可能性とトレーサビリティが確保されていない場合、組織はAIに関連するコンプライアンス違反のリスクに直面します。

シスコの2024年データプライバシーベンチマーク調査では、91%の組織が、自社のデータがAIにおいて意図された正当な目的でのみ使用されていることを顧客に安心させるために、さらなる対策が必要であると認識しています。しかし、その「さらなる対策」が何を意味するのかわからずにいることが多いのです。

従業員、顧客、パートナーに影響を与える可能性のあるAIアプリケーションが多数あるため、AIリスク管理の責任はIT部門だけにとどまりません。AIシステムのコンポーネントがどのように連携して機能するかを理解し、ユースケースに存在する潜在的なリスクを特定して軽減する能力がなければ、組織は最悪のケースを想定したアプローチに陥り、考えられるすべての脅威を解決しようとして行き詰まってしまう可能性があります。ビジネスの優先事項との整合性を保ちながらAIリスクを管理するための、簡素化された方法が必要です。そのためには、このバランスをとる行為を乗り切り、対立なくイノベーションを起こすために、ビジネス、データ、AI、ガバナンス、セキュリティの各チーム間の共通言語とコラボレーションが必要です。

AIリスク管理フレームワークと戦略の理解

AIセキュリティの脅威は、決定論的なAI以前の世界で定められたセキュリティ基準の観点からは捉えられないことを認識し、組織がリスクに効果的に対処しデータを保護するのを支援するために、いくつかのAIリスク管理フレームワークが登場しています。

米国国立標準技術研究所（NIST）のAIリスク管理フレームワーク（AI RMF）のような一般的なAIセキュリティフレームワークは、AIシステムのセキュリティ確保に関連するリスクを効果的に概説し、リスクの特定と評価のための構造化されたアプローチを提供しますが、AIリスクの種類ごとに必要な管理策と緩和策をどのように適用するかを完全に説明するには至っていません。

AIリスク管理戦略とは？

効果的なAIリスク管理戦略とは、AIのライフサイクル全体を通じて包括的なリスク管理プラクティスを導入することです。組織には、AIの開発、デプロイ、運用にわたる潜在的なリスクに対処するリスク管理フレームワークが必要です。管理フレームワークであるAI RMFは、リスク軽減戦略と実践的なリスク管理アプローチを通じてリスクを管理するためのガイダンスを提供します。

AIリスクの4つのタイプとは？

AIのリスクは、主に4つのタイプに分類できます。

セキュリティ リスク: AI セキュリティの脅威、サイバー脅威、AI システムを攻撃にさらすセキュリティの脆弱性などが含まれます。

運用リスク: システム障害、モデルドリフト、AIモデルのパフォーマンス低下などを対象とします。

コンプライアンスと倫理的リスク: 規制コンプライアンス、倫理的な影響、AIシステムによる不公平な結果への対応

データリスク：データ品質、データ完全性、機密データ保護、バイアスのかかったトレーニングデータに関するリスク

AIリスクの管理を分かりやすく説明するため、Databricks AIセキュリティフレームワーク（DASF）は、ビジネスの優先事項との整合性を保ちながら、防御的な管理策の推奨事項を使用するためのガイドラインを含む、実用的なロードマップを提供します。DASFは、そのリスク管理フレームワークのAI管理策を10の業界標準およびフレームワークに対応付け、データおよびAI開発チームがAIとmachine learningのライフサイクル全体にわたってセキュリティチームと協力できるよう、認識と緩和に対する包括的なアプローチを採用しています。

AIコンプライアンスとセキュリティ要件の理解

AIの導入は、リスク管理に重要な規制の側面ももたらし、慎重な監視と責任あるAIガバナンスの必要性を強調しています。業界や所在地によっては、組織はEUのAI法やその他の新しい法律から生じる新たなリスクなど、多数の規制へのコンプライアンスを確保する必要があります。

EU AI法は、AIシステムをリスクレベルに基づいて分類し、高リスクAIアプリケーションに特定の要件を課す画期的な規制フレームワークです。ヨーロッパでAIシステムを展開する組織は、これらの要件を理解し、規制コンプライアンスを確保するために適切なリスク管理フレームワークを実装する必要があります。同様の規制が世界的に出現しており、AIガバナンスにとって複雑な状況を生み出しています。

AIシステムの主なコンプライアンス問題には、データの品質と信頼性、AIセキュリティ、レジリエンス、説明責任と透明性、データプライバシー、AIモデルにおける公平性とバイアスが含まれます。組織は、AIライフサイクル全体にわたる包括的なAIリスク管理プラクティスを通じて、これらのコンプライアンス要件に対処する必要があります。

AI ガバナンス フレームワークには、責任ある AI 開発と AI デプロイを確実にするためのポリシー、手順、および統制が含まれるべきです。これには、明確な説明責任体制を確立し、リスク許容度を定義し、リスク特定プロセスを導入し、AI システムのパフォーマンスを継続的にモニタリングすることが含まれます。効果的な AI リスク管理を行うには、データ サイエンティスト、エンジニア、セキュリティ チーム、ビジネス関係者が連携し、イノベーションとリスク管理のバランスを取ることが求められます。

まずデータガバナンスから始めます。これにより、HIPAA、FedRAMP、GDPR、CCPA などの要件に対する規制コンプライアンスが向上します。データガバナンスは、データ品質、一貫性、規制コンプライアンス、社内組織ポリシー、ならびにデータ整合性、AI セキュリティ、データプライバシー、監査、リスク管理を確保するために非常に重要です。適切なデータガバナンスは、偏りのあるトレーニングデータに関する問題を防ぎ、入力データが品質基準を満たすことを保証します。

規制コンプライアンスのために、組織は、デュアルユースの基盤モデルで使用されるさまざまなソースからのデータの発見可能性を確保し、カタログ化する能力を持つための可視性を必要とします。これには、ヒストリカルデータの追跡、データ収集プラクティスのモニタリング、AIシステム開発プロセス全体にわたる機密データおよび機密性の高い個人データの保護が含まれます。NIST内に設置された、最近設立された米国AI安全研究所（USAISI）は、AIリスクを評価するメカニズムのガイドラインを作成し、強力なモデルを分類するためのthresholdの設定、コンテンツの認証、AI生成コンテンツへのウォーターマークの付与、アルゴリズムによる差別の特定と軽減、透明性の確保、プライバシー保護AIの導入促進などの問題について、規制当局が使用する技術ガイダンスを策定します。

AIの利用をリードする組織は、AIツールを使用して、規制コンプライアンスの変更管理、偽陽性の削減、不正行為およびマネーロンダリング防止 (AML)、人為的ミスの対処といった、一般的な運用上の課題や体系的な問題におけるリスクに対処しています。AIシステムのパフォーマンスを継続的なモニタリングを通じて、AIシステムのモニタリングを自動化し、高品質なトレーニングデータと公平で偏りのない機械学習モデルを確保します。

AIにリスク管理はできるのか？

はい、AIテクノロジーは組織全体のリスク管理能力を大幅に強化できます。AIアプリケーションは、潜在的なリスクの特定、定期的なリスク評価の実施、変化する脅威の状況に適応するリスク軽減戦略の策定を通じて、リスク管理を支援します。Machine learningアルゴリズムは、人間が見逃す可能性のあるパターンや異常を検出できるため、AIのリスク管理をより効果的にします。

AIツールは、膨大な量のヒストリカルデータを処理して、潜在的なリスクが顕在化する前に特定することに優れています。予測分析とパターン認識を通じて、AIシステムはセキュリティの脆弱性にフラグを立て、サイバー脅威を検出し、新たなリスクをリアルタイムでセキュリティチームにアラートできます。このプロアクティブなリスク管理アプローチにより、組織はリスクが業務に影響を与えたり、機密情報を危険にさらしたりする前に、リスクを緩和できます。

しかし、リスク管理をAIに依存することは、包括的なAIリスク管理フレームワークを通じて対処する必要がある、新たなAI関連のリスクももたらします。組織は、リスク管理に使用されるAIツール自体が安全で、偏りがなく、適切なガバナンスフレームワーク内で動作することを保証しなければなりません。これには、従来のリスクとAIシステム自体に関連する固有のリスクの両方を包含するリスク管理の実践が必要です。

効果的な AI リスク管理プラクティスの実践

リスク管理プラクティスには、AI システムの構成要素と一般的な AI リスク、さらに特定のユースケースに関連する AI のリスクを理解することが必要です。AI リスク管理を成功させるには、AI の開発とデプロイのすべての段階に対応する包括的なリスク管理プロセスを導入することが重要です。DASF は、このプロセスを簡素化するために 7 つのステップを提案しています。

1. AIシステムと、AIシステムの開発およびデプロイ中に連携する必要があるコンポーネントについてのメンタルモデルを持ちます。AIシステムのアーキテクチャを理解することは、さまざまなコンポーネントにわたる潜在的なリスクを特定するのに役立ちます。
2. AIシステムの構築と管理に関与する人々やプロセスを理解し、データサイエンティスト、エンジニア、セキュリティチームなどの役割を定義します。明確な役割定義は、リスク管理の取り組みに対する説明責任を確立することで、効果的なAIリスク管理をサポートします。
3. 責任あるAIが何を意味するのか、そして考えられるすべてのAIリスクを理解し、効果的なAIリスク管理のために、AIコンポーネント全体でそれらのAI関連リスクをカタログ化します。これには、AIセキュリティ、データ品質、バイアス、倫理的影響に関連する潜在的なリスクの文書化が含まれます。
4. 様々なAIデプロイメントモデルと、AIライフサイクル全体にわたる各モデルのリスクへの影響を理解します。デプロイメントシナリオが異なれば、もたらされるセキュリティリスクも異なり、それぞれに合わせたリスク軽減戦略が必要になります。
5. AIセキュリティの脅威、サイバー脅威、セキュリティの脆弱性から生じる潜在的なリスクを考慮し、自社のAIユースケースに固有の脅威を理解し、それらのAI脅威に関連するリスクをマッピングします。
6. ご自身のAIユースケースに適用される固有のAIリスクを理解し、ユースケースとリスク許容度に基づいてAIに関連するリスクをフィルタリングします。組織は、リスク管理の要件とビジネス目標のバランスをとる必要があります。
7. ご自身のユースケースとデプロイモデルごとに適用が必要な管理策を特定して実装し、実践的なリスク管理アプローチを通じて各リスクを AI コンポーネントと管理策にマッピングします。これには、ご自身の AI アプリケーションに固有のリスク軽減戦略を策定することが含まれます。

適切な管理体制を整えることで、AIを活用したツールは、従来のセキュリティ対策よりも迅速に組織がリスクを検出・軽減するのに役立ちます。敵対的トレーニングにより、機械学習アルゴリズムは能動的な脅威検出のためにパターンと異常を検出し、包括的なリスク管理プロセスの一環として、継続的なモニタリング、自動インシデント対応、行動分析、脅威予測を提供できます。

AIにおける30%ルールとは何ですか?

AIリスク管理における「30%ルール」とは、組織がAIリスク管理の取り組みの約30%を、デプロイ後のAIシステムの継続的なモニタリングと評価に充てるべきであるという原則を指します。これにより、AIシステムのパフォーマンスが意図した結果と一致し続けることが保証され、本番運用中の使用中に現れる潜在的なリスクを特定するのに役立ちます。

効果的なAIリスク管理には、AI開発中の一度きりの評価ではなく、継続的なリスク評価が必要です。30%ルールは、AIリスク管理プラクティスが、AIシステムの初期開発フェーズやAI展開フェーズを超えて拡張されなければならないことを強調しています。組織は、AIテクノロジーと脅威の状況が進化するにつれて、定期的なリスク評価の実施、AIモデルのdriftのモニタリング、新たなリスクの検出、リスク軽減戦略の更新に、多大なリソースを割り当てるべきです。

AIリスク管理へのこの継続的なアプローチは、セキュリティ上の脅威、システムの障害、意図しない結果が重大なインシデントにエスカレートする前に、組織がそれらを検出するのに役立ちます。継続的なリスク管理の取り組みにリソースを投入することで、組織はデータ完全性を維持し、AIのセキュリティを確保し、受動的ではなく積極的にリスクに対処できます。30%ルールは、AIシステムがその運用ライフサイクル全体を通じて一貫した監視を確実に受けられるようにすることで、責任あるAIの実践をサポートします。

高品質なデータなくしてAIは存在せず、データガバナンスと監督なくして高品質なデータは存在しません。効果的なガバナンスと監視によって以下が保証されます。

• データと AI アセットの統合、およびさまざまなシステムからのデータ収集ソースをカタログ化する機能を通じて、容易な発見とシームレスなコラボレーションを実現します。
• 一元的なアプローチできめ細かいアクセス制御、監査、ガバナンスポリシーを適用し、機密データと機密情報を保護して、データ資産を保護します。
• 高品質なトレーニングデータと、AI を活用したモニタリングを備えた公平で偏りのない機械学習モデル。このモニタリングは、エラーをプロアクティブに特定し、根本原因分析を実施し、データ整合性制御を通じてデータと AI パイプライン両方の品質基準を維持します。

生成AIのリスクとセキュリティ上の脅威への対処

従来のITセキュリティとは異なり、AIはデータ、モデル、インフラストラクチャ、ガバナンスにまたがる新たな脆弱性をもたらします。DASFでは、AIシステムの12のコンポーネントにわたって62の異なるAIリスクを特定しました。大まかに言うと、これらの潜在的なリスクには以下が含まれます。

データ運用リスク。不十分なアクセス制御、データ分類の欠如、低品質なデータ、データアクセスログの欠如、トレーニングデータの品質に影響を与えるデータポイズニングなど。

モデル運用リスク。エクスペリメントが追跡されず再現性がないこと、モデルdrift、ハイパーパラメータの盗難、悪意のあるライブラリ、AIモデルに影響を与える評価データのポイズニングなど。

モデルのデプロイとサービングのリスク: AI のデプロイにおけるプロンプト インジェクション、モデル反転、サービス拒否（DOS）、LLM のハルシネーション、ブラックボックス攻撃など。

運用とプラットフォームのリスク、脆弱性管理、侵入テスト、バグバウンティの欠如、不正な特権アクセス、不十分なソフトウェア開発ライフサイクル（SDLC）、規制コンプライアンスの問題など。

これらの AI リスクがもたらす影響は、望ましくない、コストのかかるさまざまな結果に及びます:

• セキュリティとプライバシーの侵害。外部のLLMに送信されたデータが漏洩または要約され、AIのセキュリティ脅威を生み出す可能性があります。
• ユーザーによって機密データや機密性の高い個人データが意図せず外部のAIシステムに送信されること
• データ損失、データ機密性の侵害、モデルの盗難、セキュリティリスク
• EU AI法などの既存および進化する規制、ならびにその他の規制コンプライアンス要件への不遵守
• 別の組織に関連するデータを送信し、不公平な結果を生み出す顧客対応AIシステム。

生成AIや機械学習モデルでは、誤った情報やバイアスの管理も重要になります。AIを活用したモニタリングは、エラーをプロアクティブに特定し、根本原因分析を実施し、データとAIパイプライン両方の品質基準を維持することができます。AIツールはリスク予測にも役立ちます。AIと予測分析を組み合わせることで、ビジネス上の意思決定に役立つリアルタイムの知見と実用的な推奨事項を提供し、効果的なAIリスク管理をサポートします。

AIリスク管理を実装するためのリソースとツール

AI リスク管理を強化するために、チームはこれらの対策を既存の組織ポリシーと連携して導入し、適切な監督を徹底する必要があります。これにより、AI の活用がますます進む世界で進化し続ける脅威を軽減しながら、ビジネス目標に沿った、安全で回復力のある AI システムを構築することができます。これらのリスク管理戦略は、責任ある AI 開発と AI システムの安全なデプロイに不可欠です。

• データへのアクセスを認証・認可し、機密情報、機密データ、入力データを不正アクセスやセキュリティの脅威から保護します。
• モデルのトレーニングに使用する前に、データの自動化と品質チェックを行い、データ品質を確保し、偏ったトレーニングデータを防ぎ、AI開発全体を通じてデータ完全性を維持します。
• 系列（リネージ）を追跡しながらデータを統制、バージョニング、タグ付けすることで、データ完全性を維持し、データ品質を確保し、規制コンプライアンス要件をサポートします。
• 承認ワークフローを適用して AI モデルが意図しないデータソースでトレーニングされるのを防ぎ、AI トレーニングプロセスに関連するリスクを軽減して、責任ある AI 開発を保証します。
• モデルアーティファクト、データセット、バージョン、関係者を追跡して、AI システム開発における信頼性、説明可能性、責任を確保し、AI ガバナンスとリスク管理の実践をサポートします。
• (再)トレーニング後にテスト損失分析を自動化し、特定のテスト入力に対するモデルの動作を評価して、潜在的なリスクを特定し、異常を検出し、AIシステムのパフォーマンスが期待どおりであることを確認します。
• AIセキュリティのためにアクセスをロギング、監査、モニタリングしながら、AIモデルとEndpointを暗号化、認証、認可することで、人工知能システムをサイバー脅威やセキュリティの脆弱性から保護します。
• LLMやその他のAIモデルを内部および外部システムから分離して、セキュリティの脆弱性によるリスクを軽減し、潜在的なリスクを封じ込め、システム障害の連鎖を防ぎます。
• AIシステムのデプロイにおいて、本番運用AIモデルの権限、バージョン、タグ、所有権、承認を適用することで、HITL（人間参加型ループ）を用いたMLOpsを実装し、AIライフサイクル全体で責任あるAIの実践を確保します。
• AI モデルをゲートウェイの背後でホストすることで、レート制限、セーフティフィルタリング、個人を特定できる情報 (PII) の検出、トピックモデレーション、キーワードフィルタリングを行い、AI のセキュリティ脅威に対処し、機密性の高い個人データを保護します。
• 継続的なモニタリング、定期的なリスク評価の実施、包括的なリスク管理プロセスの実装を通じて、AI ライフサイクルのあらゆる段階でデータと AI モデルへのアクセスを監査および監視します。

これらの実用的なリスク管理統制を実装するには、データサイエンティスト、エンジニア、セキュリティチーム、ガバナンス担当者間の連携が必要です。組織は、さまざまな種類のAIリスクに対する責任、エスカレーション手順、対応プロトコルを定義する、明確なリスク管理フレームワークを確立する必要があります。これらのフレームワークは、組織全体の許容リスクレベルと整合させ、イノベーションとリスク管理の両方の目標をサポートする必要があります。

安全なデータ共有とコラボレーションにより、ビジネスリーダーは戦略的な意思決定のために、正確でタイムリーかつ関連性の高い知見を得ることができます。Databricks Data Intelligence Platformは、AIセキュリティとデータプライバシーを維持しながら、AIアプリケーションを通じて構造化データと非構造化データから迅速に知見を抽出するために、複数のソースからのデータを安全に統合しクエリーを実行するための単一のアクセスポイントを提供します。

強力な AI ガバナンスを実装することにより、金融機関は自社のヒストリカルデータに対する信頼の基盤を育み、AI システムが大規模で複雑な AI モデルのデータセットを迅速かつ正確に分析することを可能にします。信頼できる AI システムには、初期のデータ収集から AI の開発、AI のデプロイ、継続的な運用に至るまで、組織全体にわたる包括的なリスク管理の取り組みが必要です。

人工知能におけるイノベーションとリスクのバランス

責任あるAIガバナンスでは、組織はAIの開発および導入プロセス全体を通じて、包括的な継続的モニタリング、プライバシー管理、AIガバナンスを用いて、自社のデータとAIモデルに対する説明責任と管理を担う必要があります。ビジネスの優先事項と連携させながらイノベーションとAIセキュリティのバランスを取るという説明責任は、もはやCIOだけに負わせることはできません。責任あるAIの実践を通じてAIの可能性を最大限に引き出すためには、ビジネス、データ、セキュリティ、プライバシー、ガバナンスの各チーム間で共通の理解を持つ必要があります。

人工知能システムは、透明性、公平性、説明責任を優先する責任あるAI開発の原則に基づいて開発されなければなりません。AIリスク管理プラクティスを導入する組織は、定期的なリスク評価の実施、リスク軽減戦略の実施、リスクを効果的に管理しながらビジネス価値を提供する信頼できるAIシステムの維持に注力する必要があります。

Databricksは、AIセーフティ・インスティテュート・コンソーシアムにおいてNISTと協力し、信頼できるAIシステムの開発とその責任ある利用を促進するため、実証済みでスケーラブルかつ相互運用可能な測定法と方法論の特定を可能にする新しい測定科学の確立に取り組んでいます。この協力関係は、より広範なAIリスク管理フレームワークと、管理フレームワークであるAI RMFの原則をサポートします。

新たなリスクは、スタンドアロンのAIモデルと、Databricksの顧客がドメイン固有のエージェントを使用してAIアプリケーションを構築するためにますます利用するようになっているエージェント型AIシステムの両方の開発と利用に影響を与えるでしょう。人為的ミスは規制対象企業に数十億もの損害をもたらし、その損失の原因はデータの問題や追跡が必要な膨大な量のヒストリカルデータにまで遡ることができます。AIは、人間が見逃す可能性のある異常、傾向、パターンを発見し、一連のルールに基づいてアラートを生成することで、リスク管理と規制コンプライアンスの取り組みを支援できます。

包括的なAIリスク管理フレームワークを通じて、AIシステムを安全に開発、展開し、AIモデルを大規模に維持するための重要なガイダンスとして、Databricks AIセキュリティフレームワークをご活用ください。このフレームワークは、AI関連のリスクに対処し、すべてのAI技術にわたって実践的なリスク管理を実装しながら、組織がAIモデルのセキュリティを確保し、継続的にビジネス価値を提供できるよう支援します。この包括的なAIリスク管理アプローチは、組織がイノベーションと、セキュリティ脅威の緩和や規制コンプライアンスとのバランスをとるのに役立ちます。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事