Databricks AIシステムフレームワーク（DASF）

アーキテクチャの概要

Databricks AIシステムフレームワーク（DASF）は、現代のAI/MLシステムの主要なコンポーネントを概説し、組織が潜在的なリスクを評価し、セキュリティのベストプラクティスを適用するのを助けます。これらのコンポーネントがどのように相互作用するかを理解することで、組織は脆弱性をより良く予測し、適切な緩和戦略を適用することができます。

Databricksのセキュリティチームは、これらの学びをDatabricksデータインテリジェンスプラットフォームに組み込み、セキュリティとコンプライアンスのための組み込みコントロールとマップされたドキュメンテーションリンクを提供しています。

このシステムは、4つの主要な段階にグループ化された12の基本的なコンポーネントによって構成されています。各ステージは、セキュアで、管理され、運用効率の高いAIとMLのワークフローの重要な柱を表しています。

I. データ操作（コンポーネント1-4）

データ操作は、データの取り込み、準備、カタログ化に焦点を当てています。これは、任意の信頼できるMLシステムの基盤であり、モデルの品質は入力データの品質とセキュリティに依存しています。

1. 生データ: データは複数のソース（構造化、非構造化、半構造化）から取り込まれます。この段階では、データは安全に保存され、アクセスが制御される必要があります。

2. データ準備: このステップでは、クリーニング、探索的データ分析（EDA）、変換、特徴化が含まれます。これは抽出、変換、ロード（ETL）プロセスの一部であり、意味のあるトレーニング特徴を導き出すために不可欠です。

3. データセット: 準備されたデータセットは、トレーニング、検証、テストセットに分割されます。これらのデータセットはバージョン管理され、再現可能でなければなりません。

4. カタログ: データ資産のための中央集権的なレジストリ：特徴、インデックス、モデル、関数。これは、チーム間でのデータの発見性、系統、ガバナンス、安全なデータ共有をサポートします。

主なリスク軽減: アクセス制御、暗号化、データ系統追跡、監査ログは、認証されたユーザーのみがデータにアクセス、変更、共有できるようにします。

II. モデル操作 (コンポーネント 5–8)

モデル操作は、MLとAIモデルの実験、評価、ライフサイクル管理を含みます。

5. アルゴリズム: 予測モデルを開発するために使用されるカスタムまたは事前構築されたアルゴリズム。

6. 評価: 検証データと定義されたメトリクスを使用したモデルパフォーマンスの体系的な評価。

7. モデルの開発と評価: これには、ゼロからのモデル構築、外部API（例：OpenAI）の使用、基礎モデルの微調整、または転送学習技術の適用が含まれます。

8. モデル管理: モデルの中央集権的な追跡とガバナンス、バージョン管理、監査トレイル、再現性とコンプライアンスのための系譜を含みます。

主なリスク軽減: 組み込みのバージョン管理、実験追跡、アクセス制御、監査トレイルは、不正なモデル変更のリスクを減らし、モデルの反復にわたる追跡可能性をサポートします。

III. モデルのデプロイメントと提供 (コンポーネント 9–10)

これらのコンポーネントは、モデルを安全にプロダクションに提供し、AIアプリケーションを動かすことに焦点を当てています。

9. プロンプト/RAG（検索拡張生成）： RAGや他の推論ベースのアプリケーションに対して、構造化されたデータと非構造化データへのセキュアで低遅延のアクセスを可能にします。

10. サービングインフラ: モデルの提供、AIゲートウェイ、AIエージェントとアプリケーション間の推論リクエストとレスポンスを処理するAPIを含みます。

主なリスク軽減: コンテナの分離、リクエストレートの制限、入力検証、トラフィック監視などの安全なモデルデプロイメントの実践は、攻撃面を減らし、一貫したサービスの可用性を確保します。

IV. 操作とプラットフォーム (コンポーネント 11–12)

このレイヤーは、環境全体でのインフラストラクチャのセキュリティ、アクセス制御、システムの信頼性を管理します。

11. モニター: モデルパフォーマンス、セキュリティ監査、システムの観察性のためのログ、メトリクス、テレメトリを継続的に収集します。

12. 操作とプラットフォーム: 安全なCI/CD、プラットフォームのパッチ適用、脆弱性管理、厳格な環境分離（開発、ステージング、本番）をサポートします。

主なリスク軽減: 環境の分離を維持し、定期的にパッチを適用し、ロールベースのアクセス制御を強制し、システムの振る舞いを監視することで、AIライフサイクル全体でのセキュリティとコンプライアンスの基準を維持するのに役立ちます。

 

まとめ

このアーキテクチャは、安全で、管理され、本番環境に適したAIシステムの包括的なビューを提供します。各コンポーネントはリスク評価され、コントロールはDatabricksデータインテリジェンスプラットフォームにネイティブに組み込まれています。組織はこれを参照として、自身のAIシステムのセキュリティ評価と実装を加速することができます。