セキュリティにとどまらないガバナンス：レイクハウスにおけるナレッジ、コンテキスト、オントロジー

多くの組織にAI向けのデータガバナンスとは何かを尋ねると、セキュリティに関する答えが返ってくるでしょう。ロックダウンし、アクセスを制限し、監査をクリアすることです。ヘルスケア分野において、セキュリティは交渉の余地のない必須事項ですが、それだけでは不十分です。セキュリティは、誰がデータに触れることができるかを教えてくれます。しかし、そのデータが何を意味するのか、信頼できるのか、あるいはAIモデルがそこから学習すべきなのかについては何も教えてくれません。

当社のData Empowerment Program (DEP)は、異なる前提からスタートします。ガバナンスとは、単なる制御ではなく、知識、コンテキスト、そしてオントロジーです。多くのチームがコンプライアンスのオーバーヘッドとして扱うアーティファクト（分類タグ、匿名化ポリシー、モデルカード、データ契約など）は、企業のデータセマンティクスのための生の素材なのです。

このように捉えると、ガバナンスとAIのどちらか一方を選択するのではなく、ガバナンスがAIの構築を支援することになります。AI時代には、ガバナンスへの新しいアプローチを導入する必要があります。唯一の疑問は、単に監査をクリアするために後からその作業を行うのか、それともAIが稼働する基盤を築くために今行うのか、ということです。

私たちの目標は、皆様がすでに行っているセキュリティとガバナンスの取り組みこそが、AIが稼働する基盤であることを示すことです。データを十分にガバナンスできれば、AIはより高い信頼性を持って、より安価なモデルで動作させることができます。

ガバナンスは、1つの視点を通じて5つの柱をより広く捉える必要があります

まずは、すべてのガバナンスアーティファクトがセマンティクスに貢献するという視点から始めましょう。すべての分類タグは概念です。すべてのモデルカードはコンテキストです。すべてのデータ契約は共有された定義です。すべてのリネージのリンクは関係性です。そのように読み解けば、すでに運用しているセキュリティスタックはオントロジーの最初のドラフトであり、カタログはそのオントロジーが存在する場所になります。

そうすると、ガバナンスは単一の存在ではなくなり、1つの規律の5つの側面になります。データ自体とその制御方法、その上に構築されるAI、それを理解する必要がある人々、それをビジネスに届けるプロダクト、そしてこれら4つを繋ぐ共有コンテキストです。同じ視点でありながら、5つの正面から捉えることになります。

DEPでは、5つの柱を通じてセマンティクスを構想しています。

• データガバナンス — カタログ、品質、キュレーション、リネージ、およびPII分類、アクセス制御、HIPAA/GDPR、AI固有のプライバシーリスクなどのセキュリティとコンプライアンスの組み込み。
• ナレッジ（AI/ML）ガバナンス — モデルのドキュメント化、ガバナンス、およびバイアスと公平性、説明可能性、人間の監視、EU AI Actへの対応などの責任あるAIの基準。
• データリテラシー — トレーニング、セルフサービス有効化、実務者認定、および採用率、利用メトリクス、プログラムのROIなどのKPI。
• データマネジメント — アーキテクチャ、データエンジニアリング、およびデータプロダクト契約（スキーマ合意、SLAと品質しきい値、プロデューサー/コンシューマーの義務を含むべきもの）。
• オントロジー — 用語集、タクソノミー、ナレッジグラフ。最終的にAIセマンティックレイヤーに集約されます。これには、LLMのコンテキスト、RAGのグラウンディング、チャットクエリへの対応が含まれます。

エージェントによるビジョンの運用化

プラットフォームがこの5つの柱のビジョンを実行可能なものに落とし込めなければ、それは単なるスライド上の絵に終わってしまいます。ガバナンスアーティファクトが構造化され、マシンリーダーブルなメタデータとして存在すれば、単なるドキュメントではなく、エージェントへの指示セットとして機能し始めます。

私たちが「エージェント」と言うとき、2つの方法を考えています。データプロダクトを組み立てて提供する「ビルドエージェント」と、その上でビジネスの質問に答える「分析エージェント」です。それぞれが単一のデータプロダクトに紐づいています。

まずはビルドエージェントから始めましょう。ビルドエージェントは、ソースマッピングからETL、テスト、匿名化を経て本番リリースに至るまで、データプロダクトの提供ライフサイクルを自動化します。彼らが必要とするものはすべて、ガバナンスされたメタデータとしてUnity Catalogに存在します。これには、ソースからターゲットへのマッピング、ビジネス定義、分類層、匿名化ポリシー、データ契約、モデルカードが含まれます。プラットフォームは、タグ、コメント、認定フラグ、リネージ、用語集にリンクされた用語から情報を導き出します。カタログは単にガバナンスを文書化する場所ではなく、エージェントが実行するランタイムそのものなのです。

各エージェントはループ内で動作します。カタログから指示を読み取り、パイプラインコードの生成、テストスイートの実行、匿名化データの生成、認定データセットのデプロイなどの具体的なタスクを1つ実行し、その証拠をテスト結果、品質スコア、リネージ、または変更キャプチャデータとしてカタログに書き戻します。これが繰り返されます。

実際には、まず匿名化（De-ID）エージェントとテストエージェントを順序付けます。これらは、最も高いリスクと最も重い手作業を事前に排除します。効果が最も早く現れるところから始めることで、早期に勢いをつけることができます。ループを進める中で、カタログに記述されていないデータに対して動作するエージェントは存在しません。

最新のカタログは、スチュワードが承認するための列やテーブルの説明を自動生成し、機密フィールドを自動的に分類し、手作業で維持管理することなく列レベルのリネージをキャプチャできるため、このアプローチをスケーラブルにします。人間の役割は、メタデータの作成から承認へとシフトします。これこそが、人間が行うべき判断業務です。

データとAIのビルドライフサイクル：証明と継続的なコンテキスト

ビルドエージェントは、ガバナンスされたデータプロダクト（マッピング、キュレーション、パイプライン）と、その上で動作する分析エージェント（セマンティックレイヤー、プロンプト設定、評価スイート）という2つのアセットを同時にリリースするように設計された、エンドツーエンドのライフサイクル内で動作します。

このアプローチは、パイプライン中心のエンジニアリング（データをポイントAからBへ移動する）から、コンテキスト中心のエンジニアリング（LLMにとってデータを理解しやすく、実用的なものにする）への根本的な転換を意味します。コードの品質だけを認定するのではなく、このライフサイクルのゲートはセマンティクス、コンテキスト、および所有権を検証します。

このフレームワークを従来のSDLCと区別する2つの核となる特性があります。

• 自動証明される： 信頼性の証明は、事後に慌てて準備する監査対応ではなく、デリバリーの自然な副産物として得られます。
• コンテキストを継続的に改善する： 本番環境での動作がAgentOpsループにフィードバックされ、失敗したクエリ、ハルシネーションのクラスター、ユーザーからの低評価が、次のスプリントのセマンティックバックログに変換されます。

人間のスチュワードは、両方の特性における説明責任のレイヤーとして機能します。エージェントが提案し、人間が承認します。2つのトラックにわたる5つのゲートを管理することは、長いボトルネックを生み出すように見えるかもしれませんが、ほとんどのゲートはわずか数時間でクリアできます。承認は、標準的な開発者ツール内で直接行われます。チケットがオープンされる前に、自動テストスイートがデータ品質の結果、評価スコア、リネージを添付します。正式なゲート会議は調査のための例外であり、標準的な運用手順ではありません。

AI Certificationはゲートの背後にあるエンジンです

これらのゲートを恣意的なものではなく客観的なものにするメカニズムが、AI Certificationです。Unity Catalogに直接記録されるこの認定は、手動の法的証明書ではなく、自動化されたクエリ可能なスコアカードとして機能します。これは、4つの主要な次元にわたってリリース資格を管理します。

• 自動スコアリング vs. 人手によるスコアリング： ガバナンス、品質、セマンティクスのスコアは、クエリ可能なシステムテーブル、パイプラインの結果、および評価の実行から自動的に計算されます。所有権スコアと最終デプロイスタンプには、スチュワードによる明示的な署名が必要です。
• 継続的な有効期限： 認定は動的です。スキーマの変更、契約の更新、または評価スイートの失敗が発生すると、チェックが再実行されて合格するまで、認定は即座に失効します。
• データレイヤーでの強制： アクセス制御は、アプリケーションレイヤーではなく、データレイヤーでのAttribute-Based Access Control (ABAC)を介して動作します。ユーザーがSQLで特定の行をクエリできない場合、エージェントはベクトル検索や埋め込みを介してそれを取得することはできません。
• 厳格な境界分離： 非本番環境（SIT、回帰テスト、モデルテスト）は、合成データまたは匿名化データのみを消費します。これにより、本番環境のPHIがガバナンスされた境界の外に出ることはありません。

エージェントが間違っている場合、誰がそれを修正するのか？

認証とゲートは、リリース時にエージェントが信頼可能であったことを証明します。しかし、ガバナンスのリーダーが問いかけるのは「どのように機能するか」ではなく、「誤った回答を出したときに誰が説明責任を負うのか」ということです。その答えは、運営委員会ではなく、特定の個人の名前でなければなりません。

これを解決するために、各分析エージェント（例：Databricks Genie Agent）は、指定された1人のオーナーを持つ、ガバナンスが効いた単一のデータプロダクトに紐付けられます。基盤となるメトリクスが誤って定義されていたためにエージェントが誤った結果を返した場合、その問題はAIエンジニアリングチームの責任ではありません。代わりに、データプロダクトオーナーに直接送られ、オーナーがカタログの定義を修正します。エージェントをドメインスコープの認証済みデータプロダクトに紐付けることは、精度を向上させる最大の手段でもあります。認証されたメタデータをクエリする特化型エージェントは、企業全体の資産全体を推測するグローバルモデルよりも一貫して優れたパフォーマンスを発揮します。

極めて重要なのは、この共有メトリクス定義が単に文書化されるだけでなく、強制適用される点です。認証されたメトリクスがカタログに定義されると、回答エージェントはそこから直接計算を行う必要があります。これにより、静的なドキュメントがアクティブな実行時ロジックへと変換されます。

AIが人の監視なしに行うことができる範囲を厳格に制限することで、説明責任が維持されます。人間の介入なしに、エージェントがコードを本番環境にプロモートしたり、ポリシーを変更したり、未分類のデータに対して操作を行ったりすることはありません。認証スコアは自動的に計算されますが、最終的なリリースゲートには常に人間の署名が必要です。カタログにデータ資産が明示的に記述されていない場合、システムは推測するのではなく、デフォルトで出力を抑制します。実行時において、このフェイルクローズポリシーは明確な境界を強制します：

• 分析エージェントの場合： 生データに基づいて推測したり文脈を推論したりする代わりに、エージェントは明示的に回答を拒否し、透明性のあるメッセージ（例：「このデータセットには、リクエストを処理するために必要なアクティブな認証またはセマンティックマッピングが不足しています。」）を返します。
• ビルドエージェントの場合： パイプラインの構築中に未分類のスキーマや欠落しているコントラクトが検出された場合、ステージング環境に到達する前に実行が自動的に停止し、スチュワードのレビュー用に未マッピング資産フラグがログに記録されます。

これらのガードレールを書面で定義するのは簡単ですが、実際に機能させるには、曖昧なガバナンス委員会を、説明責任を持つ4つの明確な役割に置き換える必要があります。

• データプロダクトオーナー： ガバナンス対象プロダクトの定義と品質に責任を負います。回答が誤っている場合の唯一の連絡窓口となります。
• データ＆AIガバナンスエンジニア： ポリシーを実行可能なカタログメタデータ（分類、コントラクト、リネージ）に変換し、ルールがPDFに眠るのではなく、実行時に動作するようにします。
• スチュワード： 自動化された検出結果をレビューし、リリースゲートを承認します。自動化システムが提案し、スチュワードが決定します。
• セキュリティ / IAM： 匿名化や行レベルの権限を自動的に制御する、分類層とアクセス属性を管理します。

セキュリティを妥協することなく厳格にテストする

これまで説明したライフサイクルには、ある厳しい前提条件が隠されています。それは、テストや評価の各ステージを実行するには現実的なデータが必要であるということです。しかし、ヘルスケア分野では、実際のPHIを使ってテストすることはできません。そのため、セキュリティを損なうことなく、あらゆる場所で現実的なテストデータを用意することが課題となります。

匿名化は、データの分析的な有用性と安全性を両立させる方法です。匿名化エージェントはどこから知識を得るのでしょうか？手動で管理されたスプレッドシートからではありません。企業ツールがすでに生成しているセキュリティポリシーに基づいて動作します。フローは次の3つのステップです：

• 検出（Discover） - 自動検出スキャナーとInfoSecポリシーエンジンが、機密性の高い列やファイルを分類します。
• 整理（Curate） - 分類結果は整理されたポリシーメタデータとしてカタログに格納され、エージェントはその整理されたデータを読み取って実行します。
• 実行（Execute） - メタデータを取り込み、合成データまたは匿名化されたソースファイルを生成します。HIPAAセーフハーバーに準拠し、参照整合性を維持し、分析に利用可能です。

セキュリティおよびIAMチームにとって、これは双方向のメリットがあります。InfoSecポリシーはPDFではなく実行可能なものになり、分類層と保持ルールによって自動的に匿名化が実行されます。その見返りとして、セキュリティ側は常に最新の状態に更新された機密データのビュー、新しく検出されたデータに対するフェイルクローズ保護、そして実行するたびに監査証跡を生成する残存スキャンを得ることができます。アクセスモデルはエンドツーエンドで一貫しています。エージェントによるデータ取得はクエリを実行するユーザーのカタログ権限を継承するため、RAGアプローチによってユーザーが表示権限を持たない行のエンベディングが公開されることはありません。同じABACルールがSQLとベクトル検索の両方に適用され、エージェントは特権サービスアカウントではなく、クエリを実行するユーザーの権限で動作します。すべてのエージェントプロンプトは、回答に使用されたリネージとともにログに記録され、データ自体と同じガバナンスの下で管理されます。

これこそが真のブレイクスルーです。データ、モデル、エンベディング、そして監査証跡に対して、単一の権限モデルを適用できます。別々のモデルレジストリやベクトルストアにデータカタログを継ぎ接ぎする必要はありません。ガバナンス業務は、並行するプロジェクトではなく、AIの基盤そのものになります。

メトリクスを収集し、結果を証明し、信頼を獲得する

このライフサイクルがこれまで何を行ってきたかに注目してください。すべてのステージ、すべてのゲート、すべての認証がメトリクスを生成してきました。4つの認証ディメンションをデータセットごとの単一のAI準備完了スコアにまとめ、単なる目標ではなく実用的なものにします。セマンティクスが100%に達するのは、すべての列に用語集にリンクされた定義があり、テーブルに署名済みのデータコントラクトがある場合のみです。オーナーシップが100%に達するのは、指名されたオーナーが問題に対応している場合のみです。

このスコアリングに続く成果こそが、DEPプログラム全体のビジネスケースとなります。メトリクスがAIの結果を証明し、証明が信頼を獲得し、信頼がパイロット運用を日常的な利用へと変えるのです。アーキテクチャ図がエレガントだからという理由でエージェントを採用するビジネスユーザーはいません。先週の数値が正確であり、不正確だったときには責任者が修正してくれたからこそ採用するのです。スコアは、そもそもなぜ数値が正しく出力されるのかを説明します。スコアが高いほど、モデルが推測する必要は少なくなります。列の意味を推論したり、重複を補正したり、結合をハルシネーションしたりすることはありません。なぜなら、カタログがすでにそれを伝えているからです。

モデルの話題性を追うのではなく、モデルの経済性を追求する

毎週のように、より大規模で高価なモデルが登場します。ハイプサイクルが見落としているのは、カタログがすでに意味、品質、コンテキストを提供している場合、モデルがそれを行う必要はないということです。ガバナンスが効いたデータに対するレポート作成や分析のニーズのほとんどは、より小規模なモデルやオープンウェイトモデルで十分に満たされます。

フロンティアモデルは、潜在的なメタデータのギャップを隠すために使用されることがよくあります。スキーマやビジネスルールが明示的にカタログ化されていれば、より小規模なドメイン特化型モデルでも、トークンコストを大幅に抑えながら同等の精度を達成できます。

これはコストと品質の選択であり、品質の限界ではありません。日常的な業務を適正化し、フロンティアモデルへの支出は本当にそれを必要とする問題のためにとっておくことで、コストが原因でAIの活用がストップすることはなくなります。データを修正し、モデルを適正化し、精度を維持する。これこそが、ガバナンスに根ざしたAI戦略がもたらす価値です。安価なAIではなく、止まらないAIを実現します。

今すぐ実行：1つのデータプロダクトから始める

企業全体の一斉な見直しを一度に試みる必要はありません。1つのデータプロダクトをライフサイクル全体に通すことで、そのモデルを証明してください。

1. スキャン：単一のターゲットスキーマに対して自動検出スキャンを有効にします。
2. 定義：Unity Catalogで、完全性、セマンティクス、品質に関する明示的な認証しきい値を設定します。
3. 紐付け：専用の評価スイートおよび匿名化されたテストパスとともに、1つの分析エージェントをデータセットにアタッチします。
4. 割り当て：定義と問題解決に責任を持つ、指名された1人のデータプロダクトオーナーを任命します。

ループが稼働したら、認定されたデータプロダクトごとにこのプロセスを1つずつ繰り返します。セキュリティは誰がデータにアクセスできるかを示しますが、ガバナンスはそのデータの意味や、AIがそれを信頼できるかどうかを示します。

ガバナンスは、データ駆動型組織の前に立ちはだかるゲートではありません。適切に実施されれば、組織を支える土台となるのです。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事