Databricksの社内レイクハウスには、エンジニアリング、GTM、HR、財務、製品テレメトリにわたる10万以上のテーブルが存在します。Unity Catalogの導入前は、ガバナンスに一貫性がありませんでした。アクセスパターンはチームごとに異なり、分類は不完全で、どのデータセットがAIトレーニングに安全に使用できるかを確信を持って言える人はいませんでした。データプラットフォームチームは、ガバナンスを基本原則から再構築しました。彼らはDatabricksにおけるガバナンスを自動化し、測定可能にし、自律型AI（Agentic AI）の時代に対応できるようにしました。その取り組みをご紹介します。
「このデータはガバナンスされているか？」に誰も答えられないとき
Databricksは急速に規模を拡大しており、そのデータはさらに速いペースで増加していました。数十のチーム、ワークスペース、カタログにまたがって、10万以上のテーブルが存在していました。各チームはアクセスを異なる方法で管理していました。分類は一貫性がなく、あるいは完全に欠落していました。
この摩擦は机上の空論ではありませんでした。セキュリティ、法務、エンジニアリングの各チームは、コンプライアンス監査の際、基本的な質問に答えるためにスプレッドシートの確認に何時間も費やしていました。データセットがプライバシー要件を満たしているかどうかを誰も確認できなかったため、新しいAIプロジェクトは停滞しました。チームがモデルをトレーニングしようとしたとき、そのトレーニングデータが分類されているか、ガバナンスされているか、あるいは最新のものであるかさえ、体系的に確認する方法がありませんでした。
「全員がすべてのテーブル、すべてのジョブに対して読み取りと書き込みのアクセス権を持っていました」と、Databricksのエンジニアリング部門シニアディレクター兼データプラットフォーム責任者であるBruce Wong氏は言います。「信頼できる唯一の情報源（Single Source of Truth）がないだけでなく、多くの情報源が存在し、真実がどこにもない状態でした。」Wong氏は、チームが引き継いだものを、サイロ化し、ガバナンスが効かず、拡張不可能な「データスワンプ（データの泥沼）」と表現しています。
課題は、善意の欠如ではありませんでした。各チームはデータの品質を重視していました。しかし、10人と1ギガバイ トの規模で機能していたガバナンスモデルは、1万人と1エクサバイトの規模では機能しません。統一されたシステムがなければ、ガバナンスは追いつかない手動プロセスの継ぎはぎになってしまいます。
その一方で、データプラットフォームチームはデータ資産を全面的に刷新し、Lakeflow ConnectによるSaaSデータの取り込みから、マルチクラウドのポータビリティ、ビジネスドメイン間のフェデレーテッド分析までを実現しました。会社の成長に対応するためには、各事業部門が業務を行う上で、信頼性が高くガバナンスの効いたデータを必要としていました。プラットフォームチームは、パイプラインを構築するエンジニアだけでなく、社内のすべての分析担当者、マーケター、財務リーダー、営業担当者にとっても機能するソリューションを必要としていました。DatabricksのシニアエンジニアリングマネージャーであるLi Yang氏は、他のテック企業で10年間、同様のスケーリングの痛みを経験してきたため、この課題を熟知していました。「B2Bの世界では、信頼は機能ではありません。信頼こそが製品なのです」とYang氏は言います。「飛行機を飛ばしながら修理するようなモデルから脱却する必要がありました。」
すべてのデータセットに対する分類、アクセス制御、およびスコア
チームは、Unity Catalogのアルファ版顧客としてスタートし、「すべてのデータセット は、ゲート（制限）ではなくガードレールを通じて、デフォルトで信頼され、ガバナンスされ、AIに対応しているべきである」という基本原則を掲げました。Unity Catalogにより、個々のユーザーやテーブルを管理するのではなく、カタログレベルでポリシーとガバナンスの決定を行うことが可能になりました。これは、レイクハウスへのアプローチを根本から変えるパラダイムシフトでした。
まず、彼らはUnity Catalog内にユニバーサルな分類モデルを構築しました。すべてのテーブルは、データの機密性（Public、Internal、Confidential、Restricted、Highly Restricted）とドメイン（Engineering、GTM、HR、Financeなど）によってタグ付けされます。これらのタグは、アクセス制御を決定するガバナンスゾーンにマッピングされます。次に、アクセス制御を自動化しました。Unity CatalogのセキュリティAPIに基づいて構築されたFortressと呼ばれる社内プラットフォームが、目的限定で時間制限のあるアクセスを強制します。永続的な権限付与はもうありません。すべての申請には理由が必要で、予定通りに期限切れになり、完全に監査可能です。
大規模な信頼性を測定するために、チームはすべてのデータセットに対して0から100の継続的な指標を提供するデータガバナンススコアを構築しました。このスコアは、ドキュメント化（列が説明され、テーブルに注釈があるか？）、信頼性（データ品質チェックに合格しているか？）、ガバナンス（データが分類され、アクセス制御されているか？）の3つの柱を評価します。データガバナンススコアはリネージを通じて下流に伝播します。上流のテーブルの信頼性が低下すると、それに依存するすべてのテーブルにその変更が自動的に反映されます。DatabricksのデータプラットフォームチームのスタッフソフトウェアエンジニアであるAmit Pahwa氏は、属人的な知識への依存から脱却するために、データガバナンススコアの設計を支援しました。同氏は、構造化されたデータがなければ、「信頼とは、事実に基づいて進むか、直感に頼るかの違いである」と強調しています。
コアとなるガバナンス層に加えて、他のデータプラットフォームのワークストリームがプラットフォームの適用範囲を広げています。Lakeflow Connectは大規模で安全なSaaS取り込みを処理し、脆弱なコネクタを、メダリオンアーキテクチャにデータを直接取り込むガバナンスの効いたパイプラインに置き換えました。マルチクラウドプラットフォームにより、AWS、Azure、GCPにわたってワークロードのポータビリティとセキュリティが確保されます。フェデレーテッド分析層により、財務からマーケティング、営業部門に至るまで、各ビジネスドメインがAI/BI GenieやDatabricks Appsなどのツールを通じて、ガバナンスの効いたデータにセルフサービスでアクセスできるようになります。Unity Catalog Metric Views上に構築された専用のメトリクスストアにより、社内のチームがすべての主要メトリクスに対して単一の定義を共有できるようになります。Fortressの導入は、会社にとって文化的な転換でした。「Fortressの導入前は、ユーザーにとってデータアクセス申請はブラックボックスのように感 じられていました」とYang氏は言います。「現在では、ポリシーが自動的に適用されるセルフサービスで透明性の高いプロセスとなり、エンジニアは手動でチケットを承認するのではなく、イノベーションに集中できるようになりました。」
自律型AI（Agentic AI）が求めるのは、すでに構築されたガバナンス
データガバナンススコアにより、データプラットフォームチームはこれまでになかったもの、すなわち、どのドメインがコンプライアンスを遵守しており、どのドメインに注意が必要かをリアルタイムで可視化できるようになりました。10万以上のテーブルのすべてが継続的にスキャンされ、0から100の信頼性評価が割り当てられます。コンプライアンス監査のたびに大騒ぎになる代わりに、チームはリアルタイムで脆弱な領域を特定し、プロアクティブに対処しています。セキュリティチームや法務チームは、スプレッドシートを追いかけるのではなく、リスクの防止に時間を費やしています。
その広範な影響は、コンプライアンスにとどまりません。信頼できるデータは、下流のすべてのワークストリームを加速させます。チームがモデルをトレーニングしたい場合、ガバナンススコアを確認すれば、そのデータが基準を満たしているかどうかがすぐにわかります。手動でのレビューや承認待ちの必要はありません。メトリクスストアにより、経営陣がパイプライン、収益、または使用状況について質問した際、誰がクエリを実行しても、どのツールを使用しても、同じ回 答が得られるようになります。
しかし、最も重要な変革は、チームが予期していなかったものでした。Wong氏は率直にこう語ります。「データガバナンスは、自律型AI（Agentic AI）にとって最低条件です。」人間が10万ものテーブルを閲覧することは決してありません。AIエージェントは、人間なら決して遭遇しないような、古くなったデータ、過剰な権限が設定されたテーブル、あるいは分類されていないデータセットを見つけ出します。「現時点では、AIが実際にハルシネーションを起こすよりも、不適切なデータを見つけ出し、その不適切なデータに基づいて回答を出力する可能性の方が高いのです」とWong氏は警告します。チームが分類モデルからデータガバナンススコア、リネージを考慮した信頼性の伝播に至るまで、何年もかけて構築してきたガバナンスインフラストラクチャは、現在、全社的なエージェントのガードレール層として機能しています。
現在、Databricksのエンジニアリング、財務、マーケティング、営業、さらには総務に至るまで、すべての部門がこのガバナンスの効いた基盤の上に構築されたエージェントを使用しています。自律型AIによって生成されるデータ量は、人間が生成するデータ量を凌駕するペースで増加するとWong氏は予想しています。ガバナンス構造が大規模な人間向けに設計されていたため、大規模なエージェントにもそのまま適用できます。基本原則からガバナンスを再構築したチームは、現在、会社のAIの未来を支え るチームとなっています。
