ConstellationがDatabricks上でガバナンスの効いたデータ基盤を構築している方法

Constellationは、米国最大の原子力発電所群を運営しています。同社にとって、AIの準備における最も困難な課題の一つはモデルの選択ではなく、データの意味に関する合意形成でした。Constellationのチームは、ビジネス全体でデータを一貫して利用できるようにするため、Databricks上にガバナンスの効いたエンタープライズデータプラットフォーム（EDP）を構築しており、そのアプローチは他の企業にとっても実践的なロードマップとなります。

Constellationについて

Constellationは、2,700万世帯分の需要に匹敵する発電容量と約250万件の小売顧客アカウントを持つ、米国最大のクリーンで信頼性の高いエネルギー生産企業です。その広範な業務と顧客関係こそが、データ活用において共通の定義とガバナンスが重要である理由です。

Constellationは、資産管理、サプライチェーン、商取引・トレーディングシステム、そしてプラント全体の運用のデータを収集しています。これらは、リアルタイムに近い市場モデルから原子力のテレメトリーデータまで、あらゆるものに供給されています。安全性と信頼性が最優先されるビジネスにおいて、定義とガバナンスを正しく行うことは極めて重要です。そのリスクプロファイルが、以降のすべてのアーキテクチャの選択を左右します。

課題：高品質なデータと、共有されないセマンティクス

Constellation内の各チームは、それぞれの業務のために強力なデータ機能を構築しました。しかし、複数のチームにまたがる質問には、依然として情報を結び付け、定義の相違を調整するための追加の作業が必要でした。データは数十か所に点在し、ドメイン間でその意味を定義する共通のセマンティックレイヤーが存在しませんでした。

Constellationが直面した問題は、多くの組織が現在も苦労しているものです。それは、「顧客は何人いるか？」という、単一の答えのないシンプルな質問でした。小売部門は請求メーターを基準とし、卸売部門はカウンターパーティを基準とし、CRMはアカウントまたはユーザーを基準としています。それぞれ異なる意味を持つ3つの正しい答えが存在します。この問題は、2026年のCalpineの買収など、企業買収を通じてConstellationが成長するにつれてさらに複雑化しました。Calpineは22の州に79の発電所と27GWの容量を持って独自の定義、ウェアハウス、モデリング規則を持つ完全に独立したスタックを保有していました。EDPは突如として、Constellationと同等規模の組織を統合する必要に迫られたのです。データに意味をもたらしガバナンスを効かせることこそが、ConstellationがDatabricks上でEDPを開発する中で進めている変革です。

基盤：Databricks上のエンタープライズデータプラットフォーム

Constellationの答えは、Databricks上に構築されたガバナンスの効いたEDPです。EDPは、これまでサイロ化されていたシステムを接続し、データに対する単一の共通理解をビジネスに提供する共有基盤です。これは、分断された多くの優れたシステムから、エンタープライズ全体でデータが共通の意味を持つガバナンスの効いた基盤への意図的な移行です。

プラットフォームの選定自体は数週間で完了しました。ConstellationがDatabricksを選んだのは、進めながら実験、成長、成熟させるための余裕を与えてくれたこと、そして何よりも、既存のシステムをすべて破棄して置き換えることを強いるのではなく、既存のアーキテクチャと相互運用できたからです。3つのアーキテクチャの柱が際立っていました。

• 適合セマンティクスとしての共通の意味。ConstellationのEDPチームは、各ドメインに単一の定義を強制するのではなく、ビジネスリーダーと協力してガバナンスの効いた適合エンティティを定義し、「顧客」が小売、卸売、ガス、CRMの間で何を意味するかについて合意を形成し、それらの定義をエンタープライズ全体に複製します。その上で、Constellationは、顧客、契約、資産、およびそれらがドメイン間でどのように接続されているかというビジネス関係をマッピングするセマンティックナレッジレイヤーを構築しました。
  チームはモデリング手法としてData Vaultを使用しており、システムの変化に合わせて柔軟に対応する必要がある重要な再利用可能なエンティティに対して選択的に使用しています。すべてのデータセットがVault化されているわけではありません。モデリングの選択は意図的なものであり、エンティティが再利用されるか、監査されるか、あるいは時間の経過とともに進化するかどうかによって決まります。
• ガバナンスとは、アクセス制御だけでなく所有権モデルのことです。Constellationにとって重要な決定要因となったのは、従来のアクセス制御を超えてステークホルダーにセマンティックな意味を伝えるサービスを選択することでした。その基準を満たすものとして、Unity Catalogが明白な選択肢となりました。Unity Catalogは、リネージ、きめ細やかなアクセス、および単一の権限モデルを提供します。Constellationはテクニカルレイヤーを超えて、他のプラットフォームが苦戦している疑問、つまり「誰がその意味を所有しているのか？」という問いに答えました。Unity Catalogのメトリックビューを使用すると、それはさらに容易になります。データドメインごとに、異なるアクセスおよびガバナンス制御が求められます。Constellationのチームは、新しいユースケースを基盤に組み込む際に、そうした要件をサポートできるようにプラットフォームを設計しました。内部承認とガバナンスの確立が、信頼のアンカーとなりました。
• 1つのガバナンス基盤上のマルチワークスペース。同じガバナンスの効いたデータセットが、個別のワークスペースやビジネスセマンティクス全体で公開され、定義は1回行われ、何度も消費されます。

Constellationにとって、Databricksはデータエンジニアリングとガバナンスの両方をサポートし、チームがAIを構築するための管理された環境を提供します。

同じ基盤上に構築された3つのユースケース例：

同じガバナンス基盤上で、ビジネスのまったく異なる領域において何が可能かを示す3つの初期ユースケースが展開されています。

1. 原子力エンジニアリングアシスタント

Constellationは、Databricks Genieで構築されUnity Catalogでガバナンスが効かされたアシスタントを開発しており、エンジニアリングチームが承認された技術情報をより簡単に見つけて使用できるようにし、複雑な質問への回答にかかる工数を削減しています。

2. 停止計画：計画的な原子力保守管理

計画停止は、Constellationが実行する中で最も複雑な運用の1つです。これらは、燃料交換、大規模な保守、規制検査、および設備の作業のために行われます。それぞれにおいて、大規模な作業員と多数の作業指示書が厳しいスケジュールのもとで1つのサイトに集まります。それらを調整するには、異なるシステムからのスケジュール、作業実行、資産の健康状態のデータを活用する必要があります。チームは、このデータをDatabricksに統合することで、計画担当者がスケジュールを分析し作業を調整できるように支援しており、意思決定は停止チームが行います。

3. セールスインテリジェンス：商談の優先順位付けと次に取るべき最適なアクション

営業においては、関連する顧客および商談情報を統合することで、チームが商談の準備をし、成長の機会を特定するのに役立ちます。チームは、この情報をより一貫性があり、アクセスしやすく、実用的なものにするためのAI機能をDatabricks上で開発しており、価値の高い商談の優先順位付けや次に取るべき最適なアクションの推奨などの成果をサポートしています。これらすべてが、適切なデータのガードレールを備えたDatabricks内の同じガバナンスデータ基盤上に構築されています。

主なポイント

Constellationの経験は、エンタープライズデータプラットフォームがテクノロジーと同様に「意味」と「ガバナンス」に関するものであることを強調しています。同社のチームは、ビジネスのさまざまな領域で有用なアナリティクスとAIをサポートするために必要な定義、制御、および再利用可能なデータ基盤を構築しています。Unity Catalogを備えたDatabricksにより、ビジネスユーザーにとって信頼性が高く発見しやすいデータが実現します。

このガバナンス基盤はまた、データサイエンティストがGenie OneやGenie AgentsをはじめとするDatabricksを活用した機械学習やエージェント型AIソリューションを構築することを可能にします。チームは、営業、保守計画、およびエンジニアリングサポートのユースケースを開発する中で、これらの機能を活用しています。

今後の展望

Constellationは、ビジネスコンテキストを追加する自己学習型ナレッジグラフであるGenie Ontologyや、Unity Catalogでビジネス定義を中央集権的に管理するUnity CatalogのPagesを探索しています。これらの機能を組み合わせることで、データをより有意義で一貫性があり、使いやすいものにし、セマンティックレイヤーを拡張します。

ConstellationのリーダーであるJay Cavalcanto（SVP 兼 CIO）とVineeth Vijaykumar（VP - ITビジネス管理オフィス）によるこのブログ投稿で、彼らのストーリーの詳細をご覧ください。

ConstellationのDatabricks Data + AI Summitでのプレゼンテーション（動画の56:23付近）をご覧ください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事