スコティッシュ・ウォーターがDatabricks Genieを活用して設備投資データを対話型に変えた方法

Scottish WaterのCapital Investment（CI）プログラム全体において、チームはプロジェクトのステータス、財務パフォーマンス、デリバリーのマイルストーン、およびリスクに関する迅速な回答を必要としています。こうした情報はすでに存在していましたが、それを見つけるには、大量のレポート内を探し回るか、データスペシャリストに依頼して基盤となるテーブルから適切な情報を抽出してもらう必要がありました。Databricks Genieがそれを変えました。現在、プロジェクトチームはMicrosoft Teamsで直接、自然な英語で質問を投げかけるだけで、信頼できる回答を数秒で受け取ることができます。

課題：データは存在していたが、アクセスできなかった

Scottish WaterのCI部門には、データが不足していたわけではありません。アクセスに問題があったのです。

具体的には、以下のような形で問題が顕在化していました。

• 大量のレポートがすでに存在していたものの、認知度や可視性が低かったため、既存のレポートで回答済みの質問に対して新しいレポートが作成されるなど、作業の重複が頻繁に発生していました。
• 技術的な知識を持たないユーザーにとって、価値あるデータへのアクセスが依然として困難であり、部門全体の意思決定が遅れていました。

その結果は予測通りでした。アナリストはすでに存在する成果物を再作成することに時間を費やし、デリバリーチームは数値が抽出されるのを待ち、重要なプロジェクトデータが日々の意思決定を行う責任者に必ずしも届かないという状況が生じていました。

解決策：ガバナンスが効いたプロジェクトデータのための対話型インターフェース

SPARKは、Genieをベースに構築された、プロジェクトポートフォリオデータへの自然言語インターフェースを指すScottish Waterの社内ブランドです。

ユーザーは適切なレポートを探し回る代わりに、質問を投げかけるだけで、ガバナンスの効いたデータに基づいた回答を受け取ることができます。SPARKはこの体験を、チームが普段業務を行っているMicrosoft Teamsに直接もたらすため、新しいインターフェースに切り替える必要がありません。

ユーザーがCopilotを介してTeamsで質問を送信すると、Copilotスーパーバイザーエージェントがそれをオーケストレーションし、Model Context Protocol（MCP）経由でDatabricks Genieスペースに接続します。Genieは質問をクエリに変換し、Unity Catalog内のガバナンスが効いたデータに対して実行して、結果をユーザーに返します。

レポート探しから直接的な質問へ

SPARKを使用すると、チームは以下のような実用的なビジネス上の質問を行うことができます。

• 8月に期限が切れるすべての未解決のプロジェクトリスクを、プロジェクト名、リスクの説明、リスクの所有者、リスクの期限日を含めてリストアップしてください。
• プロジェクトXの現在のライブリスクスコアはいくつですか？
• プロジェクトXにおいて、現在最もリスクエクスポージャーが高いリスクは何ですか？リスク名、説明、および現在のエクスポージャーの値を教えてください。
• プロジェクトXの将来の請負業者は誰ですか？

それぞれの質問に対して、ガバナンスの効いたメトリックビューから導き出された回答が即座に返されます。これにより、レポートを探す時間が減り、インサイトに基づいて行動を起こすためにより多くの時間を割くことができます。

効果：アクセスの高速化、摩擦の軽減、データのより幅広い活用

データアクセスを対話型にすることで、Scottish Waterはプロジェクトチームがより迅速かつはるかに少ない労力で回答にたどり着けるよう支援しています。

• プロジェクトデータの場合、以前は約8回のクリックとダッシュボードの読み込み時間を要していた一般的な検索が、今ではTeamsでの1つの質問から開始できるようになりました。
• レポートベースの質問の場合、ユーザーは適切なアセットを見つけるためだけに、SharePoint、Reporting Hub、レポートカテゴリ、および個々のレポートリンクをたどる必要がなくなりました。多くの場合、これにより4〜5ステップの検索プロセスが、直接的な一問一答の体験へと変わります。
• 100人のユーザーが週にわずか3回質問するだけで、毎週約300件の情報リクエストが発生することになります。1回のリクエストにつき控えめに見積もって2〜5分短縮できるとすると、週に約10〜25時間、年間で約520〜1,300時間の削減に相当します。
• メリットはスピードだけではありません。チームは、幅広い読者向けに設計された静的なレポートを解釈するのではなく、自分たちの質問に合わせた回答を得ることができます。
• また、専門家によるサポートへの依存を減らし、技術的な知識を持たないユーザーでもガバナンスの効いたインサイトにアクセスしやすくなります。

具体的には、ツールを探し回る時間が減り、誰かがデータを抽出するのを待つ時間が減り、業務の流れの中で信頼できる回答に基づいて行動する時間が増えることを意味します。

SPARKは、ポートフォリオチームやプロジェクトチームがデータと関わる方法を完全に変えようとしています。静的なレポートから、情報とのリアルタイムでインテリジェントな対話へと移行することで、スタッフがより迅速で的確な意思決定を行えるようになり、これまで決して到達できなかった価値を引き出すことができます。本当にワクワクしています！—Allan Mason氏（ビジネスアナリティクス、プログラム＆プロジェクトデリバリーマネージャー）

信頼性と拡張性を考慮した設計

対話型アナリティクスは、ユーザーが回答を信頼して初めて機能します。Scottish Waterの導入は、当初からその点を考慮して設計されました。

デフォルトでのガバナンス

ガバナンスは最初から組み込まれており、Genieの体験はガバナンスの効いたUnity Catalogデータと共有セマンティック定義に基づいているため、回答の一貫性と説明可能性が確保され、既存のビジネスロジックと整合しています。

• このソリューションは、ガバナンスの効いたUnity Catalogデータに基づいて構築されており、アクセス制御、リネージ、および「信頼できる唯一の情報源（Single Source of Truth）」が基盤の一部となっています。
• Genieを大量の生テーブルに直接公開するのではなく、Scottish Waterはまず、このユースケースに必要なデータをゴールドレイヤーにキュレートしました。
• その上で、メジャー、ディメンション、およびビジネス用語を標準化するメトリックビューを使用してセマンティックレイヤーを構築し、同じ定義が一貫して再利用されるようにしました。これにより、曖昧さが排除され、回答の一貫性が向上しました。

精度向上のためのチューニング

Genieスペースの実用的な信頼性を高めるため、Scottish Waterは一般的な設定に依存するのではなく、独自のビジネスルール、用語、および実際のユーザーの質問に基づいて設定を行いました。

• 会計年度の定義方法、マイルストーンゲートの順序、プロジェクトIDや日付の処理方法など、Scottish Waterの慣例をGenieが正しく解釈できるように、キュレートされたビジネスルール指示を追加しました。
• Scottish Waterのユーザーがどのように質問を表現し、それらをどのように適切なクエリパターンにマッピングすべきかをアシスタントに学習させるため、具体的な質問例と対応するSQLを使用しました。
• スペースの定義や基盤となるデータが変更されるたびに、精度を繰り返しテストできるように、ベンチマークスイートを使用しました。
• Scottish Waterのチームによるユーザーテストを通じて、実際の表現を検証し、時間の経過とともにさらなる改善をスペースに反映させました。

継続的なモニタリング

本番環境でのソリューションをサポートするため、Scottish Waterはその周囲にモニタリング機能を構築し、チームが導入状況、回答の品質、およびパフォーマンスの推移を追跡できるようにしました。

• 開発フェーズでは、ユーザーフィードバックを通じて回答の品質をモニタリングし、さらなる改善が必要な回答を特定するのに役立てました。
• 本番環境では、会話の継続時間やユーザーあたりの会話数などの指標を通じて、導入状況をモニタリングしています。
• チームは、頻出する質問を確認してユーザーが最も頻繁に尋ねている内容を把握し、繰り返し尋ねられる質問を中心とした可視化を構築できるかどうかを検討しています。
• クエリのパフォーマンスは、実行時間、総クエリ量、および最も実行速度の遅いクエリを通じて追跡されます。
• チームはまた、ユーザーあたりのGenieコストを追跡するための可視化も構築しました。

反復可能で信頼性の高いデリバリー

Scottish Waterはまた、このソリューションを一回限りの構築として扱うのではなく、環境間で安全かつ一貫してプロモート（移行）できるように設計しました。

• このソリューションは、Databricks Asset Bundlesを使用して環境パラメータ化された構成としてパッケージ化されているため、同じ定義を複数の環境にデプロイできます。
• 開発、テスト、本番の各環境が個別に用意されており、それぞれに独自のワークスペースとSQLウェアハウスが割り当てられています。
• デプロイはAzure DevOpsを通じて実行され、変更時の自動デプロイと、本番環境前の手動承認ゲートが設けられています。
• 認証はMicrosoft Entra IDのサービスプリンシパルを介して処理され、資格情報はコード内に保存されるのではなく、デプロイ時にAzure Key Vaultから取得されます。
• デプロイはべき等であるため、Genieスペースをその場で作成または更新でき、適切なグループにアクセス権が自動的に付与されます。

結論：チームがデータを利用するための、よりシンプルで効率的な方法

その結果はシンプルでありながら強力です。Scottish Waterのチームは自然言語を通じてプロジェクトデータにアクセスし、得られた回答を信頼することができます。リーダーにとっては、可視化の迅速化とレポート作成の手間の削減を意味します。デリバリーチームやデータユーザーにとっては、業務の流れの中でガバナンスの効いたインサイトに直接アクセスできることを意味します。

SPARKは、適切に設計され、十分にガバナンスが効いたデータがGenieと組み合わされることで、組織がユーザーのために信頼できるビジネスデータを真に民主化する、革新的なツールを構築できることを示しています。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事