IndraがDatabricksでEV充電データを統合した方法

データの成長が周囲のシステムの成長を上回ると、複雑化が常態化します。商業施設や家庭向けのスマート充電器の設計、エンジニアリング、製造を手がける、英国で最も急成長している電気自動車（EV）充電企業の1つであるIndra Renewable Technologiesが直面していたのも、まさにこの課題でした。同社のデータ資産が拡大するにつれて、それに伴うツールやパイプラインの数、そしてコストも増加していきました。

その結果、システムは断片化し、ロジックは重複し、データを活用してビジネスを前進させる代わりに、インフラの維持管理に多くの時間が費やされるという、よくある状況に陥りました。

Indraの対応は、別のポイントソリューションを追加することではありませんでした。Databricksに統合し、全社的な分析、レポート作成、セルフサービスアクセスを実現する、ガバナンスの効いた単一のプラットフォームを構築することでした。

IndraのCTOであるMatthew Noonan氏とデータエンジニアのMeghana Ganatra氏が、Databricksを活用したこれまでの歩みについて語る様子をご覧ください。

IndraのDatabricks導入は、Synapseからの並行プロトタイプ移行から始まりました。期待通りの結果が得られると、チームは月次のDeltaテーブルへと拡張し、フリートパイプラインを統合し、Cosmos DBからDatabricksへとより多くの運用負荷を移行しました。次のフェーズでは、ガバナンスの効いたデータをエンジニアリング部門以外でも活用できるようにすることに焦点を当て、自動化されたAI/BIダッシュボードとGenie Agentsにより、ビジネスチームが回答に直接アクセスできるようにしました。

出発点：多すぎるツールと過剰なオーバーヘッド

Indraのデータは、Cosmos DB、Synapse、Azure Data Lake Storage、Azure Functions、Power BI、その他のAzureサービスに分散していました。ユースケースごとに独自の経路が構築されていました。

これにより、いくつかの問題が生じていました。

• 複数のツールにわたってコストが自然増大した
• パイプラインが個別に構築され、標準化がほとんど進んでいなかった
• データが断片化していた
• ガバナンスが制限され、単一のカタログやリネージビューが存在しなかった
• ビジネスチームが日常的な数値の取得を依然としてデータチームに依存していた

アーキテクチャは機能していましたが、コストがかかり、クリーンにスケールさせることが困難でした。

なぜ単一のプラットフォームが重要だったのか

Databricksは、Indraにこれらの要素を統合する手段を提供しました。

複数の独立したサービスを維持管理する代わりに、チームは、ガバナンスの効いたデータセット、標準化されたワークフロー、そしてUnity Catalogによる一元的な可視性を備えた単一のプラットフォームへと移行しました。この移行は、テクノロジースタックだけでなく、オペレーティングモデルをも変革しました。

チームは、すべてのユースケースを個別の構築プロセスとして扱う必要がなくなりました。ガバナンスの効いたデータの上で一度構築すれば、チームやワークロード間でプラットフォームを再利用できるようになりました。

実際には、これは互いに孤立したツール群を並べるのではなく、複数のユースケースに対応する1つの集中型データプラットフォームを構築することを意味していました。

エンジニアリング、ビジネスユーザー、およびクライアントにとって何が変わったのか

メリットはデータチームだけに留まりませんでした。

• エンジニアリング部門にとって、Databricksは分散したソースではなく、ガバナンスの効いたデータセット上で構築を行うための基盤となりました
• ビジネスユーザーにとって、データチームに数値を依頼する必要性が減少しました
• 外部クライアントにとって、単一のプラットフォームから提供される「信頼できる唯一の情報源（Single Source of Truth）」が構築されました
• そしてデータチームにとって、システムはサポートしやすく、拡張性が高く、よりシンプルに拡張できるようになりました

断片化から標準化への移行は、プラットフォーム統合における最大のメリットの1つです。その価値はコスト削減だけでなく、引き継ぎの減少や運用上の摩擦の軽減にもあります。

脆弱なパイプラインをメダリオンアーキテクチャに置き換える

Indraの最も分かりやすい例の1つが、フリートデータパイプラインです。

以前のシステムは、スタック全体でデータを移動させるために、複数のAzure Functionsと個別のステージに依存していました。パイプラインはテレメトリとトランザクションを取り込み、一連のサービスを介して処理し、出力をレポート作成ツールやクライアント配信レイヤーにプッシュしていました。

新しいアーキテクチャはこの経路を簡素化しました。メダリオンデザインを採用することで、Indraはフリートデータを生の「信頼できる唯一の情報源」としてブロンズレイヤーに取り込み、PySparkを使用してシルバーレイヤーで変換し、レポート作成やクライアント配信向けにビジネス対応のゴールドテーブルを公開しました。

この統合により、3つのレガシーなAzure Functionsが不要になり、1つのパイプラインで日次スケジュールに基づいて3つのクライアントに対応できるようになりました。

その効果は一目瞭然でした。

• 重複したロジックに代わる単一のコードベース
• 維持管理が必要な可動部品の削減
• レガシーなFunctionsと比較して60%〜70%のパフォーマンス向上

レポート作成のセルフサービス化

Indraはまた、一般的な課題である手動でのレポート作成にも取り組みました。月次のKPIはExcelで追跡されており、一部のレポート作成はライセンスの制約があるPower BIで行われていました。これにより意思決定が遅れ、ビジネスユーザーはデータチームに依存し続けることになっていました。

新しい本番パターンは、メダリオンアーキテクチャにおけるガバナンスの効いたゴールドテーブルから実行され、Unity Catalogを通じてカタログ化され、サーバーレスのSQLウェアハウスを介して提供されます。AI/BIダッシュボードはスケジュールに従って自動的に更新され、これまでマーケティング、運用、その他のチームが維持管理していた手動のExcelトラッカーに取って代わりました。ダッシュボードのキャンバスに直接埋め込まれたGenie Oneを使用することで、ユーザーはページを離れることなく、固定されたビジュアルから、基盤となるデータとの自然言語による対話へと移行できます。

ダッシュボードは、実用的な運用上の意思決定をサポートします。「デバイス電圧レポート」は現場に設置された充電器全体のコンプライアンスを監視し、「充電器稼働時間分析」ダッシュボードは、選択した期間において14,975台のデバイスの平均稼働時間が90.25%であることを示すなど、チームがフリートの健全性を把握するのに役立ちます。ウスターの「グリッド電圧」ダッシュボードは地理的なコンテキストを追加し、チームが過電圧および不足電圧のホットスポットを特定し、地域の状況が充電器の設計にどのように影響するかを理解するのに役立ちます。

Genie Agentsは、同じガバナンスの効いたデータを対話型分析へと拡張します。Indraは、テレメトリ、デバイスのファームウェア、そしてユーザー、デバイス、車両向けのAgentを導入しています。マーケティングや運用のユーザーは、特定の月に何台のデバイスがEVに電力を供給したかを質問でき、エンジニアリングはモデルやファームウェアのバージョンごとのデバイス数を確認でき、プロダクトチームはプラットフォームに登録されている車両メーカーを調査できます。GenieがSQLを生成して結果を返し、データチームに新たに依頼することなく、追加の質問にも対応します。

これらの機能が連携することで、レポート作成が自動化され、手動で更新することなくダッシュボードが最新の状態に保たれ、ユーザーは自然言語で質問できるようになり、アドホックなサポートを待つことなく回答を得ることができます。これにより、日常的な質問への回答にかかる時間が数日から数分に短縮されると同時に、共有されたガバナンスの効いたデータのビューが作成されます。

移行の背景にある数値とその効果

Indraのアーキテクチャの簡素化は、測定可能な成果をもたらしました。

• SynapseからDatabricksへの移行により、ビジネスコストを80〜90%削減、さらにストレージコストを90%削減
• アクティブユーザーあたりのコストが、1月の1.30ポンドから5月の45ペンスに減少
• クエリのレイテンシが24.4秒から3.5秒に向上

これらの成果は、Indraのデータ処理方法におけるより広範な変化（システムの削減、再利用の促進、現在のレポート作成、運用監視、将来のAI活用をサポートするガバナンスの効いたデータプラットフォーム）からもたらされました。データの価値は、より多くの人が利用できるようになることで高まります。ガバナンスの効いたプラットフォームは単なる制御レイヤーではなく、セルフサービスを実用的なものにするための基盤です。

プラットフォームの統合からデータ駆動型の運用へ

EV充電はデータ集約型の環境です。充電器は継続的にテレメトリを生成し、地域のグリッド状況は変化し、運用パフォーマンスは急速に変化する可能性があります。そのため、信頼性と柔軟性の両方を備えたシステムを持つことが重要になります。

IndraのダッシュボードとGenieスペースは、すべての質問をデータチームに強制することなく、チームがその環境を監視するのに役立ちます。そのアーキテクチャは、ストリーミング、Deltaテーブル、Lakeflowパイプライン、および将来のAI駆動のユースケースといった次のステップへの余地も残しています。

チームのアドバイスは実践的です。好奇心を持ち続け、ドキュメントを読み、早い段階で質問し、Databricksの専門家と協力し、新しい機能を探索し続けることです。プラットフォームの価値は時間の経過とともに複利的に高まるため、このマインドセットが重要になります。最初の成果はコスト削減かもしれませんが、より大きな成果は、同じプラットフォームがビジネス全体で新しい働き方を切り拓き始めることです。

Indraの取り組みは、断片化されたデータ資産が、再利用を前提に構築されたガバナンスの効いたプラットフォームに置き換えられたときに何が起こるかを示しています。同社はコストを削減し、運用を簡素化し、パフォーマンスを向上させ、ビジネスユーザーが必要な数値に迅速にアクセスできるようにしました。同様に重要なのは、プラットフォームの無秩序な拡大を招くことなく、ストリーミングとAIの基盤を築いたことです。

ツールの断片化、コストの上昇、手作業によるレポート作成という同様の課題に直面しているチームにとって、教訓はシンプルです。まずプラットフォームを標準化し、そこからユースケースをスケールさせることです。

詳細をご希望ですか？こちらのイベントのデモと専門家によるディープダイブの全編をご覧ください：Energy Virtual Industry Forum：統合データ、リアルタイムのインサイト、大規模なAIでエネルギー移行を推進。

FAQ

EV充電企業はどのようなデータ課題に直面していますか？

データはデータベース、クラウドストレージ、BIツール、個別のパイプラインに分散していることが多く、ロジックの重複、テレメトリの断片化、限定的なガバナンス、コストの上昇を招きます。統合プラットフォームは、一貫性があり、ガバナンスの効いたメトリクスを提供します。

DatabricksはどのようにしてセルフサービスのEV分析を実現しますか？

Genie Oneを使用すると、ユーザーはガバナンスの効いたテレメトリ、デバイス、ファームウェア、車両データを自然言語でクエリでき、ダッシュボードは一貫したメトリクスと運用のコンテキストを提供します。

EV充電企業はどのようにしてストリーミングとAIに備えることができますか？

ガバナンスの効いたDatabricksの基盤は、現在のレポート作成をサポートすると同時に、プラットフォームの無秩序な拡大を招くことなく、ストリーミング、Deltaテーブル、Lakeflowパイプライン、AIへの道筋を提供します。

Databricksはエネルギー企業に何を提供しますか？

Databricksは、データエンジニアリング、SQLアナリティクス、機械学習、AIを組み合わせて、スマートメーター分析、グリッド監視、EV充電、需要予測、不正検知、規制報告に対応します。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事