アラバマ電力はDatabricksを活用して停電と嵐をモデリングしています！
現代の複雑さを乗りこなし続ける中で、データ駆動型の意思決定が成功を解き放つ鍵であることはますます明らかになってきました。アラバマ電力（APC、Southern Companyの運営会社）は、データの力を活用してより情報に基づいた意思決定を促進する先進的な嵐管理システムと停電モデリングシステムの開発に努めてきました。
このブログでは、APCが嵐の管理と信頼性分析を改善するために設計した2つの最先端アプリケーション、SPEARとRAMPについて深く掘り下げます。開発、アーキテクチャ、そして利点について探求します！
「Databricksは、クラウド上で大量のデータセットを扱うAPCのデータ分析チームにとって非常に有益です。なぜなら、シームレスなコラボレーション、スケーラブルなデータ処理、リアルタイムの分析を可能にする統一プラットフォームを提供しているからです。これにより、大規模なデータワークフローを効率的に処理しながら、パフォーマンスと柔軟性を向上させるためにクラウドサービスと統合します。これにより、グリッドの信頼性に関する最先端の技術を作成するだけでなく、フランシンハリケーンやヘレンハリケーンのような大規模なイベントに対応 するための理解と準備を助けてくれました。”— Shane Powell、データ分析とイノベーションマネージャー、APC
現代化する前、嵐の管理プロセスは主に手動で行われていました。そのためそこからの効率と精度の向上は十分可能でした。予測のために、APCはスプレッドシートやさまざまなデータソースに依存していましたが、現場での明確さと状況認識を強化する可能性がありました。SPEARとRAMPの開発は、革新と協力の力を証明し、問題のあるケースに迅速かつ効果的に対応する能力を強化しました。
APCは、クラウドコンピューティング、データレイク、高度な分析などの新興技術を採用しています。RAMPとSPEARをDatabricks上で構築することで、嵐の管理プロセスを自動化し、ほぼリアルタイムで洞察を提供し、正確かつ安全な方法で行うことができるエンドツーエンドのソリューションを提供できる信頼できるパートナーがいることを確認しました。
これら2つのアプリケーションを見てみましょう：
- RAMPは、信頼性分析指標とパフォーマンスの略で、報告値、顧客体験値、デバイスの故障を含む電力グリッドのパフォーマンスの包括的なビューを提供するクラウドベースの信頼性アプリケーションです。このアプリケーションは、改善部分を特定し、信頼性の問題の根本原因についての洞察を提供します。
- SPEARは、Storm Planning、ETR、Reportingを意味し、天候ベンダーと内部システムからのデータを使用して、厳しい天候の影響を電力網に予測するクラウド上の予測アプリケーションです。このアプリケーションは、発生するインシデントの数、必要なリソース、復旧の見積もり時間の詳細な予測を提供し、企業のストームセンターがより情報に基づいた決定を行い、リソースをより効果的に割り当てることができます。
APCのデータチームは、ユーティリティに特化したコンサルティング、リサーチ、データサイエンス会社であるE Sourceと密接に協力して、RAMPとSPEARをDatabricks上に設計、開発、デプロイしました。Databricksは、APCがAMIデータと他のデータソースの持つ全ての潜在能力を引き出し、グリッドの改善と運用効率の向上を推進する上で重要な役割を果たしてきました。
Databricks Data Intelligence Platformは、APCがGIS、停電管理、天候情報などの重要なデータセットとともに大量のAMIデータを統合、処理、分析できる統一環境を提供します。この統合により、より包括的な洞察と予測分析が可能になります。Databricksのスケーラブルなアーキテクチャは、APCが数百万のスマートメーターからの高ボリューム、高速度のデータストリームを効率的に処理することを可能にし、その先進的な分析と機械学習の能力は、負荷予測、停電予測、グリッド最適化のための洗練されたモデルの開発を促進します。また、プラットフォームのコラボレーションワークスペースと複数のプログラミング言語へのサポートは、データサイエンティストとエンジニアが複雑なデータプロジェクトにシームレスに取り組むことを可能にします。
さらに、Databricksのデータガバナンス機能は、機密性の高い顧客データが安全に、そして規制に準拠して取り扱われることを保証します。Databricksを活用することで、APCはAMIデータのクリーニング、キュレーション、集約をより効果的に行い、データ探索のためのユーザーフレンドリーなインターフェースを構築し、大規模な言語モデルのような最先端の技術を取り入れてデータの解釈とアクセシビリティを向上させることができます。この包括的なアプローチにより、APCは生のAMIデータグリッドの近代化、信頼性の向上、顧客サービスの強化を推進する行動可能な洞察に変換するのに役立っています。
APCは3つのハイパースケーラーのネイティブサービスと独自のAIプラットフォームを探索しましたが、大量のデータを処理し、データエンジニアリング、データサイエンス、データ分析、AIのための統一プラットフォームを提供するDatabricksの能力のためにAzure Databricksを選びました。
「Databricks Genieは、自然言語クエリを通じて大規模なデータセットに素早くアクセスできるようにすることで、APCでのAI開発を加速しています。これにより、私たちのチームはAIアルゴリズムの訓練、テスト、微調整に必要なデータを素早く収集することができます。さらに、Genieが私たちのインタラクションから学習し、クエリの精度を継続的に向上させる能力は、AI開発プロセスに高品質なデータを供給する効率的なツールとなっています。既存のツールにそれを統合して、私たちの会社のためのさらに高度なデータ技術を作り出すことに興奮しています。」— Shane Powell、APCのデータ分析とイ ノベーションマネージャー
ビジネスへの影響：
APCは、Databricks上で構築された2つの革新的なアプリケーション、RAMPとSPEARを用いて、グリッド管理と嵐対応を改善しました。これらのソリューションは、会社のデータ駆動型の意思決定と運用効率のアプローチを変革し、150万の顧客、2400の変電所、25万のデバイスの監視を可能にしました。
RAMP（信頼性分析指標とパフォーマンス）
RAMPは、資産のリアルタイム監視を可能にし、パフォーマンスが低下した設備の予防的なメンテナンスと交換を可能にします。この月次からほぼリアルタイムの報告へのシフトは、大幅な改善をもたらしました：
- 年間70,000回の停電が発生していますが、目標とする5％の削減（3,500回の停電）は、クルーのコストだけで1750万ドルの節約につながる可能性があります。
- 顧客の停電履歴の取得が4時間からわずか4秒に改善し、99.97%（3600倍）の効率向上を達成しました。
SPEAR（ストームプランニング、ETRおよびレポーティング）
SPEARは、グリッドへの嵐の影響、停電、復旧予定時間（ETR）を予測的に予測します。リソースの割り当てを最適化して過剰または不足の供給を避け、大幅な利益を生み出します：
- このシステムは、誤差率10%以内で嵐の影響を予測することができます。
- 10日間の嵐で500の顧客が停電した場合、20％の誤差範囲でのコストは3420万ドルになります。Databricksが10％の誤差範囲を可能にすることで、コストは31.3Mドルに減少し、嵐イベントごとに最大2.8Mドル（8％の削減）を節約する可能性があります。
これらのDatabricksを活用したソリューションは、APCの運用効率と嵐への対応力を大幅に向上させ、大幅なコスト削減と顧客サービスの改善を実現しています。Databricksを活用することで、APCは、公益事業会社が直面する最も予測不可能な課題の一つである激しい天候の影響に対応し、その影響を軽減する能力を強化しています。
このデータ駆動型のアプローチにより、公益事業はより情報に基づいた決定を下し、リソースの割り当てを最適化し、最終的にはますます頻繁で厳しい天候イベントに直面しても顧客のサービス信頼性を向上させることができます。これらのソリューションの実装は、APCが最先端の技術を活用してサービスと運用能力を強化するというコミットメントを示しています。
アーキテクチャ
APCのアーキテクチャの基盤には、堅牢なデータ取り込み層があります。それは多様なデータソースを扱うように設計されています：
- 障害管理システム（ADMS）：リアルタイムのグリッド状況と停電情報
- 天候データベンダー：より正確な天候予測のための複数のソース
- Advanced Metering Infrastructure（AMI）：顧客の施設からのスマートメーターデータ
- グリッドテレメトリー：配電ネットワーク全体のさまざまなデバイスからのセンサーデータ
これらのデータストリームは継続的に取り込まれ、最初はクラウドストレージソリューションのAzure Blob Storageに格納されます。
Databricks：中枢神経系
Databricksは、上記のアーキテクチャで中心的な処理と分析エンジンとして機能します。以下のように構成されています：
- データ処理と変換
APCは、データレイクハウスのストレージ層としてDelta Lakeを使用しています。これにより彼らに提供されます：- データ信頼性のためのACIDトランザクション
- 変化するデータ構造に適応するためのスキーマ進化
- 監査とロールバックのためのタイムトラベル機能
- データサイエンスと機械学習
APCは、Databricksを使用して包括的なデータサイエンスと機械学習環境を実 装し、主要なコンポーネントを統合してグリッド最適化、顧客分析、エネルギー予測のワークフローを効率化しました。APCは、データ分析とモデル開発の主要なインターフェースとしてDatabricksノートブックを使用し、MLflowを使用して機械学習のライフサイクルを管理し、AutoMLを使用して基準モデルを迅速に生成し、機械学習プロジェクトを加速します。
このアプローチにより、チームはより効果的に協力し、MLライフサイクル全体を管理し、グリッド管理から顧客サービス最適化まで、さまざまな運用面でモデルを迅速にプロトタイプ化し、デプロイすることができます。さらに、DatabricksのLakehouse Monitoringは、データ品質とモデルパフォーマンスの継続的な追跡を通じて、データ駆動型の意思決定を可能にし、このプロセスを強化します。監視システムは、入力特徴とモデル出力の統計的な変化を自動的に検出し、データのドリフトやパフォーマンスの劣化の可能性をチームに警告します。この先見的なアプローチは、組織がモデルを再訓練するタイミングについて情報に基づいた決定を下すことを可能にし、それらが動的な環境で正確で関連性のあるものであることを確保します。 - データガバナンスとセキュリティ
APCは、Databricks Unity Catalogを実装して、複数のワークスペース間でメタデータ管理を一元化し、データガバナンスとコラボレーションを強化しています。この統一されたアプローチにより、すべてのデータ資産に対して一貫したアクセス制御とセキュリティポリシーが可能となり、機密情報が保護されつつ、データサイエンティスト、アナリスト、エンジニア間で効率的なデータ発見とコラボレーションが可能となります。また、実装は包括的なデータ系譜追跡を容易にし、詳細な監査ログを維持し、規制遵守の努力を支援します。Unity Catalogを活用することで、APCはデータ資産の管理、セキュリティ、利用能力を大幅に向上させ、組織全体でより協力的で遵守されたデータエコシステムを育てることができました。 - Advanced Analytics
APCは、グリッドの運用と計画を最適化するための洗練されたデータ分析インフラを実装しています。また、グリッドトポロジーの分析にはGraphFramesを、資産の地理空間処理にはGeoSparkを、需要と停電予測のためのカスタム時系列モデルを使用しています。Databricksがコアのデータ処理を担当する一方で、NetworkXやMapboxのような特定の機能に特化したツールが統合されています。出力は、E Sourceが構築したコンテナ化されたアプリケーションであるRAMPとSPEARで可視化され、高可用性とスケーラビリティが確保されています。
このアーキテクチャにより、APCは大量のデータを迅速かつ効率的に、そして安全に処理することができるようになり、また組織全体でアプリケーションを共有することができます。
まとめると、APCはDatabricksとE Sourceと提携して、嵐管理のための革新的なデータ分析ソリューションを開発しました。この協力により、APCは次のことが可能になりました：
- SPEARアプリケーションを使用して嵐のデータに対する洞察を深める
- Databricksで作成された予測モデルを使用して、歴史的なデータを現在の天候パターンに適用し、AL Powerの顧客がどのように、そしていつ影響を受けるかをより正確に予測します。
- 150 万人の顧客のための準備戦略を改善し、現場のリソースを事前に配置し、通知を通じて顧客に事前に通知する。
先進的なデータサイエンス技術を活用することで、APCは、公益事業会社が直面する最も予測不可能な課題の一つである激しい天候の影響に対応し、その影響を軽減する能力を強化しています。このデータ駆動型のアプローチにより、ユーティリティはより情報に基づいた決定を下すことができ、リソースの割り当てを最適化し、最終的にはますます頻繁で厳しい天候イベントに直面しても顧客へのサービスの信頼性を向上させることができます。
