3 人のエンジニアチームが Octopus Energy のデータパイプラインを再構築し、データ量を 48 倍に増やしながらコストを 50 倍削減した方法。
によって Saad Ali, David Poulet, Daniel Taylor 、 Ismail Makhlouf による投稿
英国のエネルギーグリッドは、数十年間で最も重要な構造的変革の途上にあります。風力や太陽光などの再生可能エネルギーが電力供給に占める割合が増えるにつれて、間欠性が最重要の問題となります。つまり、太陽が出ているときはエネルギーは安く、そうでないときは高くなるのです。
月次のメーター読み取りと平均化された消費プロファイルに基づいて構築された既存の清算モデルでは、このシグナルを正確に価格設定できません。そして、それを正確に価格設定できなければ、シグナルを消費者に伝えることができず、需要が供給に一致するようにシフトすることはありません。
市場全体の半時間ごとの清算（MHHS）は、規制上の対応です。英国のすべての家庭は、月2回のメーター読み取りから1日48回の読み取りに移行します。これは漸進的な変化ではありません。Octopus Energyのような800万以上の顧客を抱えるサプライヤーにとって、これはすべての利益計算、すべての清算義務、すべての商業的意思決定を推進するデータポイントが48倍になることを意味します。
データエンジニアリング への影響は直接的です。再アーキテクチャ化しない場合、Octopus Energyの利益パイプラインを実行するためのインフラストラクチャコストは、年間100万ドル増加すると予測されていました。
データ量が48倍になると、インフラストラクチャを増強するという本能が働きます。Octopus Energyの利益データチームにとって、その本能はすぐに実行不可能であることが証明されました。従来のアーキテクチャ下での清算日ごとの予測コストは23.63ドルで、従来の基準から33倍の増加でした。これを清算ウィンドウ全体に掛け合わせると、請求額は急速に膨れ上がります。
しかし、より深い問題はコンピューティングコストではなく、アーキテクチャの不一致でした。従来のパイプラインは、単一の粒度、つまり月次を中心に構築されていました。請求は月次で行われました。清算も月次で行われました。パイプライン全体が設計上モノリシックでした。
MHHSは根本的な分割を導入しました。業界のコストデータは、現在、半時間ごとの粒度、つまり1日あたり48個のデータポイントで到着します。EVやヒートポンプを備えたスマート料金のお客様は、半時間ごとの収益計算が必要です。標準料金のお客様は、引き続き月次で清算されます。これら3つすべてを単一のモノリシックパイプラインで実行するということは、実際に何が変更されたかに関係なく、すべての実行でデータセット全体を処理することを意味しました。
Octopus Energyの利益データチームのリーダーであるSaad Aliは、次のように述べています。「このような問題にコンピューティング能力 を投入するだけでは解決できません。根本から再構築し、ロジックを再考する必要があります。」
チームは、それぞれの自然な粒度に独立して最適化された3つの専門ストリームを中心に再アーキテクチャ化しました。
清算 - 規制上の清算とコスト配分のための半時間ごとの粒度。業界の料金は1日あたり48個のデータポイントで、このストリームは正確にその粒度に一致します。
半時間ごと - スマート料金のお客様（EVドライバー、ヒートポンプユーザー、および半時間ごとの価格シグナルが商業的提案全体を構成する時間帯別料金）のための半時間ごとの処理。
月次 - 標準料金のお客様向けの月次処理。粒度は変更されていませんが、半時間ごとのデータと照合できるようになりました。
「Job of Jobs」オーケストレーションパターンは、すべての3つのストリーム間の依存関係と並列実行を管理します。各ストリームは独立して調整可能です。清算に有効なSpark最適化が、NHHに必ずしも適しているとは限りません。
これら3つのすべてを支えるのは、ダウンストリームの消費レイヤーです。メーター読み取り、スマートメーターデータ、および業界のフローをテラバイト規模で統合する、統一されたマルチグレインの真実の源です。このレイヤーは、月次請求と半時間ごとの清算の間の照合ブリッジとなり、プロジェクトで最もレバレッジの高い単一の最適化の場所となりました。
アップストリームの消費テーブルに対する単純なアプローチ、つまり実行ごとにテラバイト規模のデータセット全体を再処理するという方法は、新しいボリュームでの持続不可能なコンピューティングコストを意味していました。
Delta Lakeの変更データフィード（CDF）により、この粒度での真の増分処理が可能になりました。パイプラインは、完全な上書きの代わりに、前回実行以降に変更されたレコードのみを読み取ります。結果：実行あたり処理される行数は250億から3億に減少し、98.8%削減されました。
データの鮮度は週次から日次に向上しました。商業チームにとって、このシフトは、価格設定の決定が実際に行われる粒度での利益の可視化を意味します。毎週ではなく、毎朝です。
注：以下に引用されている年間60万ドルの節約額には、アップストリームテーブルでの増分処理への移行による追加の節約は含まれていません。完全な効率向上はより大きいです。
システムを流れるデータ量が48倍になったため、チームは4つのカテゴリにわたる測定によって検証されたターゲット最適化を適用しました。
系統とI/Oの削減
結合とパーティションのチューニング
オプティマイザーを信頼する
最後の点は強調する価値があります。不当なコンピューティング操作を削除することは、新しい最適化を追加することと同じくらい影響がありました。測定なしでZ-orderingやANALYZEを実行している場合、それらは節約している以上のコストがかかっている可能性があります。
Databricks Serverlessにより、3か月の納品期間が可能になりました。クラスターの起動時間がゼロであるため、チームはインフラストラクチャのプロビジョニングを待つことなく、迅速にイテレーション（書き込み、実行、測定、調整）できました。
Serverless UIにより、実行の並列比較が可能にな り、個々の最適化の効果を分離することが実用的になりました。
チーム自身の言葉を借りれば、「サーバーレスなしではテストと開発プロセスは完了できませんでした。サーバーレスUIを使用することで、ボトルネックを特定し、さまざまな実行間で簡単に比較することができました。」
| メトリック | 前 | 後 | 変更 |
| 実行あたりの処理行数 | 250億 | 3億 | 98.8%削減 |
| 清算日あたりのコスト（MHHS予測） | $23.63 | $0.48 | 約50倍削減 |
| 清算日あたりのコスト（レガシー比） | $0.71 | $0.48 | 2倍効率的 |
| 月次実行あたりの節約額 | - | 約83,000ドル | 最適化されていない予測比 |
| 年間コスト回避額 | - | 約1,000,000ドル | アップストリームの節約額を除く |
| データの鮮度 | 週次 | 日次 | 7倍改善 |
| ビルド時間 | - | 3か月 | 3人のチーム |
$0.48という清算日あたりのコストは、MHHSの予測コストから50倍削減されただけでなく、48倍のデータポイントを処理しているにもかかわらず、レガシーシステムよりも2倍安価です。再アーキテクチャ化により、規制遵守が実現し、置き換えられたシステムよりも実質的に効率的なシステムになりました。
MHHSは英国のエネルギー規制です。しかし、それが表すパターン、つまりデータ量をより細かい粒度で増やす規制またはビジネスイベントは、エネルギーに固有のものではありません。システムが月次から日次に、日次からリアルタイムに、または集計からトランザクションに移行するたびに、同じダイナミクスが適用されます。
Octopus Energyの経験からの4つの転用可能な教訓：
Saadの言葉を借りれば、「システムをより高速かつ効率的にすることで、顧客が最も安価でクリーンなときにエネルギーを使用するのに役立つ、よりスマートな料金を提供できます。」
コストベースの削減は、特定のことを行います。それは、高頻度データ処理の経済的障壁を取り除きます。それにより、グリッドバランシングが製品として実行可能になります。それにより、スマート料金が商業的に持続可能になります。データエンジニアリングが大規模にエネルギー移行に接続されるのは、インフラストラクチャのオーバーヘッドとしてではなく、その商業的基盤としてです。
MHHSコンプライアンスが義務でした。持続可能なエネルギーを手頃な価格にすることが使命です。データエンジニアリングは、その2つを接続するものです。
———
Saad AliはOctopus Energyのマージンデータチームのリーダーです。Ismail Makhlouf、David Poulet、Daniel TaylorはDatabricksのソリューションアーキテクトです。
(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事
ブログを購読して、最新の投稿を受信トレイにお届けします。