Databricksを活用したEquinorの地震データパイプライン最適化事例

石油・ガス業界は、炭化水素を安全かつ効率的に探査・抽出するために地震データに大きく依存しています。しかし、大量の地震データの処理と分析は、膨大な計算リソースと専門知識を必要とする困難な作業です。

大手エネルギー企業であるEquinorは、Databricksデータインテリジェンスプラットフォームを活用して探査用地震データ変換ワークフローを最適化し、データの可観測性を向上させながら、時間とコストの大幅な削減を実現しました。

Equinorの目標は、4D地震解釈ワークフローの一つを強化し、時間経過に伴う貯留層の変化の検出と分類の自動化・最適化に焦点を当てることでした。このプロセスは、掘削ターゲットの特定、コストのかかる不成功井のリスク低減、環境に配慮した掘削慣行の促進をサポートします。主なビジネス目標は以下の通りです：

• 最適な掘削ターゲット：今後数十年間に多数の新しい井戸を掘削するためのターゲット特定の改善
• より速く費用対効果の高い分析：自動化による4D地震分析の時間とコストの削減
• より深い貯留層の洞察：より多くの地下データを統合し、解釈と意思決定の向上を実現

地震データの理解

地震キューブ：地下の3Dモデル

地震データの取得には、音波を発生させるエアガンを配備し、これらの音波が地下構造から反射してハイドロフォンによって捉えられます。地震探査船によって曳航されるストリーマーや海底に設置されたこれらのセンサーは、生データを収集し、後に処理されて地下地質の詳細な3D画像が作成されます。

• ファイル形式：SEG-Y（探査地球物理学者協会）- 1970年代に開発された地震データ保存用の独自ファイル形式、テープストレージに最適化
• データ表現：処理されたデータは3Dキューブとして保存され、地下構造の包括的なビューを提供

地震ホライゾン：地質境界のマッピング

地震ホライゾンは地震データの解釈であり、地下の連続した表面を表します。これらのホライゾンは地質学的境界を示し、岩石特性や流体含有量の変化に関連しています。これらの境界での地震波の反射を分析することで、地質学者は地下の主要な特徴を識別できます。

• ファイル形式：CSV – 解釈された地震ホライゾンデータの保存に一般的に使用
• データ表現：ホライゾンは2D表面として保存

既存のパイプラインにおける課題

現在の地震データパイプラインは、以下の主要な出力を生成するためにデータを処理します：

1. 4D地震差分キューブ： 同じ物理的なエリアの2つの地震キューブを比較することで時間経過による変化を追跡します。これらのキューブは通常、数ヶ月または数年間隔で取得されます。
2. 4D地震差分マップ：これらのマップには、4D地震キューブからの属性または特徴が含まれており、地震データの特定の変化を強調し、貯水層分析を支援します。

しかし、いくつかの課題が既存のパイプラインの効率性とスケーラビリティを制限しています：

• 分散処理の最適化不足：単一ノードクラスタで並列実行される複数のスタンドアロンPythonジョブに依存し、非効率性を招く
• 限られた回復力：障害が発生しやすく、エラー許容やオートメーション回復のメカニズムが不足
• 水平スケーラビリティの欠如：大量のメモリ（例：112 GB）を備えた高構成ノードが必要で、コストが増加
• 高い開発・保守労力：パイプラインの管理とトラブルシューティングに多大なエンジニアリングリソースが必要

提案されたソリューションアーキテクチャ

これらの課題に対処するために、パイプラインをRayとApache Spark™を使用した分散ソリューションとして再設計し、Databricks Platform上のUnity Catalogによって管理しました。このアプローチは、スケーラビリティ、レジリエンス、コスト効率を大幅に改善しました。

我々は以下の技術をDatabricks Platform上で使用して、このソリューションを実装しました：

• Apache Spark™： 大規模なデータ処理と分析のためのオープンソースフレームワークで、効率的かつスケーラブルな計算を保証します。
• Databricksワークフロー： データエンジニアリング、データサイエンス、分析タスクのオーケストレーションのためのものです。
• Delta Lake：ACIDトランザクションによる信頼性、スケーラブルなメタデータ処理、統一されたバッチおよびストリーミングデータ処理を保証するオープンソースのストレージレイヤー。これはDatabricks上のデフォルトのストレージ形式として機能します。
• Ray： 高性能な分散コンピューティングフレームワークで、Pythonアプリケーションをスケールアップし、SegyIOと既存の処理ロジックを活用してSEG-Yファイルの分散処理を可能にします。
• SegyIO： SEG-Yファイルを処理するためのPythonライブラリで、地震データのシームレスな取り扱いを可能にします。

主な利点：

この再設計された地震データパイプラインは、既存のパイプラインの非効率性を解消し、スケーラビリティ、レジリエンス、コスト最適化を導入しました。実現した主な利点は以下の通りです：

• 大幅な時間節約： 中間結果（例えば、3Dと4Dのキューブ）を永続化することで、重複するデータ処理を排除し、必要なデータセットのみを再処理することが可能になりました。
• コスト効率： マップ生成などの特定の計算ステップで最大96%のコスト削減。
• 障害耐性のある設計： Apache Sparkの分散処理フレームワークを活用して、フォールトトレランスと自動タスク回復を導入しました。
• 水平スケーラビリティ：既存のソリューションの制約を克服し、データ量が増えるにつれて効率的にスケーリングを確保しました。
• 標準化されたデータ形式： オープンで標準化されたデータ形式を採用し、ダウンストリームの処理を効率化し、分析を簡素化し、データ共有を改善し、ガバナンスと品質を向上させました。

まとめ

このプロジェクトは、従来の地震データ処理ワークフローを変革するDatabricksのような最新のデータプラットフォームの大きな可能性を示しています。Ray、Apache Spark、Deltaなどのツールを統合し、Databricksのプラットフォームを活用することで、以下の測定可能な利点をもたらすソリューションを実現しました：

• 効率性の向上：より速いデータ処理と障害許容性
• コスト削減：地震データ分析へのより経済的なアプローチ
• 保守性の向上：パイプラインアーキテクチャの簡素化と標準化された技術スタックにより、コードの複雑さと開発オーバーヘッドを削減

再設計されたパイプラインは地震ワークフローを最適化するだけでなく、将来の拡張のためのスケーラブルで堅牢な基盤も構築しました。これは、同様のビジネス成果を推進しながら地震データ処理を近代化することを目指す他の組織にとって貴重なモデルとなります。

謝辞

Equinor Data Engineering、Data Science and Analytics Communities、およびEquinor Research and Development Teamsに、このイニシアチブへの貢献に感謝します。

「プロフェッショナルサービスとの素晴らしい経験 – 非常に高い技術力とコミュニケーションスキル。比較的短期間で大きな成果を達成」

— Anton Eskov

https://www.databricks.com/blog/category/industries/energy?categories=energy