テストベンチからレイクハウスへ：AVLがImpulseで計測データ分析をモダン化する方法

1. はじめに - Impulse：測定データ向け時系列分析

1回の自動車テストキャンペーンで、数十万件の測定記録と数百テラバイトもの時系列センサーデータが生成されます。このデータはASAM MDF4などのバイナリ形式で保存され、従来はNI DIAdemやMATLABなどのデスクトップツールで分析されてきました。現場のエンジニアがこれらのツールを好むのには、もっともな理由があります。ビッグデータフレームワークや分散コンピューティングの専門知識がなくても、どの信号を比較するか、どの条件が重大なイベントを定義するかといった、実際の分析に集中できるからです。しかし、これらのツールは拡張性がなく、個別のスクリプトに基づく分析は再現が困難で、データは現代の企業が依存するガバナンスの枠組みの外に置かれてしまいます。

Databricks Labsプロジェクトとして公開されているPythonベースの分析ライブラリであるImpulseは、Databricks Intelligence Platform上でこのギャップを埋めるものです。その中核（図1）として、Impulseは3つの重要な要素を提供します。

1. Sparkの専門知識を必要とせず、エンジニアが信号演算、イベント条件、集計を自然なPythonで表現できる、宣言型のTime Series Analytics Language（TSAL）。
2. 任意の入力データレイアウトで保存された数千の記録にわたり、TSAL式を分散Spark実行にコンパイルするプラグイン可能なクエリエンジン。
3. 測定コンテナ、センサーチャネル、動作イベント、時間および距離で重み付けされた集計など、エンジニアのデータに対する思考プロセスに直接マッピングされる、ドメインを意識した抽象化。

このブログ記事では、ImpulseがDatabricks上のAVLの「測定データ向けレイクハウス」をどのように強化しているかを紹介します。AVLは、車両およびエネルギーシステムの開発、シミュレーション、テストを専門とする、世界をリードするモビリティテクノロジー企業です。同社は、測定データやシミュレーションデータを活用して設計を検証し、システムの挙動を理解し、バーチャルモデルから実車テストに至るデータ駆動型の製品開発を加速させています。本稿では、レイクハウスのアーキテクチャ、ドメインエンジニア、データエンジニア、データサイエンティストのそれぞれに役立つ3つの補完的な利用モード、そしてAVLが本番環境で実感している効果について解説します。Impulseは、Mercedes-Benzと共同開発し、前回のブログ記事で紹介した階層的なSilverレイヤーのデータモデルをベースに構築されています。

2. アーキテクチャ - 測定データ向けレイクハウス

AVLのプラットフォームはメダリオンアーキテクチャを採用しており、Unity Catalogがすべてのレイヤーにわたってガバナンスを提供し、Databricks Workflowsがパイプラインをオーケストレーションしています（図2を参照）。

1. ソースと取り込み：生の測定ファイル（ASAM MDF4形式など）は、Databricks Solution Acceleratorを使用してBronzeレイヤーに取り込まれます。AVLはこのアクセラレータを拡張し、複数の独自ファイル形式をサポートする同社の測定データ管理システムであるAVL Concertoと連携できるようにしました。記録されたファイルとともに、コンテキストメタデータ（車両ID、ソフトウェアバージョン、プロジェクトタグなど）も取り込まれます。

2. Silverレイヤー：Bronzeデータは、測定データ用の階層型データモデルに変換されます。このモデルは、コンテナ（個々のファイル）とチャネル（センサー信号）を中心にデータを整理し、それぞれにコンテナレベルおよびチャネルレベルの属性/タグとメトリクスが付与されます。Silverレイヤーには、分析処理用に準備された、検証済みで品質保証されたデータが保存されます。データ品質保証ルールはDatabricks DQXフレームワークを使用して実装されており、下流の特定の分析ニーズに合わせて完全に構成およびカスタマイズ可能です。Silverレイヤーのデータモデルの詳細については、以前公開されたブログ記事を参照してください。

3. ＋ 4. SilverからGoldへ：SilverレイヤーのデータはImpulseに送られ、Impulseが宣言的な分析ロジックを分散Spark実行に変換します。出力は、レポート用のGoldレイヤースタースキーマ、探索用の臨時のDataFrame、またはML用の特徴量マトリクスになります（セクション5を参照）。

5. サーブと分析：Databricks DashboardsやLakehouse AppsなどのBIツールは、SQL Warehouses経由でGoldレイヤーのデータを消費し、計算パイプラインに触れることなくインタラクティブな探索を可能にします。

3. Impulseの活用：わずか10行のPythonコードで完全な分析を実行

Impulseを理解する最良の方法は、実際に動作している様子を見ることです。このセクションでは、Time Series Analytics Language（TSAL）を使用して、バッテリー温度センサーの選択、それらのセンサーに基づく熱暴走リスクイベントの定義、時間重み付けヒストグラムの計算を行う、最小限でありながら現実的な例を紹介します。

物理チャネルの選択と仮想チャネルの定義

あらゆる分析の出発点は、関心のある物理センサーチャネルを選択することです。QueryBuilderはSilverレイヤーのメタデータテーブルを検索し、TSAL式を返します。以下の例では、EVプラットフォームから最高および最低のセル温度を取得し、温度の不均衡（デルタ）を計算します。

仮想チャネルを定義するこの1行には、単純ではない計算がエンコードされていることに注意してください。このフレームワークは、演算を実行する前に、チャネルエイリアスの解決、単位変換、共通の時間軸へのチャネルの整合、およびデータポイントの補間を自動的に実行します。

イベントの定義

イベントとは、信号条件から導き出される時間枠のことです。ここでは、セルの絶対最大温度が安全しきい値（60°C）を超えるか、またはセル間の温度ばらつきが疑わしいほど高い（5°C超）場合に発生する、重大な安全イベントを定義します。

TSAL式は完全に構成可能です。仮想チャネル、ブール条件、および集計は相互に参照できます。

イベント内でのヒストグラムの計算

最後に、熱リスクイベントを対象とした、最大セル温度の時間重み付けヒストグラムを定義します。このヒストグラムは、各温度ビンで費やされた時間をカウントするため、センサーのサンプリングレートに関係なく、物理的に意味のある結果が得られます。

分析の実行

2つのメソッド呼び出しにより、一致するすべての測定記録にわたる分散処理がトリガーされ、その結果が Unity Catalog 内のゴールドレイヤーのスタースキーマテーブルとして保存されます。チャネルの選択から、仮想信号の計算、イベント定義、ヒストグラムの集計、そして永続化に至る分析全体は、わずか10行ほどのPythonコードで記述できます。ユーザーが DataFrame の変換処理、ユーザー定義関数（UDF）、結合（join）、ウィンドウ関数などを記述する必要は一切ありません。

4. Impulseを利用する3つの方法：レポート作成、アドホック分析、ML

Impulseは、同じ TSAL 式言語とクエリエンジンをベースにした、互いに補完し合う3つの利用モードをサポートしています（図3）。構造化レポートモードでは、ドメインエンジニアがイベントと集計を定義し、それらが一致するすべての記録に対して並列に実行され、ゴールドレイヤーのスタースキーマに保存されます。これにより、AI/BI ダッシュボードや Lakehouse Apps ですぐに利用できるようになります。このパイプラインは Databricks Workflow としてスケジュールし、新しい測定データが届いたとき自動的に更新するように設定できます。アドホックモードでは、TSAL 式がクエリエンジンによって直接評価され、ゴールドレイヤーに書き込まれることなく、ノートブックでのインタラクティブな探索用に Spark DataFrame として返されます。ML モードでは、イベント範囲の統計情報やヒストグラム分布がフラットな特徴量行列として抽出され、MLflow、AutoML、またはカスタムのトレーニングパイプラインに直接渡すことができます。

AVLにおける Impulse の実際の活用方法

実際、AVLは主に構造化レポートモードを使用して、構成可能で標準化された分析パッケージ（「ツールボックス」）を構築することで、Impulse フレームワークの強みを活かしています。これらのツールボックスは、ドメインエンジニアが特定のエンジニアリングタスクや分析の目的に応じて、新しく追加される測定キャンペーンに対して実行します。

出力されたゴールドレイヤーの結果は Databricks ダッシュボードや Lakehouse Apps にシームレスに統合され、エンジニアは結果をインタラクティブに探索したり、ヒストグラム、ヒートマップ、その他の統計的ビジュアライゼーションを作成して、データ駆動型のエンジニアリング意思決定に役立てることができます。

5. 成果と影響

Impulse フレームワークと Databricks データインテリジェンスプラットフォームの導入により、AVLはデータ駆動型の製品開発を支えるエンドツーエンドのエンジニアリングデータプラットフォームを構築しました。このプラットフォームは、自動車データ分析における新たな基準を確立し、さまざまな側面で改善をもたらしています。

定量的な改善

• 分析時間の大幅な短縮（従来のアプローチと比較して、数日から数分に短縮）
• 1回の実行で大量の測定記録を処理できる能力
• オンプレミスソリューションと比較したインフラコストの削減

定性的な改善

• セルフサービス分析によるドメインエンジニアの能力向上
• 完全に再現可能で透明性の高い分析
• 単一の統合データプラットフォーム上でのチーム横断的な標準化

6. 今後の展望：オープンソース化とこれからの道のり

Impulseは Databricks Labs プロジェクトとしてリリースされており（こちらを参照）、新しい集計、クエリソルバー、ドメイン固有の拡張機能におけるコミュニティからの貢献を歓迎しています。このフレームワークには、公開デモデータセット、完全なドキュメント、およびレポート作成と ML の利用モードを示す Databricks ノートブックが付属しています。

AVLにとって、今回のデプロイは測定データ向けレイクハウスの基盤にすぎません。ロードマップでは、Impulse を ADAS や自動運転の検証、予兆保全、シミュレーションデータへと拡張し、エンドツーエンドのデータ駆動型製品開発の実現を目指しています。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事