テストベンチからレイクハウスへ：AVLがImpulseで計測データ分析をモダン化する方法

1. はじめに - Impulse：測定データ向け時系列分析 1回の自動車テストキャンペーンで、数十万件の測定記録と数百テラバイトもの時系列センサーデータが生成されます。このデータはASAM MDF4などのバイナリ形式で保存され、従来はNI DIAdemやMATLABなどのデスクトップツールで分析されてきました。現場のエンジニアがこれらのツールを好むのには、もっともな理由があります。ビッグデータフレームワークや分散コンピューティングの専門知識がなくても、どの信号を比較するか、どの条件が重大なイベントを定義するかといった、実際の分析に集中できるからです。しかし、これらのツールは拡張性がなく、個別のスクリプトに基づく分析は再現が困難で、データは現代の企業が依存するガバナンスの枠組みの外に置かれてしまいます。 Databricks Labsプロジェクトとして公開されているPythonベースの分析ライブラリである Impulseは、Databricks Intelligence Platform上でこのギャップを埋めるものです。その中核（図1）として、Impulseは3つの重要な要素を提供します。 Sparkの専門知識を必要とせず、エンジニアが信号演算、イベント条件、集計を自然なPythonで表現できる、宣言型の Time Series Analytics Language（TSAL）。 任意の入力データレイアウトで保存された数千の記録にわたり、TSAL式を分散Spark実行にコンパイルする プラグイン可能なクエリエンジン。 測定コンテナ、センサーチャネル、動作イベント、時間および距離で重み付けされた集計など、エンジニアのデータに対する思考プロセスに直接マッピングされる、 ドメインを意識した抽象化。 このブログ記事では、ImpulseがDatabricks上のAVLの「測定データ向けレイクハウス」をどのように強化しているかを紹介します。AVLは、車両およびエネルギーシステムの開発、シミュレーション、テストを専門とする、世界をリードするモビリティテクノロジー企業です。同社は、測定データやシミュレーションデータを活用して設計を検証し、システムの挙動を理解し、バーチャルモデルから実車テストに至るデータ駆動型の製品開発を加速させています。本稿では、レイクハウスのアーキテクチャ、ドメインエンジニア、データエンジニア、データサイエンティストのそれぞれに役立つ3つの補完的な利用モード、そしてAVLが本番環境で実感している効果について解説します。Impulseは、Mercedes-Benzと共同開発し、 前回のブログ記事で紹介した階層的なSilverレイヤーのデータモデルをベースに構築されています。...