Apache Spark 4.0の新機能：transformWithState APIを活用した環境データ監視

Apache Spark^™のストリーミング機能は、各バッチが独立して動作するシンプルなステートレス処理から始まり、その発祥以来、劇的に進化しました。真の変革は、mapGroupsWithStateや後のflatMapGroupsWithStateのようなAPIを通じて状態保持処理能力が追加されたことで生じました。これにより、開発者はストリーミングマイクロバッチ間で状態を維持し、更新することが可能になりました。これらのステートフルな操作により、連続的なデータストリームにおける複雑なイベント処理、異常検出、パターン認識の可能性が開かれました。

Apache Spark Structured Streamingの最新の追加機能、transformWithStateは、ステートフルなストリーム処理の重要な進化を表しており、その前身であるflatMapGroupsWithStateとapplyInPandasWithStateよりも、任意のステートフル処理をより効果的に実行するいくつかの利点を提供します。Apache Spark 4.0により、このフレームワークは表現力とパフォーマンスの新たな高みに達しました。この最新の進化は、時間を超えてコンテキストを維持しながら、秒間数百万のイベントを処理する洗練されたリアルタイムデータアプリケーションを構築するために必要な包括的なツールセットを提供します。

シナリオの深掘り

例として、環境監視システムを考えてみましょう。ここでは、センサーデータの連続したストリームを収集、処理、分析するために、transformWithStateInPandasの機能を示します。私たちの例は環境データに焦点を当てていますが、同じアプローチは機器のテレメトリー、物流追跡、または産業自動化など、多くの運用ユースケースに適用可能です。

基礎

一定期間にわたって特定の場所の温度、湿度、CO2レベル、微粒子物質を監視し、これらの測定値の平均値が設定した閾値を上回ったり下回ったりした場合にアラートを発生させる必要があるシナリオを想像してみてください。

ここでValueState APIが登場します。それらは、プリミティブまたは複雑な構造体として状態を保存するために使用できます。それがどのように動作するか見てみましょう。

ValueStateの実装

まずは単一のセンサーから始めましょう。このセンサーは数秒ごとに、以下のような読み取りを送信します：

各センサー、位置、および都市について、現在の状況だけでなく歴史的な文脈も追跡する状態を維持する必要があります。これはセンサーのメモリのような役割を果たし、最後に読み取ったタイムスタンプから生成されたアラートの数まで、すべての情報を追跡します。私たちは、この完全な画像をキャプチャするためにValueStateスキーマを設計します：

デルタテーブルに環境データを保存する

状態を持つプロセッサをTemperatureMonitorと定義した後、このプロセッサをtransformWithStateInPandasオペレータに渡し、出力をDeltaテーブルに保存します。これにより、TemperatureMonitorで処理されたデータが外部サービスや分析用途で利用可能になります。

出力の検証

TemperatureMonitorによって処理され、出力デルタテーブルに保存されたデータを見てみましょう。これには、パリ、ニューヨーク、ロンドン、東京、シドニーの異なる場所にある複数のセンサーからの環境読み取り値とそれらが引き起こしたアラートが含まれています。

ご覧の通り、transformWithStateは、高湿度、高温、CO2レベルなど、さまざまな環境アラートを効果的に処理し、異なる場所で上げるのに役立ちます。

環境履歴の管理

さて、センサーが異なる場所で環境条件を継続的に監視する都市を想像してみましょう。温度が急上昇した場合、市の管理者は次のことを知る必要があるかもしれません：これは局所的な問題なのか、それとも市全体の問題なのか？

ListState APIは、時系列データや歴史的分析に最適な、順序付けられたコレクションを扱うための状態管理を拡張します。これは、タイムラインや我々が選択する任意の境界を越えてパターンやトレンドを追跡する際に重要となります。

ListStateの実装 - 都市のためのスマートな歴史的ストレージ

市内には常にデータをストリーミングする複数のセンサーが存在するシナリオを考えてみましょう。市内の任意の場所で温度が私たちの閾値である25°Cを超えた場合、そのデータをキャプチャし、時間認識可能なListStateに保存します：

下の例では、EnvironmentalMonitorListProcessorクラスとListStateを組み合わせて、組み込みのTTL（Time To Live）を使用し、センサーデータの履歴を1時間の新鮮さで維持しています。

Time to Live(TTL)を使用して古い状態値を期限切れにする

transformWithStateで使用される状態値は、オプションで生存時間（TTL）値をサポートしており、これは値の処理時間に一定のミリ秒単位の期間を加えて計算されます。TTLが期限切れになると、対応する値が状態ストアから削除されます。

ListStateとTTLの組み合わせは、状態オブジェクト内で関連性の高いデータのみを自動的に維持し、指定された時間が経過した後に古いレコードを自動的に削除するために重要な機能です。

この例では、TTLが都市全体の分析が現在かつ関連性を保つことを保証します。各状態エントリには有効期限のタイムスタンプが付けられ、それが期限切れになると、状態は自動的にクリアされ、都市の最近の歴史的な文脈を維持しながら、無制限の状態の成長を防ぎます。

市全体のパターン認識

ListStateオブジェクトに保存された履歴を使用して、パターンを見つけ出し、さまざまな計算を行うことができます。例えば、EnvironmentalMonitorListProcessorでは、現在の読み取り値と最も最近の履歴の読み取り値を比較することで温度のトレンドを判断します。

ストリーミングクエリの設定

さて、EnvironmentalMonitorListProcessorをストリーミングパイプラインに組み込み、結果をDeltaテーブルに保存し、さらに詳しく調査しましょう。

出力の検証

上のスクリーンショットで見るように、デルタテーブルは現在、場所をまたいだ時間分析を示しています。ListStateの時間的なストレージと都市レベルの分析を組み合わせることで、環境問題を検出するだけでなく、それらの文脈と進化を都市全体で理解するシステムを作り出しました。ListState APIとTTL管理の組み合わせは、歴史的な環境データを効率的に扱い、無制限の状態成長を防ぐため、都市全体の環境監視システムに最適です。

位置情報ベースの分析を実行する

さて、スマートシティのプランナーが環境センサーを多様な都市ゾーン - 忙しいダウンタウンの交差点から住宅地域、工業団地まで - に展開するシナリオを想像してみましょう。各ゾーンには、一日の時間や季節によって異なる独自の環境基準があります。

MapState APIを使用すると、システムは場所ごとの環境読み取り値を維持し、読み取り値が許容範囲を超える場所を特定することができます。このアーキテクチャは、都市の場所をキーとして複数の環境を並行して監視し、最大の測定値を保持して重要な環境トレンドを追跡し、無制限の状態成長を防ぎます。

EnvironmentalMonitorProcessorは、MapStateの洗練されたキー値ストレージ機能を活用して、都市内のデータを場所ごとに整理します。これにより、都市環境全体の変化する状況のリアルタイム分析が可能になり、生のセンサーデータを都市環境管理のための実行可能な情報に変換します。

処理ロジック

MapState構造体は、次のようにキーとして位置を初期化します：

私たちの実装における状態更新プロセスは、各環境パラメータの最大値を取ることで、各場所でのピーク汚染レベルを追跡することを確実にします：

ストリーミングクエリの設定

この実装は、次のようにSpark Structured Streamingパイプラインに統合できるようになりました：

出力の検証

デルタテーブルの出力は、複数の場所/都市での包括的な環境監視を示しています。

それをまとめる

上記のセクションでは、Apache Sparkの新しいtransformWithState APIを使用して、さまざまな環境監視ユースケースを簡単にサポートできる方法を示しました。まとめると、上記の実装により、以下のユースケースを可能にすることができます：

• 多パラメーター閾値監視：温度、湿度、CO2、PM2.5レベルを超える違反のリアルタイム検出
• リアルタイムアラート：環境条件の変化の即時通知
• 複数の都市地域を独立して追跡する並列都市監視

強化されたデバッグ可能性と観察可能性

上記に示したパイプラインコードと共に、新しいtransformWithState APIの最も強力な機能の一つは、Apache Sparkのstate readerとのシームレスな統合です。この機能は、私たちの環境監視システムによって維持される内部状態に対する前例のない可視性を提供し、開発、デバッグ、運用監視を大幅に効果的にします。

状態情報へのアクセス

複数の都市で重要な環境監視システムを管理する際には、基礎となる状態を理解することが、異常のトラブルシューティング、データの整合性の確認、適切なシステム運用の確保に不可欠です。状態データソースリーダーにより、高レベルのメタデータと詳細な状態値の両方をクエリすることができます。

出力の検証

下のスクリーンショットに示すように、ユーザーはすべての複合型に対する状態行への細かいアクセスを得ることができ、これによりこれらのパイプラインのデバッグ可能性と観察可能性が大幅に向上します。

まとめ

Apache Spark™ 4.0のtransformWithState APIは、ストリーミングアプリケーションにおける任意の状態保持処理にとって大きな進歩を示しています。上記の環境監視のユースケースを通じて、新しいAPIを使用してユーザーが強力な運用ワークロードを構築し、実行する方法を示しました。そのオブジェクト指向のアプローチと堅牢な機能セットにより、複雑な要件を処理しながら信頼性とパフォーマンスを維持できる高度なストリーミングパイプラインの開発が可能になります。すべてのSparkユーザーの皆様には、ぜひこの新しいAPIをストリーミングユースケースでお試しいただき、transformWithState APIが提供する豊富な機能と利点を最大限に活用していただくことをお勧めします。

上記のコードはここからダウンロードできます：https://github.com/databricks-solutions/databricks-blogposts/tree/main/2025-05-transformWithStateInPandas/python/environmentalMonitoring