マイクロバッチの壁を打ち破る: Apache Spark リアルタイム Mode のアーキテクチャ

Apache Spark 4.1でリアルタイムモード (RTM) が導入されたことにより、構造化ストリーミングはミリ秒レベルのレイテンシーを実現できるようになりました。最近のブログ記事で、多くの低レイテンシの特徴量エンジニアリングのワークロードにおいて、RTMがFlinkのパフォーマンスを上回ることを示しました(以下を参照)。

このブログでは、Structured Streamingがhigh-throughputのETLワークロードと超低レイテンシーのワークロードの両方をサポートできるようにしたアーキテクチャの変更について説明します。

Apache Spark RTMは、フィーチャーエンジニアリングのユースケースにおいて、Flinkよりも高速です。

throughput対レイテンシーのジレンマ

これまで、ストリーミングエンジンを選択するということは、throughputのETLワークロードにはApache Sparkのようなシステムを、低レイテンシーのワークロードにはApache Flinkのようなシステムを選ぶというトレードオフを意味していました。この2つのシステムは、セマンティクスとパフォーマンス特性が大きく異なります。それがStructured StreamingのRTMによって変わります。RTMの導入により、Apache Sparkはhigh throughputと超低レイテンシーの両方のユースケースに対応できるようになりました。これにより、新たな学習曲線を必要とせずに単一のエンジンを選択し、まったく異なる2つのシステムを管理する手間を省くことが可能になります。

マイクロバッチ アーキテクチャで高いthroughputを実現

Spark Structured Streamingはマイクロバッチアーキテクチャを使用します。ストリーミングシステムは入力データを受け取り、データの可用性と最大バッチサイズ構成に基づいて、エポックと呼ばれる個別のバッチに分割します。Sparkエンジンは、`project`、`filter`、`aggregation`などの変換を通じてビジネスロジックを適用します。結果は、バッチの連続ストリームとして出力されます。このマイクロバッチアーキテクチャにより、Structured Streamingは高スループット処理に優れています。複数のレコードがまとめて処理されるため、固定オーバーヘッドが償却され、ベクトル化実行によってさらにスループットを向上させることができます。これらのバッチは、ハードウェア使用率を高く維持しながら並列で実行されます。マイクロバッチモードは、複数のストリームにわたってタスクスロットを動的に割り当てるため、高い使用率とthroughputの実現にさらに貢献します。Sparkの基礎的なイノベーションであるリネージベースのフォールトトレランスは、これらのストリームが強力なexactly-once保証で処理されることを保証します。

RTMは、マイクロバッチモードと比較して、非ブロッキング方式でデータを処理します。

低レイテンシという至難の業

Structured Streamingは秒レベルのETLおよび取り込みワークロードの処理に非常に優れていますが、多くの運用ユースケースではミリ秒レベルのレイテンシーが要求されます。金融取引における不正検知、旅行業界におけるリアルタイムの知見、コネクテッドカーからのテレメトリデータの分析などはすべて、顧客がミリ秒単位で回答を必要とする例です。

アーキテクチャの課題: なぜ小さいバッチではうまくいかないのか

明白なソリューションは、単にバッチを小さくすることだと思われるかもしれません。一度に1レコードずつ処理すれば、リアルタイムのパフォーマンスが得られるはずです。残念ながら、それはそれほど単純なことではありません。

Structured Streamingの各マイクロバッチには固定コストが伴い、少量のデータを処理する際に実行時間の大部分を占めます。システムは、各マイクロバッチの実行前後に、耐久性のあるオブジェクトストレージにLogsファイルを書き込みます。それに加えて、各ステートフルなクエリーの状態の更新も、マイクロバッチの最後にオブジェクトストレージにアップロードする必要があります。これらは一貫性のセマンティクスを保証するための重要なステップですが、実行時間に数秒とは言わないまでも数百ミリ秒を追加する可能性があります。これらのレイテンシーの一部を隠したとしても、各バッチのプランニング、論理的および物理的なプランニングのオーバーヘッド、タスクのシリアル化、スケジューリングのレイテンシーを削減することは困難です。ご想像のとおり、バッチサイズを縮小するとすぐに壁にぶつかります。下の図は、マイクロバッチが小さすぎると (左端のバー)、固定のマイクロバッチ処理コストが実行の大半を占め、エンドツーエンドのレイテンシーが増加することを示しています。

thresholdを超えると、固定オーバーヘッドのためにバッチサイズが小さいほどレイテンシが増加する場合があります

これは、アーキテクチャ上の課題を私たちに提示しました。つまり、(Apache Storm や Apache Flink のように) レコード単位で処理するモデルに期待される低レイテンシーを達成しながら、マイクロバッチアーキテクチャのコストとフォールトトレランスの利点を維持したいということです。私たちの主な知見は、マイクロバッチアーキテクチャをリアルタイムワークロードをサポートするように進化させることができるということです。耐障害性のためのチェックポインティングなど、コアとなるマイクロバッチアーキテクチャの多くの機能を継続して使用しました。しかし、データが待機することで高レイテンシが発生していたステップを排除しました。これらの変更点について、以下で説明します。

当社のソリューション：ハイブリッド実行モデル

ここでは、Structured Streamingのレイテンシーをどのように改善したかを紹介します。

1. 継続的なデータフローによる長期間のエポック

マイクロバッチモードは、エポックと呼ばれるデータのバッチを処理します。エポックの境界は、起動オフセットと終了オフセットを使用して事前に決定されます。一方、リアルタイムモードでは、より長い期間のエポックを処理しますが、各エポック内でのデータのフローを変更します。データは、ブロックされることなく、さまざまなステージやオペレーターを継続的にストリームするようになりました。エポックの期間が長くなるため、チェックポイント処理とバリアのオーバーヘッドは償却されます。エポックの境界では、リカバリの記録管理とタスクの再スケジューリングのために引き続きバリアを使用します。これにより、マイクロバッチアーキテクチャを回復力があり効率的なものにするという利点が維持されます。私たちは、Structured Streamingのマイクロバッチを本質的にチェックポイント間隔へと進化させました。

2. 並列処理ステージ

Structured Streamingアーキテクチャでは、処理ステージが順次実行され、reducerがmapperの完了を待つため、不要な遅延が発生していました。リアルタイムモードでは、これらのステージを並列にしました。これで、Spark ドライバーはソースオフセットを要求してマッパーをスケジュールしますが、リデューサーはすべてのマッパーが終了するのを待たずに、シャッフルファイルが利用可能になり次第起動できます。この変更により、エンドツーエンドのレイテンシーが大幅に削減されます。下の RTM の図が示すように、2つのステージは同時にランされ、ステージ2はステージ1による行の処理が完了するとすぐに処理を起動します。

リアルタイムモードでは並列ステージを使用することでレイテンシーを削減します

3. 非ブロッキング オペレーター

私たちは、大量のバッファリングを伴うバッチ実行向けに設計されたshuffleなどの主要なオペレーターを再構築しました。バッチモードでは、グループ化集計はすべてのレコードをバッファリングし、事前集計を実行して、最後にのみ結果を出力します。リアルタイム処理のために、私たちはこれらのオペレーターを変更し、バッファリングを最小限に抑えて継続的に結果を生成することで、データが不要な待機時間なしにパイプラインを流れるようにしました。
 

まとめ

より長い期間のエポック、継続的なデータフロー、並列処理ステージ、および非ブロッキングオペレーターを使用することで、私たちはApache Spark Structured Streamingエンジンを汎用化し、高throughputと超低レイテンシーストリーミングの両方のユースケースに対応できるようにしました。このハイブリッドアプローチによって、ストリーミングエンジンを選択する必要がなくなりました。ユーザーは Apache Spark を学習するだけで済み、超低レイテンシーストリーミング専用の別のフレームワークを学ぶ必要はありません。

リアルタイムモードはDatabricksですでに本番運用しており、最先端の金融会社から旅行サイトまで、複数のお客様にご利用いただいています。顧客は、ご自身のユースケースでミリ秒単位のレイテンシーを達成できています。

これはSparkの機能における重要な飛躍ですが、私たちは引き続き新しいストリーミング機能を追加していきます。貴組織でリアルタイム ワークロード向けのソリューションをお探しの場合は、ぜひ Apache Spark Structured Streaming をお試しください。

技術リソース

RTMの背景にあるエンジニアリングをより深く知るには、当社の専門家による、こちらのオンデマンドセッションをご覧ください。彼らがリアルタイム Mode の設計と実装を解説します。

または、リアルタイム Mode 技術ガイドで起動方法をご確認ください。ストリーミング ワークロードでリアルタイム処理を有効にするために必要なものがすべて見つかります。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事