Apache Spark™ Structured Streamingのリアルタイムモードのご紹介

Apache Spark™ Structured Streaming は、長年にわたりストリーミングETLからほぼリアルタイムの分析、機械学習に至るまで、大規模なミッションクリティカルなパイプラインを支えてきました。
今回、私たちはこの機能をさらに拡張し、新しいトリガータイプ 「リアルタイムモード」 を導入しました。リアルタイムモードでは、イベントが到着すると同時に処理し、数十ミリ秒という低レイテンシーで結果を返すことができます。

既存のマイクロバッチトリガー（固定スケジュールで処理する ProcessingTime トリガー や、利用可能なデータをすべて処理してから停止する AvailableNow トリガー）とは異なり、リアルタイムモードはデータを継続的に処理し、結果を準備ができ次第すぐに出力します。
これにより、不正検知、リアルタイムパーソナライゼーション、リアルタイム機械学習フィーチャー提供といった超低レイテンシーのユースケースを、既存コードの変更やプラットフォーム移行なしで実現できます。

この新しいモードはオープンソースの Apache Spark に貢献されており、Databricks ではすでに Public Preview として利用可能です。

本記事では以下を取り上げます:

• リアルタイムモードとは何か、その仕組み

• 実現可能なアプリケーションの種類

• 今日から使い始める方法

リアルタイムモードとは？

リアルタイムモードは、Spark Structured Streaming において継続的で低レイテンシーな処理を提供し、p99 レイテンシーを数ミリ秒台 まで抑えることが可能です。
チームは設定を1つ変更するだけで有効化でき、再実装やプラットフォーム移行の必要はなく、現在利用している Structured Streaming API をそのまま使い続けられます。

リアルタイムモードのしくみ

リアルタイムモードは、長時間稼働するストリーミングジョブを動作させ、ステージを並行してスケジューリングします。データはメモリ内でストリーミングシャッフルを使ってタスク間を受け渡すため、以下の効果があります:

• 調整のオーバーヘッドを削減

• マイクロバッチモードの固定的なスケジューリング遅延を排除

• 一貫したサブセカンド性能を提供

Databricks 内部テストでは、p99 レイテンシーは変換の複雑さに応じて数ミリ秒から約300ミリ秒の範囲でした。

アプリケーションとユースケース

リアルタイムモードは、超低遅延処理と迅速な応答時間を必要とするストリーミングアプリケーションのために設計されており、ビジネス運用の重要なパスでよく使用されます。

Spark Structured Streamingのリアルタイムモードは、初期のテストで驚くべき結果を出しました。ミッションクリティカルな支払い承認パイプラインでは、暗号化やその他の変換を行い、P99エンドツーエンド遅延をわずか15ミリ秒で達成しました。この低遅延処理をデータフロー全体にスケーリングし、厳格なSLAを一貫して満たすことに楽観的です。— ラジャ・カンチュマルティ、リードデータエンジニア、ネットワークインターナショナル

上記のネットワークインターナショナルの支払い承認ユースケースに加えて、早期採用者のいくつかがすでにそれを使用して幅広いワークロードを支えています：

金融サービスにおける詐欺検出: グローバルな銀行は、Kafkaからのクレジットカード取引をリアルタイムで処理し、怪しい活動をフラグ付けし、すべて200ミリ秒以内に行います - リプラットフォームなしでリスクと応答時間を削減します。

小売業とメディアのパーソナライズされた体験: OTTストリーミングプロバイダーは、ユーザーが番組を視聴し終えた直後にコンテンツの推奨を更新します。主要な電子商取引プラットフォームは、顧客がブラウズするたびに商品のオファーを再計算し、サブセカンドのフィードバックループでエンゲージメントを高く保ちます。

ライブセッション状態と検索履歴: 大手旅行サイトは、各ユーザーの最近の検索をリアルタイムでデバイス間で追跡し、表示します。新しいクエリがセッションキャッシュを即時に更新し、遅延なくパーソナライズされた結果と自動入力を可能にします。

リアルタイムMLフィーチャーサービング： フードデリバリーアプリは、ドライバーの位置や調理時間などの特徴をミリ秒単位で更新します。これらの更新は直接機械学習モデルとユーザー向けアプリに流れ込み、ETAの精度と顧客体験を向上させます。

これらはほんの一例です。リアルタイムモードは、IoTセンサーアラートやサプライチェーンの可視性からライブゲームのテレメトリー、アプリ内のパーソナライゼーションまで、ミリ秒単位でデータを意思決定に変えることから利益を得る任意のワークロードをサポートできます。

リアルタイムモードの開始方法

リアルタイムモードは現在、Databricksのパブリックプレビューで利用可能です。すでにStructured Streamingを使用している場合、単一の設定とトリガー更新で有効にすることができます - 書き換えは必要ありません。

DBR 16.4以上で試してみてください：

1. クラスターを作成します（Dedicated Modeを推奨）し、DatabricksでPublic Previewにアクセスします。

2. リアルタイムモードを有効にするには、次のSpark設定を設定します：

3. あなたのクエリで新しいトリガーを使用してください：

チェックポイント

trigger(RealTimeTrigger.apply(...))オプションは新しいリアルタイム実行モードを有効にし、サブセカンドの処理遅延を達成することができます。RealTimeTriggerは、クエリがチェックポイントをどのくらいの頻度で指定するかを指定する引数を受け入れます。例えば、trigger(RealTimeTrigger.apply(“x minutes”)) デフォルトでは、チェックポイントの間隔は5分で、ほとんどのユースケースに適しています。この間隔を短くするとチェックポイントの頻度が増えますが、遅延に影響を与える可能性があります。ほとんどのストリーミングソースとシンクがサポートされており、Kafka、Kinesis、およびforEachを使用して外部システムに書き込むことができます。

まとめ

リアルタイムモードは、最低限の遅延を要求するユースケースに最適です。多くの分析ワークロードでは、標準的なマイクロバッチモードが遅延要件を満たしながらもコスト効果が高いかもしれません。リアルタイムモードはわずかなシステムオーバーヘッドを導入するため、上記の例のような遅延が重要なパイプラインでの使用を推奨します。追加のソースとシンクのサポートが拡大しており、互換性をさらに広げ、遅延をさらに減らすために積極的に作業しています。

詳細については、リアルタイムモードのドキュメンテーションをご覧ください。これには、完全な実装の詳細、サポートされているソースとシンク、および例のクエリが含まれています。新しいトリガーを有効にし、ストリーミングワークロードを設定するために必要なすべてを見つけることができます。

Apache Spark 4.0の新機能についてのより広範な見解、特にリアルタイムモードがエンジンの進化にどのように適合するかについては、DAIS 2025からのMichael ArmbrustのSpark 4.0基調講演をご覧ください。これは、Sparkの次の章の背後にあるアーキテクチャのシフトをカバーしており、リアルタイムモードがストーリーの中心部分となっています。

リアルタイムモードの背後にあるエンジニアリングについて深く理解するために、エンジニアの技術的な深掘りセッションをご覧ください。これは設計と実装を歩みます。

リアルタイムモードがDatabricksのより広範なストリーミング戦略にどのように適合するかを確認するには、Data Intelligence Platformでのストリーミングに関する包括的ガイドをご覧ください。