Apache Spark™ 構造化ストリーミングにおけるリアルタイムモードのご紹介

Apache Spark™ 構造化ストリーミングは、ストリーミング ETL からニアリアルタイム分析、機械学習まで、これまでも大規模なミッションクリティカルなパイプラインを支えてきました。今回、イベントが到着次第、数十ミリ秒のレイテンシで処理する新しいトリガータイプであるリアルタイムモードにより、まったく新しいクラスのワークロードに対応できるようになりました。

固定スケジュールでデータを処理する（ProcessingTime トリガー）既存のマイクロバッチトリガーや、シャットダウンする前に利用可能なすべてのデータを処理する（AvailableNow トリガー）とは異なり、リアルタイムモードはデータを継続的に処理し、準備ができ次第結果をエミットします。これにより、既存のコードを変更したり、プラットフォームを再構築したりすることなく、不正検出、ライブパーソナライゼーション、リアルタイム機械学習フィーチャーサービングなどの超低レイテンシユースケースが可能になります。

この新しいモードはオープンソースの Apache Spark に貢献されており、Databricks でパブリックプレビューとして利用可能になりました。

この記事では、以下の点について説明します。

• リアルタイムモードとは何か、そしてどのように機能するか
• それが可能にするアプリケーションの種類
• 今日からどのように使い始めるか

リアルタイムモードとは？

リアルタイムモードは、Spark 構造化ストリーミングで継続的な低レイテンシ処理を提供し、p99 レイテンシはシングルミリ秒台まで低くなります。チームは、コードの書き直しやプラットフォームの再構築なしに、単一の設定変更でこれを有効にすることができます。これは、現在使用している構造化ストリーミングAPI をそのまま維持しながら可能です。

リアルタイムモードの仕組み

リアルタイムモードは、ステージを並行してスケジュールする、長期間実行されるストリーミングジョブを実行します。データはストリーミングシャッフルを使用してメモリ内でタスク間を移動します。これにより、次のことが可能になります。

• コーディネーションオーバーヘッドの削減
• マイクロバッチモードの固定スケジューリング遅延の排除
• 一貫したサブ秒パフォーマンスの提供

Databricks の内部テストでは、変換の複雑さに応じて、p99 レイテンシは数ミリ秒から約 300 ms の範囲でした。

アプリケーションとユースケース

リアルタイムモードは、ビジネスオペレーションのクリティカルパスで、超低レイテンシ処理と迅速な応答時間を必要とするストリーミングアプリケーション向けに設計されています。

Spark 構造化ストリーミングのリアルタイムモードは、初期テストで目覚ましい結果をもたらしました。暗号化やその他の変換を実行するミッションクリティカルな支払い承認パイプラインでは、P99 エンドツーエンドレイテンシをわずか 15 ミリ秒で達成しました。厳格な SLA を一貫して満たしながら、この低レイテンシ処理をデータフロー全体にスケーリングできることに期待しています。 — Raja Kanchumarthi, Lead Data Engineer, Network International

上記の Network International の支払い承認ユースケースに加えて、いくつかの早期採用者がすでにさまざまなワークロードに活用しています。

金融サービスの不正検出: グローバル銀行は、Kafka からのクレジットカード取引をリアルタイムで処理し、プラットフォームの再構築なしにリスクと応答時間を削減しながら、200 ミリ秒以内に疑わしいアクティビティをフラグ付けします。

小売およびメディアでのパーソナライズされたエクスペリエンス: OTT ストリーミングプロバイダーは、ユーザーが番組の視聴を終えた直後にコンテンツのおすすめを更新します。大手 e コマースプラットフォームは、顧客が閲覧する際に製品オファーを再計算し、サブ秒のフィードバックループでエンゲージメントを高く維持します。

ライブセッション状態と検索履歴: 大手旅行サイトは、各ユーザーの最近の検索をデバイス間でリアルタイムに追跡および表示します。新しいクエリごとにセッションキャッシュが即座に更新され、遅延なくパーソナライズされた結果とオートフィルが可能になります。

リアルタイム ML フィーチャーサービング: フードデリバリーアプリは、ドライバーの場所や準備時間などのフィーチャーをミリ秒単位で更新します。これらの更新は、機械学習モデルやユーザー向けアプリに直接流れ込み、ETA の精度と顧客エクスペリエンスを向上させます。

これらはほんの一例です。リアルタイムモードは、IoT センサーアラートやサプライチェーンの可視性から、ライブゲームテレメトリやアプリ内パーソナライゼーションまで、ミリ秒単位でデータを意思決定に変えることからメリットを得られるあらゆるワークロードをサポートできます。

リアルタイムモードの開始方法

リアルタイムモードは、Databricks でパブリックプレビューとして利用可能になりました。すでに構造化ストリーミングを使用している場合は、コードの書き直しなしに、単一の設定とトリガーの更新で有効にできます。

DBR 16.4 以降で試すには、次の手順を実行します。

1. Databricks で、パブリックプレビューアクセスが可能なクラスター（推奨: 専用モード）を作成します。
2. 次の設定を行うことで、リアルタイムモードを有効にします。
3. クエリで新しいトリガーを使用します。

チェックポインティング

trigger(RealTimeTrigger.apply(...)) オプションは、新しいリアルタイム実行モードを有効にし、サブ秒処理レイテンシを実現します。RealTimeTrigger は、クエリがチェックポイントをどのくらいの頻度で実行するかを指定する引数を受け取ります。たとえば、trigger(RealTimeTrigger.apply(“x minutes”)) のようになります。デフォルトでは、チェックポイント間隔は 5 分であり、ほとんどのユースケースでうまく機能します。この間隔を短縮するとチェックポイントの頻度は上がりますが、レイテンシに影響する可能性があります。Kafka、Kinesis、および外部システムへの書き込み用の forEach を含むほとんどのストリーミングソースとシンクがサポートされています。

概要

リアルタイムモードは、可能な限り低いレイテンシを要求するユースケースに最適です。多くの分析ワークロードでは、レイテンシ要件を満たしながら、標準のマイクロバッチモードの方がコスト効率が高い場合があります。リアルタイムモードはわずかなシステムオーバーヘッドを導入するため、上記の例のようなレイテンシクリティカルなパイプラインでの使用をお勧めします。追加のソースとシンクのサポートは拡大しており、互換性を広げ、レイテンシをさらに削減するために積極的に取り組んでいます。

詳細については、完全な実装の詳細、サポートされているソースとシンク、およびクエリの例については、リアルタイムモードのドキュメントを参照してください。新しいトリガーを有効にし、ストリーミングワークロードを構成するために必要なすべてが見つかります。

Apache Spark の新機能の全体像、特にリアルタイムモードがエンジンの進化にどのように適合するかについては、DAIS 2025 の Michael Armbrust の Spark 基調講演をご覧ください。リアルタイムモードをストーリーのコアパートとして、Spark の次の章の背後にあるアーキテクチャシフトについて説明しています。

リアルタイムモードの背後にあるエンジニアリングについて詳しく知りたい場合は、エンジニアによる技術的な詳細解説セッションをご覧ください。設計と実装について説明しています。

Databricks の広範なストリーミング戦略におけるリアルタイムモードの位置づけについては、「Data Intelligence Platform でのストリーミングの包括的なガイド」をご覧ください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事