Databricks 上の Apache Spark Structured Streaming のリアルタイムモード一般提供開始のお知らせ

長年にわたり、Apache Spark Structured Streaming は、世界で最も要求の厳しいストリーミングワークロードのいくつかを支えてきました。しかし、超低レイテンシーのユースケースでは、チームは Spark とは別に、最も一般的には Apache Flink のような専用のエンジンを維持する必要があり、コードベース、ガバナンスモデル、運用オーバーヘッドが重複していました。今回、Databricks はお客様のこの負担を解消します。 

本日、Spark Structured Streaming のリアルタイムモード (RTM) の一般提供開始を発表します。これにより、使い慣れた Spark API でミリ秒レベルのレイテンシーを実現します。リアルタイムでの不正検知であれ、AI エージェントを誘導するための最新のリアルタイムコンテキストの生成であれ、これらのユースケースすべてを Spark で実現できるようになりました。

業界をリードするお客様とユースケースを支える

RTM はすでに、金融サービス、e コマース、メディア、広告テクノロジーなどの業界をリードする組織のチームによって採用されており、不正検知、ライブパーソナライゼーション、ML 特徴量計算、広告アトリビューションに利用されています。

世界有数の暗号資産取引所である Coinbase は、RTM を使用して高頻度のリスク管理と不正検知エンジンをスケーリングしています。これは、数百万件のデジタル資産取引を保護するために必要な 100 ミリ秒未満のレイテンシーで、大量のブロックチェーンおよび取引所イベントを処理しています。

Spark Structured Streaming のリアルタイムモードを活用することで、エンドツーエンドのレイテンシーを 80% 以上削減し、P99 で 100 ミリ秒未満を達成し、大規模なリアルタイム ML 戦略を合理化しました。このパフォーマンスにより、統合された Spark エンジンで 250 を超える ML 特徴量を計算できます。”— Daniel Zhou, Senior Staff Machine Learning Platform Engineer, Coinbase

北米最大のスポーツブックおよびファンタジースポーツプラットフォームの 1 つである DraftKings は、リアルタイムモードを使用して、不正検知モデルの機能計算をサポートしています。これは、リアルマネーの賭けの決定に必要なレイテンシーと信頼性で、高スループットのベッティングイベントストリームを処理しています。

ライブスポーツベッティングでは、不正検知には極めて高い速度が求められます。Spark Structured Streaming の Real-Time Mode と transformWithState API の導入は、私たちにとってゲームチェンジャーとなりました。レイテンシーとパイプライン設計の両方で大幅な改善を達成し、初めて ML トレーニングとオンライン推論のための統合された特徴量パイプラインを構築し、以前は不可能だった超低レイテンシーを実現しました。”— Maria Marinova, Sr. Lead Software Engineer, DraftKings

インド有数のオンライン旅行プラットフォームである MakeMyTrip は、パーソナライズされた検索エクスペリエンスを強化するためにリアルタイムモードを採用しました。RTM は、高ボリュームの旅行者検索を処理して、リアルタイムのおすすめを提供しました。

旅行検索では、ミリ秒単位が重要です。Spark Real-Time Mode (RTM) を活用することで、P50 レイテンシーが 50 ミリ秒未満のパーソナライズされたエクスペリエンスを提供し、クリック率を 7% 向上させました。RTM はデータオペレーションも変革し、Spark が高スループットの ETL から超低レイテンシーパイプラインまですべてを処理する統合アーキテクチャを可能にしました。AI エージェントの時代に進むにつれて、それらを効果的に誘導するには、データストリームからリアルタイムコンテキストを構築する必要があります。Spark RTM を使用して、エージェントに最善の意思決定を行うために必要な、最もリッチで最新のコンテキストを供給することを実験しています。 — Aditya Kumar, Associate Director of Engineering, MakeMyTrip

RTM は、データをミリ秒単位で意思決定に変換できるあらゆるワークロードをサポートできます。ユースケースの例としては、次のようなものがあります。

• 小売およびメディアでのパーソナライズされたエクスペリエンス：OTT ストリーミングプロバイダーは、ユーザーが番組の視聴を終えた直後にコンテンツのおすすめを更新します。大手 e コマースプラットフォームは、顧客が閲覧する際に商品オファーを再計算し、サブセカンドのフィードバックループでエンゲージメントを高く維持します。
• IoT モニタリング：輸送および物流会社は、ライブテレメトリを取り込んで異常検知を推進し、ミリ秒単位で受動的な意思決定から能動的な意思決定へと移行します。
• 不正検知：グローバル銀行は、Kafka からのクレジットカード取引をリアルタイムで処理し、200 ミリ秒以内に疑わしいアクティビティをフラグ付けします。これにより、再プラットフォーム化なしにリスクと対応時間を削減します。

リアルタイムモード (RTM) とは？

RTM は、要求の厳しい特徴量エンジニアリングの顧客ワークロードのベンチマークでサブセカンドパフォーマンスを達成できるようにする、Spark Structured Streaming エンジンの進化形です。

Structured Streaming のデフォルトのマイクロバッチモード (MBM) は、一定数の乗客が乗車するまで出発しない空港のシャトルバスのようなものです。一方、RTM は高速動く歩道のように機能し、シャトルバスが満員になるのを待つという制限を排除します。RTM は、各イベントが到着したときに処理し、Spark エコシステムを離れることなくエンドツーエンドのミリ秒レイテンシーを提供します。

秒からミリ秒へ：RTM は、周期的なバッチ処理を継続的なデータフローに置き換えることで Spark エンジンを変換し、従来の ETL のレイテンシーボトルネックを解消します。

RTM のパフォーマンス向上は、3 つの主要なアーキテクチャ上のイノベーションから生まれています。

• 継続的なデータフロー：データは、離散化された周期的なチャンクではなく、到着時に処理されます。
• パイプラインスケジューリング：ステージはブロックせずに同時に実行され、下流タスクは上流ステージの完了を待たずにすぐにデータを処理できます。
• ストリーミングシャッフル：データはタスク間で即座に渡され、従来のディスクベースのシャッフルのレイテンシーボトルネックを回避します。

これらが一体となって、Spark を最も要求の厳しい運用ユースケースを処理できる高性能、低レイテンシーエンジンに変革します。

Spark RTM：Flink より最大 92% 高速、インフラストラクチャを削減し、より迅速に運用可能

Spark RTM のパフォーマンスを検証するために、特徴量計算を実行する実際の顧客ワークロードに基づいて、人気のある専用エンジンである Apache Flink とのパフォーマンスをベンチマークしました。これらの特徴量計算パターンは、不正検知、パーソナライゼーション、運用分析などのほとんどの低レイテンシー ETL ユースケースを表しています。Spark RTM と Flink を比較すると、Spark の進化型アーキテクチャが、専用ストリーミングフレームワークに匹敵するレイテンシープロファイルを提供することが示されています。参照されているデータセットとクエリの詳細については、この GitHub リポジトリを参照してください。

1 つのエンジンで最大 92% 高速：RTM は Flink のような専用エンジンを凌駕し、ミリ秒レベルの運用分析にはもはや個別のストリーミングエンジンが不要であることを証明します。出典：顧客の特徴量計算パターンに基づく内部ベンチマーク。完全なクエリは GitHub で利用可能です。

生の速度も重要ですが、Flink のようなエンジンに対する Spark RTM の最大の利点は、開発者に提供されるシンプルさです。これにより、チームはバッチトレーニングとリアルタイム推論の両方に同じ Spark API を使用でき、「ロジックドリフト」とコードベースの重複を効果的に排除できます。Spark RTM は、単一行のコード変更でパイプラインを手動のインフラストラクチャチューニングなしに時間バッチからサブセカンドストリーミングに移行できる、シームレスなスケーラビリティを可能にします。最終的に、運用上の複雑さと複数の専用システムへの必要性を削減することで、チームは Spark RTM を使用してリアルタイムアプリケーションを大幅に迅速に開発およびデプロイできます。

Spark RTM の開始方法

RTM のセットアップは簡単です。すでに Structured Streaming を使用している場合は、再記述なしで 1 つの設定更新で有効にできます。

ステップ 1：クラスターを構成する

RTM は現在、クラシックコンピューティングで、専用および標準の両方のアクセスモードで利用可能です。RTM は Databricks Runtime (DBR) 16.4 以降でサポートされていますが、最新の機能と最適化のために DBR 18.1 をお勧めします。クラスター作成中に、次の Spark 設定を追加します。

ステップ 2：ストリーミングクエリで新しいリアルタイムトリガーを使用する

Spark RTM の新機能

2025 年 8 月のパブリックプレビューでのリリース以来、Databricks は顧客からのフィードバックに基づいて RTM の機能を拡張し続けています。

今回のGAリリースでの新機能は以下の通りです。

• Apache Spark 4.1でのOSSサポート（ステートレス変換）：ステートレス変換のRTMが、オープンソースのApache Spark 4.1で利用可能になりました。OSS Sparkを基盤とするチームは、リアルタイムモードを活用して、射影、フィルタリング、UDFベースのパイプラインを構築できます。
• 標準アクセスモードのサポート：RTMは、Pythonにおけるクラシックコンピューティングの専用および標準アクセスモードの両方で動作するようになり、チームはストリーミングワークロード全体でコンピューティングリソースをどのように活用するかについて、より柔軟に対応できるようになりました。
• 非同期状態チェックポインティングと進捗追跡：状態とクエリの進捗チェックポインティングは非同期で行われるようになり、イベント処理のクリティカルパスから切り離されました。これにより、ステートレスおよびステートフルパイプラインのリアルタイムモードのレイテンシが改善されます。
• transformWithStateでの初期状態ロード：transformWithStateは、カスタムステートフルロジックを構築するための強力なSpark Structured Streamingオペレーターです。ユーザーは、リアルタイムモードでtransformWithStateを使用する際に、既存のクエリのチェックポイントまたはデルタテーブルから初期状態をロードできるようになりました。この機能は、ステートフル特徴量エンジニアリングにとって重要であり、「ゼロから」始めることなく、オンラインクエリに履歴コンテキストを事前に入力できます。
• UDFのメトリクスとオブザーバビリティの強化：Python UDF実行のより正確なレイテンシメトリクスが、StreamingQueryProgressリスナーを通じて表示されるようになりました。
• PythonステートフルUDFのパフォーマンス向上：特にRTMクエリにおいて、Python transformWithStateでのステートフル操作のパフォーマンスを向上させるための最適化が追加されました。

結論

RTMは、Apache Spark Structured Streamingを、運用上レイテンシに敏感なアプリケーションという新しいクラスのワークロードに拡張します。これらのアプリケーションは、ストリーミングデータに対する即時の応答を必要とします。チームが既に利用しているSpark APIにサブ秒レベルのレイテンシをもたらすことで、最も時間的制約のあるパイプラインのために、個別の専門エンジンを運用する必要がなくなります。不正検出パイプライン、パーソナライゼーションエンジン、またはML特徴量計算システムを構築する場合でも、リアルタイムモードは、Sparkのシンプルさとエコシステムの広さを備えながら、アプリケーションが必要とするレイテンシを提供します。

技術リソース

RTMを今すぐ使い始めるためのリソースを以下に示します。

• ドキュメント：Structured Streamingのリアルタイムモード
• オンデマンドビデオ：リアルタイムモードの始め方
• ブログ：リアルタイム不正検出の実現方法：Databricks Lakebaseを使用したSpark RTMの設定
• コード例：リアルタイムモードの例
• オンデマンドウェビナー：リアルタイムモード技術ディープダイブ

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事