Apache Spark™ Structured Streamingのリアルタイムモード
セカンドエンジンを必要とせず、Sparkマイクロバッチの100倍の速さとなるミリ秒単位でデータを処理
サーバーレスコンピューティングでストリーミングデータをミリ秒単位で処理
リアルタイムモード（RTM）は、運用ワークロードにおいてSparkのマイクロバッチモードと比較して最大100倍低いレイテンシーを実現し、Apache Flinkのような別エンジンの必要性を排除します。連続処理をサポートすることで、RTMは時間的な要件が厳しいワークロードのEnd-to-Endレイテンシーを最短5msまで短縮します。Apache Spark™ Declarative Pipelinesにネイティブ統合されており、データチームは非常に優れたパフォーマンスと、バージョンレスの実行、インフラの自動アップグレード、ダウンタイムほぼゼロのメンテナンスなどのフルマネージドサービスのメリットを享受できます。
統合実行エンジンにより運用ワークロードの可能性を解放
ロジックの乖離とコードベースの重複を最小限に抑える
大規模なバッチ学習と超低レイテンシーのリアルタイム推論の両方に同じSpark APIを使用できます。RTMによりシームレスな拡張が可能になり、わずか1行のコード変更でパイプラインを毎時のバッチ処理から継続的なストリーミング処理へ移行でき、複雑なデュアルエンジン構成の必要性を完全に排除できます。
Flinkよりも最大92%高速にイベントを処理
RTMは1秒未満での意思決定を目的に設計されており、リアルタイム不正検知やリアルタイムパーソナライズなどのユースケースで効果を発揮します。連続的なデータフロー、パイプラインスケジューリング、ストリーミングシャッフルにより、RTMは厳しい運用ワークロード全体で40msから300msという厳密なP99レイテンシーを達成します。
マイクロバッチ比で最大100倍低いレイテンシーを実現
1行の設定変更だけで、分単位のETLからミリ秒単位の運用ストリーミングへと移行できます。サポート対象のワークロードにおいて、RTMは標準的なマイクロバッチよりも最大100倍低いレイテンシーを実現し、同一のSparkエコシステム内でアプリケーションを動かすことができます。
リアルタイムモードの詳細を見る
その他の製品を見る
Databricks Data + AI Platformで、統合されたその他のインテリジェントな機能をご覧ください。
Apache Spark™ Declarative Pipelines
自動化されたデータ品質管理、変更データキャプチャ（CDC）、データインジェスチョン、変換、統一されたガバナンスにより、バッチおよびストリーミングETLを簡素化します。
Genie Code
データを理解する自律型AIを用いてデータパイプラインを構築・維持します。
Zerobus Ingest
イベントデータをレイクハウスにニアリアルタイムで直接転送します。Direct write APIは高ス ループットと大規模なパフォーマンスで運用負荷を軽減します。
Unity Catalog
Databricks Data + AI Platformに組み込まれた、業界唯一のデータとAIのための統合オープンガバナンスソリューションで、すべてのデータ資産をシームレスにガバナンスします。
次のステップへ
リアルタイムモード（RTM）に関するFAQ
リアルタイムモードは、Apache Spark Structured Streamingが進化したもので、Sparkマイクロバッチ実行と比べて100倍低いレイテンシーを実現します。
パイプラインスケジュ ーリングを活用してクエリステージを同時に実行し、ストリーミングシャッフルによりタスク間で即座にデータを渡すことで、レイテンシーのボトルネックを解消します。
このアーキテクチャにより、対応する運用ストリーミングワークロードにおいてSparkのマイクロバッチモードよりも最大100倍低いレイテンシーが提供され、処理時間が秒単位からミリ秒単位へと短縮され、End-to-Endのレイテンシーは最短5ミリ秒まで低減されます。