Apache Spark™ 構造化ストリーミングにおけるリアルタイムモード
専用のセカンド エンジンを維持しなくても、Spark API でミリ秒単位でデータを処理できます。
Serverless コンピュートでストリーミング データをミリ秒単位で処理
リアルタイムモード（RTM）は、使い慣れた Spark API でミリ秒レベルのレイテンシを実現し、Apache Flink のような個別のエンジンは不要です。RTM は継続的な処理をサポートすることで、タイムクリティ カルなワークロードに対して 5 ミリ秒という低いレイテンシを達成します。Apache Spark宣言型パイプラインにネイティブに統合されているため、データチームは最高のパフォーマンスを達成し、バージョンレス実行、インフラストラクチャの自動アップグレード、ダウンタイムがほぼゼロのメンテナンスといったマネージドサービスのメリットを確実に享受できます。
統合された実行エンジンでオペレーショナル ワークロードを実現
ロジックのdriftとコードベースの重複を最小化
大規模なバッチトレーニングと超低レイテンシのリアルタイム推論に、同じSpark APIを使用します。RTMはシームレスなスケーラビリティを実現し、1回のコード変更でパイプラインを時間単位のバッチから継続的なストリーミングに移行できるため、複雑なデュアルエンジンアーキテクチャがまったく不要になります。
Flink よりも最大 92% 高速にイベントを処理
RTMは、1秒未満の意思決定ができるように設計されており、ライブでの不正検知やリアルタイム パーソナライゼーションなどのユースケースで効果を発揮します。RTMは、継続的なデータフロー、パイプラインスケジューリング、ストリーミングシャッフルを通じて、要求の厳しい運用ワークロード全体で40msから300msの厳密なP99レイテンシを達成します。
リアルタイムモードの詳細
さらに詳しく
Databricksデータ インテリジェンス プラットフォームで、その他の統合されたインテリジェントなオファリングをご覧ください。
Apache Spark™ 宣言型パイプライン
自動化されたデータ品質、チェンジデータキャプチャ（CDC）、データ取り込み、変換、統合ガバナンスにより、バッチおよびストリーミングETLを簡素化します。
Genie Code
データを理解するエージェント型AIを使用して、データパイプラインを構築・維持できます。
Zerobus Ingest
イベントデータをほぼリアルタイムでレイクハウスに直接プッシュできます。ダイレクトライトAPIは、大規模な環境での高throughputと高パフォーマンスにより、運用上の負担を軽減します。
Unity Catalog
Databricksデータインテリジェンスプラットフォームに組み込まれた、データとAIのための業界唯一の統合されたオープンなガバナンスソリューションで、すべてのデータ資産をシームレスに統制します。