2026年6月16日

Lakehouse//RTのご紹介：統合レイクハウス上でのリアルタイムパフォーマンス

Databricksの新しいリアルタイムデータウェアハウスは、個別のシステムやデータ移動を行うことなく、レイクハウス上で直接ミリ秒単位のレスポンスを提供します。

によって Nong Li, Shoumik Palkar, シャント・ホヴセピアン, モスタファ・モクタル、 Reynold Xin（レイノルド・シン）による投稿

Databricksは、新しいリアルタイムエンジンReydenを搭載したLakehouse//RTをリリースし、データの移動なしにレイクハウス上で直接ミリ秒単位のクエリ速度を提供します。
プレビューユーザーは、リアルタイムサービングレイヤーと比較して最大16倍のパフォーマンス向上を達成しており、小規模なデータセットではわずか10ms、大規模なデータセットでも100ms未満の応答時間を実現しています。
これにより、リアルタイムサービングと一元化されたUnity Catalogのガバナンスを統合することで、複雑なアーキテクチャや余分なパイプラインが不要になります。

私たちがレイクハウスアーキテクチャを導入したとき、私たちのビジョンは、データレイクとデータウェアハウスの間の分断を解消し、すべてのデータニーズに対応する単一の統合プラットフォームを構築することでした。私たちは、Databricks Lakehouseによってこれが可能であることを証明しました。オープンデータを使用し、分析、BI、AI、ETLにおける多様なワークロードを単一のプラットフォームに統合することで、重複を排除し、ガバナンスを一元化しました。

現在、私たちはリアルタイムサービングをコアデータプラットフォームと統合しています。今日、これは個別のサービングレイヤーや専用のエンジンを使用することで最も一般的に実現されています。その結果、データがサイロ化されたコピーとなり、データアーキテクチャに複雑さ、コスト、リスクをもたらすことになります。

Databricksは、ミリ秒単位のパフォーマンスをレイクハウスに直接もたらすことを発表できることを嬉しく思います。運用分析、BI、アプリサービング、オブザーバビリティのワークロード向けに設計された、Databricksの新しいリアルタイムデータウェアハウスであるLakehouse//RTをご紹介します。Lakehouse//RTは、高コンカレンシーで即時の応答性を必要とするリアルタイムワークロード向けの画期的な新エンジンであるReydenを搭載しています。

個別のサービングレイヤー：破綻した妥協案

組織がユーザー、アプリケーション、ダッシュボード、エージェント全体でデータアクセスを拡大するにつれて、高コンカレンシー下でのリアルタイムな応答性に対する需要は高まり続けています。従来の解決策は、専用のサービングレイヤーを導入することでした。読み取りは高速ですが、このアプローチではデータを新しいレイヤーにコピーする必要があり、プラットフォームの他の部分からデータを隔離すると同時に、環境全体の複雑さを増大させます。

データを個別のサービングレイヤーにコピーすることは、無料ではありません。単一のクエリを処理する前に、3重の代償を払うことになります。

重複という代償。 DeltaやIcebergなどのオープンフォーマットからデータを抽出し、他のエンジンでは読み取れない独自のストレージにコピーします。その結果、2つ目のインジェストパイプライン、同期が切れるたびに発生する新たな障害モード、そしてソースデータが変更されるたびに発生する新たな運用オーバーヘッドを抱えることになります。
ガバナンスという代償。 Unity Catalogで一度定義したセキュリティポリシー、アクセス制御、ビジネスロジックは、サービングレイヤーのデータには引き継がれません。そのため、別の場所で再度定義することになります。両者が乖離した瞬間、一貫性のないルール、断片化されたアクセス、およびセキュリティチームが説明を迫られるギャップが生じます。
エンジニアリングという代償。 誰かがそのパイプラインを管理し、同期エラーをデバッグし、2つ目のクラスターを運用しなければなりません。レイテンシーに最も敏感なワークロードに最も近いエンジニアが、プロダクト開発ではなく、インフラの整備に日々を費やすことになります。

さらに厄介なことに、これら3つのコストを支払った後でも、サービングレイヤーはすべてのクエリを実行できるわけではありません。クエリが複雑になったり（例：結合、ウィンドウ関数）、データが大規模になったりした瞬間に、破綻してしまいます。

Lakehouse//RT：Reydenが実現するリアルタイムパフォーマンス

Lakehouse//RTは、データの移動なしに、大規模なスケールでミリ秒単位のパフォーマンスを提供する新しいリアルタイムウェアハウスです。すでに分析やAIを支えているものと同じオープンフォーマット、ガバナンスモデル、中央データアーキテクチャを引き続き使用しながら、リアルタイムワークロードをサポートできます。

プレビュー参加者は、リアルタイムサービングレイヤーと比較して最大16倍優れたパフォーマンスを確認しており、小規模なデータセットではわずか10ミリ秒、大規模なデータセットでも100ミリ秒未満の応答時間を達成しています。標準的な分析ベンチマークにおいて、Lakehouse//RTは毎秒12,000クエリで100ミリ秒未満のレイテンシーを実現します。

しかし、単一のベンチマークにおける1つの数値を都合よく選ぶのは簡単です。本当の試練は、より多くのデータ、より困難なクエリ、そしてより重い負荷の下でも、その速度が維持されるかどうかです。

Lakehouse//RTはベンチマーク全体で優れたパフォーマンスを発揮

この新しいアプローチにより、他のデータウェアハウスや専用のリアルタイムエンジンでは速度が急低下したり、完全に失敗したりするような、大規模および小規模なデータセットの両方において、Lakehouse//RTは毎秒数千クエリでも低レイテンシーを維持できます。

3つの次元におけるその様子は以下の通りです。

1. 負荷下において：単一のクエリで低レイテンシーを実現するのは簡単です。課題は、ダッシュボードやアプリケーションがシステムに対して同時に数千のクエリを実行する場合に生じます。エンドユーザーが分析アプリケーションを開いたときに、ロードされるまで数秒、あるいは数分も待たされるような事態は避けたいものです。私たちは、スループットを毎秒数クエリから数千クエリへと引き上げながら、主要な代替製品とLakehouse//RTのクエリレイテンシーをテストしました。代替製品はすべて同じように動作します。レイテンシーはしばらく維持されますが、その後上昇し、最終的にはエンジンが完全に反応しなくなります。Lakehouse//RTは全範囲にわたってフラットな状態を維持し、クエリレイテンシーを犠牲にすることなく、毎秒数千クエリまでスケールします。

2. スケールにおいて：このテストは、標準的な意思決定支援ベンチマークであるTPCHに基づいています。私たちは、大規模なテーブルスキャン、複数テーブルの結合、集計を組み合わせた売上スキーマ（日常的なビジネスレポートの形式）に対して、一連のクエリを実行しました。使用量と履歴が蓄積されるにつれてすべてのデータセットがたどる経路として、小規模なデータセットからテラバイト規模まで実行しました。Lakehouse//RTはデータが増大してもレイテンシーを低く維持し、グラフはスケールファクター全体でパフォーマンスがどのように維持されるかを示しています。残念ながら、大規模なスケールファクターでは、テストした3つの代替製品のうち2つが実行に失敗しました。これは、これらのリアルタイムのサイドスタックが、意味のあるデータサイズを処理できないことをさらに浮き彫りにしています。

3. 最も困難なクエリにおいて：このテストは、データウェアハウス向けのより要求の厳しい意思決定支援ベンチマークであるTPCDSに基づいています。私たちは、現実的なウェアハウススキーマに対して、深い複数テーブルの結合、サブクエリ、ウィンドウ関数から構築された一連の複雑なクエリを実行しました。これは、質問が単純なルックアップをはるかに超える場合にアナリストが作成するような分析です。Lakehouse//RTは、クエリが難しくなってもレイテンシーを低く維持し、グラフは差が広がる一方であることを示しており、ある代替製品は最大25倍も遅く実行されました。そして再び、最大のスケールにおいて、その同じ代替製品は処理を完了することすらできませんでした。これは、単純なルックアップ用に構築されたリアルタイムのサイドスタックが、企業が日々実行する複雑な分析を処理できないことのさらなる証明です。

結果は3つすべてにおいて一貫しています。単一のエンジンで、データの単一のコピーに対して、負荷下でも高速、スケール時でも高速、そして最も困難なクエリでも高速です。プレビューをご利用中のお客様は、ダッシュボードからリアルタイム分析アプリケーションに至る実世界のシナリオにおいて、Lakehouse//RTで同様のパフォーマンス向上を確認しています。

統合され、適切に管理された単一のプラットフォーム上で、大規模なミリ秒単位の速度を実現

リアルタイムパフォーマンスを中央データプラットフォームと統合することで、Lakehouse//RTはアーキテクチャ上のトレードオフを排除し、リアルタイムの回答、合理化されたアーキテクチャ、一貫したガバナンスという3つの主要なメリットを提供します。

リアルタイムの回答

最も迅速で最新のインサイトを得ることが極めて重要な場合、Lakehouse//RTがそれを実現します。同時実行されるクエリの数に関係なく、ミリ秒単位の差が重要となる厳しい業界のお客様は、リアルタイムレイクハウスによってインサイト獲得までの時間を劇的に短縮しています。

初期プレビューをご利用中の一部のお客様が実感したパフォーマンス向上は以下の通りです。

「Meta Enterpriseは、サプライチェーンや財務などの自社チーム向けに分析を実行しています。そこでは、アナリストが最大のテーブルに対する重いコンカレンシー下であっても、即座に回答を得られることを期待しています。Lakehouse//RTを使用することで、個別のシステムを並行して運用することなく、レイク上のデータを使用して、通常のクエリ結果が数十ミリ秒で返ってきます。」

— Meta、データエンジニアリングリーダー、Srikanth Sakhamuri氏

「宇宙ソリューション企業であるSESは、政府の保護、企業の成長、そして人々がどこにいてもつながり続けられるよう支援しています。統合されたマルチオービット（複数軌道）衛星とグローバルな地上ネットワークにより、私たちは回復力のあるシームレスな接続性を提供しています。当社の運用ダッシュボードは、数十億行のライブテレメトリで実行されており、高いコンカレンシー下でミリ秒単位の回答を必要としています。

Lakehouse//RTは、当社のDatabricksデータ上でまさにそれを直接実現します。レイテンシー要件を満たすために個別のサービングレイヤーを運用する必要がなくなったため、以前のクエリ時間よりも20倍高速になり、わずかなコストで実現できています。」

— SES、シニアデータクラウドアーキテクト、Dennis Rossberg氏

"Enverusは、エネルギー業界のAIおよびデータプラットフォームであり、25年以上にわたる独自のインテリジェンスに基づいて構築されています。2.7ペタバイトの継続的に更新されるデータ、3億5,000万件以上の裁判所記録、そしてエネルギーのバリューチェーン全体をカバーする年間5,000億ドル以上の取引データを備えています。これは、アナリストや組み込みアプリのトラフィックがスケールしても、当社の分析がインタラクティブであり続けなければならないことを意味します。

Lakehouse//RTを使用することで、一部のクエリでは数十ミリ秒で結果が返され、その他のクエリでは、当社の専用リアルタイムエンジンよりも最大100倍高速に処理されます。このパフォーマンスにより、個別の分析スタックを単一の統合されたLakehouseに集約することができます。」

— Paul Lamb氏（Enverus、エンタープライズアナリティクス担当ディレクター）

シンプルなアーキテクチャ

データのコピーや移動、追加のパイプライン構築を行う代わりに、チームは単一の俊敏なプラットフォームを信頼して、独自のツールを使うことなく必要なコンピュートパワーを得ることができます。これにより、複雑さが軽減され、システムの無秩序な拡大を防ぐことができます。

「当社のプラットフォームは、クライアントベース全体にわたるリアルタイムのパフォーマンスデータに対して、1秒あたり数百ものクエリを処理しているため、一貫性とレイテンシが顧客体験に直接影響します。

Lakehouse//RTにより、コアダッシュボードのクエリで一貫して200ミリ秒未満のパフォーマンスが実現されています。ガバナンスが適用されたレイクハウスデータ上でこれを直接達成できることは、当社のパイプラインとサービングアーキテクチャを劇的に簡素化します。」

— Kayvon Raphael氏（Magnite、エンジニアリング担当シニアディレクター）

「脅威の検索には、ユーザーやエージェント全体で利用規模が拡大しても、一貫して低いレイテンシが求められます。Lakehouse//RTで実証されているのは、ライブデータに対するミリ秒単位のパフォーマンスと、レスポンス時間の5倍の向上です。これにより、個別のサービングシステムを維持する代わりに、これらのワークロードをレイクハウス上で実行する道が開かれます。」

— Chris Kopek氏（Cisco、データプラットフォーム責任者）

「Halcyonでは、当社のチームが数百万のエンドポイントにわたるセキュリティデータを監視し、異種シグナルを相関させて、重大な脅威を数秒以内に特定しています。お客様のセキュリティニーズが高まるにつれ、当社のシステムへの負荷も増大しました。

Lakehouse//RTは、私たちが必要としていたパフォーマンスと同時実行性を提供してくれました。現在、当社の重要なクエリは、個別のキャッシュシステムを使用することなく、レイクハウス上で直接、約4倍高速に実行されています。」

— Seagen Levites氏（Halcyon AI、定量的分析担当シニアディレクター）

強力で一貫したガバナンス

同時に、ガバナンスは一元化されたままです。セキュリティポリシー、権限、アクセス制御、ビジネスロジックは、Unity Catalogによって一貫して定義および適用されます。チームがルールを重複して作成したり、破綻したガバナンスに対処したりする必要はありません。一度設定すれば、どこでも機能します。

「Lakehouse//RTは、当社のヘルスケアデータセットにおいて、以前のウェアハウスよりも平均で3分の1以上高速に動作し、[一部のワークロードでは]10倍高速なクエリを実現しました。これは、お客様にとってより迅速な情報アクセスと、意思決定のための時間の増加に直接つながります。レイクハウスアーキテクチャを拡張するために専用のリアルタイムシステムを検討していましたが、Lakehouse//RTはその必要性をなくし、一貫したガバナンスとともに、そのスピードをネイティブに提供してくれました。」

— Mehrshad Setayesh氏（PointClickCare、エンジニアリング（データ、プラットフォーム、AI）担当SVP）

「Bally'sは、業界最大級のグローバルなゲーミングおよびロトテクノロジーグループの1つであり、Unity Catalogの下のDelta Lakeにある約60TBのデータ全体で、1日に数百万件のトランザクションを処理しています。当社の運用チームは数秒で回答を得る必要があり、それを実現するために、レイクハウスと並行して個別の低レイテンシサービングシステムを運用していました。Lakehouse//RTはそのトレードオフを解消します。ガバナンスが適用されたDeltaテーブルから直接、同じデータに対して7倍高速で1秒未満のパフォーマンスを実現します。コピーも、余分なクラスターも、保護すべき第2のシステムも必要ありません。

このシンプルさは、規制の厳しい業界において特に重要です。そこでは、データガバナンス、セキュリティ、プライバシーの最高水準を維持することが、当社の業務の基本だからです。」

— Mark Borg氏（Bally’s、データ担当シニアバイスプレジデント）

「Equilibrium Energyは、エネルギー取引のあり方を再定義しています。AIエージェントが人間のトレーダーと連携し、数十の異なるソースから取得したライブデータに基づいて、市場が実際に求めるスピードで稼働しています。これは、ほとんどのリアルタイムアーキテクチャでは追いつけないワークロードです。Lakehouse//RTは、ポータルクエリにおいてSQL Serverlessよりも最大3.6倍高速な中央値レイテンシを実現しました。これにより、トレーダーはデータを待つことなく、データを使って思考を巡らせることができます。シナリオの実行、AIエージェントとの探索、および数秒での意思決定が可能になります。

スタックに個別のリアルタイムレイヤーを継ぎはぎするのではなく、すべてを単一のプラットフォームに維持することで、ガバナンスを犠牲にすることなく、このスピードで前進することができます。」

— Tarek Rached氏（Equilibrium Energy、データプラットフォーム担当ディレクター）

パートナー

プレビュー版をご利用中のお客様に加え、Databricksの主要なグローバルパートナーの一部も、すでにLakehouse//RTのビジョンを共有しています。パートナー各社は、これが市場にもたらす驚異的な可能性を認識しており、リアルタイムデータウェアハウスへの道を切り開くために、当社とのコラボレーションを熱望しています。

「デロイトとDatabricksの提携は、組織がデータを戦略的でAI対応の資産へと変換できるよう支援する中で、引き続き素晴らしい勢いを見せています。Lakehouse//RTのローンチは、高度な分析を促進し、価値実現までの時間を短縮するために必要なリアルタイム機能を提供する、大きな飛躍を意味します。Databricksとのコラボレーションを深め、この最新のイノベーションをクライアントに提供して、測定可能でインパクトのあるビジネス成果を推進できることを嬉しく思います。」

「新たなビジネスグループの立ち上げにより、Databricksとのパートナーシップの勢いが加速する中、リアルタイムデータとAIに対する企業の需要はかつてないほど明確になっています。Lakehouse//RTのローンチは、クライアントがインテリジェントなビジネス変革を推進するために必要なスピードとオープンなアーキテクチャを提供します。Databricksとの旅を続け、新たな可能性を切り開くことを楽しみにしています。」

— Jigyasa Singh氏（Accenture、グローバルDatabricksビジネスグループリード）

accenture logo

「SigmaがLakehouse//RT、Agent Bricks、Genie Agents、およびLakebaseに直接接続できるようになったことで、共通のお客様は、大規模環境で1秒未満のクエリパフォーマンスを実現し、使い慣れたスプレッドシートインターフェースを通じて数十億行を探索し、そのデータに基づいて動作するエージェントを構築し、メモリや状態などを含むエージェントのワークフロー全体を管理できるようになります。これらはすべて、すでに信頼しているガバナンス環境から離れることなく実行できます。

エンタープライズAIにおける最も困難な部分は、モデルの構築ではありません。実際の権限の下で、実際のビジネスデータに基づいて、エージェントを大規模に動作させることです。これこそが、SigmaとDatabricksが共同で解決する課題です。」

— Mike Palmer氏（Sigma、CEO）

新しいエンジンと新しいコンピュートモデル

パフォーマンス、シンプルさ、ガバナンスのメリットに加えて、Lakehouse//RTはチームの意思決定の負担も軽減します。

自動サイジング（AUTO sizing）：Tシャツのサイズ（S/M/Lなど）を選ぶ必要はもうありません。Databricksがワークロードに適したベースラインコンピュートを自動的に決定するため、推測に頼る必要がなく、クエリが遅くなったときにサイズを上げたり、コストを節約するためにサイズを下げたりする手間の繰り返しも発生しません。

段階的な自動スケーリング（Incremental autoscaling）：従来のウェアハウスは、システム全体のコピーを2倍、3倍、4倍と起動することで、より多くの同時実行を処理します。需要がわずかに増加しただけでも、請求額が2倍になる可能性があります。Lakehouse//RTは、負荷の変化に応じて個々のノードを追加または削除することでスケーリングするため、必要な容量を正確に確保し、その分だけを支払うことができます。

リアルタイムワークロードをレイクハウスに集約する

Databricksは、最新の分析とAIに必要なスケールとオープン性を長年にわたり提供してきました。組織は、低レイテンシのパフォーマンスと、オープンで統合されたデータアーキテクチャのどちらかを選択する必要はもうありません。これ以上、断片化されたスタックは必要ありません。必要なのは、より高機能なデータウェアハウスです。

Lakehouse//RTは、一部の読み取り専用ワークロード向けにベータ版としてご利用いただけるようになりました。今後数ヶ月の間に、さらに多くの機能が追加される予定です。ご利用を開始し、リアルタイムワークロードをレイクハウスに移行するには、Databricksのアカウントチームまでお問い合わせください。導入キャンペーンとして、2027年1月までLakehouse//RTの使用料金が30%オフになります。準備が整ったら、ウェアハウスセレクターからLakehouse//RTを選択するだけで、すぐに使い始めることができます。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事