わずか3年で5倍高速化！ Databricks SQL がワークロードを劇的に加速

2022年以降、Databricks SQL（DBSQL）Serverless は実際の顧客ワークロードにおいて 最大5倍のパフォーマンス向上 を実現してきました。
たとえば、100秒かかっていたダッシュボードの表示がわずか20秒に短縮されたケースもあります。
しかも、これらの高速化はすべて エンジンの継続的な自動改善によるもので、パフォーマンスチューニングは一切不要でした。

 

さらに進化：予測型クエリ実行 & ベクトル化シャッフル

本日発表された Predictive Query Execution と Photon Vectorized Shuffle により、
既存の5倍高速化に加え、さらに最大25％のクエリ高速化が自動で適用されます。

つまり、これまで20秒だったダッシュボードが、およそ15秒にまで短縮される可能性もあります。

これらの新しいエンジン改善は、すべての DBSQL Serverless ウェアハウスに自動で反映され、追加コストは一切かかりません。

Predictive Query Execution：リアクティブな修復から、リアルタイム制御へ

Apache Spark に導入されたAdaptive Query Execution（AQE） は、クエリ最適化の大きな進歩でした。
実行中のデータサイズに基づいて クエリを動的に再プランニングできるようになったのです。

しかし AQE には1つの大きな制約がありました。
それは、クエリの実行ステージが完了して初めて再プランが可能という点です。
この遅延のせいで、データスキューやスピルの多発といった問題に対し、手遅れになるまで気づけないことがありました。

Predictive Query Execution（PQE）は、これを根本から変えます。

クエリエンジン内部に継続的なフィードバックループを構築することで、
以下のようなリアルタイム制御を実現します：

• 実行中のタスクをリアルタイムに監視し、スピルサイズやCPU使用率などのメトリクスを収集

• 必要に応じて、軽量かつインテリジェントな判断ロジックで介入を決定

• 問題が予測された場合は、その場で該当ステージをキャンセル＆再プランニング
  → ムダな処理を回避し、クエリの安定性と効率を大幅に向上

結果として得られるのは――

クエリの高速化、想定外の挙動の削減、そしてより予測可能なパフォーマンスです。
特に、複雑なパイプラインや混在ワークロードにおいて大きな効果を発揮します。

Photon Vectorized Shuffle：クエリを速く、設計をスマートに

Photon は、C++ でネイティブに実装されたエンジンで、データをカラム形式のバッチで処理し、最新の CPU を活用したベクトル化処理によって
SQL クエリを従来よりも数倍高速に実行できます。

その中でも特に負荷の高い処理のひとつが シャッフル（shuffle） です。これはクエリのステージ間で大規模データを再構成する操作で、
処理の中でもっとも最適化が難しい領域として知られています。

なぜシャッフルは最適化が難しいのか？

• シャッフル処理ではランダムメモリアクセスが大量に発生

• 通常、このアクセス回数を減らすにはデータの書き換えが必要

• しかし、私たちは視点を変え、
  「アクセス回数を減らすのではなく、アクセス間の距離を縮める」という発想に至りました

その結果――

Photon のシャッフル処理を ゼロから再設計し、
カラムベースのシャッフルによって キャッシュ効率とメモリ効率を大幅に改善しました。

新しいシャッフルコンポーネントは、

• データを効率的に移動し

• 処理命令を削減し

• キャッシュを意識した設計により

特に CPU バウンドなワークロード（大規模ジョインなど） において、1.5 倍のスループット向上を実現しています。

主なポイントまとめ

✅ 最大25%のクエリ高速化を自動で実現

社内の TPC-DS ベンチマークや実際の顧客ワークロードにおいて、
一切のチューニングなしでレイテンシが継続的に改善されることが確認されています。

✅ 設定不要、再デプロイ不要、ただ結果が出るだけ

今回のアップグレードは、DBSQL Serverless の全ウェアハウスに順次自動で適用中。
設定の変更や再デプロイは一切不要です。

✅ 特に効果が大きいのは CPU バウンドなワークロード

ジョインやファネルロジックの多いパイプラインでは、
処理時間が数分単位で短縮されるケースもあります。

使い始めるには？

このアップグレードはすでに すべての DBSQL Serverless ウェアハウスにロールアウト中。
特別な対応は不要で、すぐにご利用いただけます。

まだ DBSQL Serverless を試したことがない方にとっても、
今がまさに絶好のタイミングです。

Serverless は Lakehouse 上での分析をもっとも簡単に実行する方法です：

• インフラ管理不要

• 瞬時にスケーラブル

• パフォーマンス最適化済みでチューニング不要

DBSQL Serverless ウェアハウスを作成し、すぐにクエリを実行開始できます。
Databricks SQL をまだご利用でない方は、サーバーレスSQLウェアハウスの有効化をご確認ください。