2025年の振り返り：Databricks SQL ー あらゆるワークロードでさらなる高速化

ほとんどのデータチームにとって、パフォーマンスとはもはや1回限りのチューニングのことではありません。データ、ユーザー、ガバナンスの規模が拡大するにつれて、コストを増やすことなくアナリティクスを高速化することが重要です。

Databricks SQL（DBSQL） では、 その期待がプラットフォームに組み込まれています。2025年には、本番運用のワークロード全体の平均 パフォーマンスが最大40%向上しました 。チューニング、クエリの書き換え、手動での介入は一切不要です。

全体像は、単一のベンチマークにとどまりません。プラットフォーム全体のパフォーマンスが向上しました。ダッシュボードの読み込みはより速く、パイプラインはより効率的になり、ガバナンスと共有データが整備された状態でもクエリーの応答性は維持されます。その一方で、地理空間アナリティクスとAI機能は、複雑さを増すことなく拡張し続けています。

目標はシンプルです。defaultでワークロードを高速化し、総コストを削減することです。DBSQL Serverless、Unity Catalogマネージドテーブル、予測的最適化により、環境全体に改善が自動的に適用されるため、エンジンが進化するにつれて既存のワークロードがその恩恵を受けられます。

この記事では、クエリエンジン、Unity Catalog、Delta Sharing、ストレージ、空間SQL、AI関数にわたって2025年に実現されたパフォーマンスの向上について詳しく解説します。

あらゆるワークロードで高速なクエリーパフォーマンス

Databricks SQLは、本番運用で繰り返し実行される数百万もの実際のお客様のクエリーを使用してパフォーマンスを測定します。これらのワークロードの経時的な変化を追跡することで、分離されたベンチマークではなく、プラットフォームの改善と最適化の実際の影響を測定します。

2025年、Databricks SQLはすべての主要なワークロードタイプにわたって一貫したパフォーマンスの向上を実現しました。これらの改善は、Predictive クエリー ExecutionやPhoton Vectorized Shuffleなどのエンジンレベルの最適化を通じて、設定変更を必要とせずにデフォルトで適用されます。

• 探索的ワークロードで最大の向上が見られ、 平均で40%高速に実行されるようになり、アナリストやデータサイエンティストは大規模なデータセットでより迅速にイテレーションできるようになりました。
• ビジネス インテリジェンスのワークロードは約 20% 向上し、その結果、ダッシュボードの応答性が向上し、コンカレンシー下でのインタラクティブな分析がよりスムーズになりました。
• ETLワークロード も恩恵を受け、およそ 10%高速化 し、手直しなしでパイプラインのランタイムが短縮されました。

1年前にDatabricks SQLを最後に評価した場合でも、既存のワークロードは現在、すでに高速で実行されています。

Unity Catalogでガバナンスが拡張しても高速性を維持するアナリティクス

データ資産が拡大するにつれて、ガバナンスが隠れたレイテンシのソースになることがよくあります。権限チェック、メタデータアクセス、リネージルックアップは、特にインタラクティブ環境やhigh concurrency環境においてクエリーを低速化させる可能性があります。

2025年、Unity Catalog はこのオーバーヘッドを大幅に削減しました。 エンドツーエンドのカタログのレイテンシは最大10倍改善され、これはカタログサービス、ネットワークスタック、Databricks Runtime クライアント、および依存サービスにわたる最適化によるものです。 

その結果は、最も重要な点で明らかです。

• ダッシュボードは、きめ細かいアクセス制御を行っても応答性を維持します。
• 高同時実行ワークロードは、メタデータ アクセスによるボトルネックなしでスケーリングします。
• インタラクティブなアナリティクスは、ユーザーが管理されたデータを大規模に探索する際に、より高速に感じられます。

チームはもはや、強力なガバナンスとパフォーマンスのどちらかを選択する必要はありません。Unity Catalogを使用すると、より多くのデータとユーザーにガバナンスが拡大しても、アナリティクスの高速性が維持されます。

Delta Sharing、ネイティブデータのように機能する共有データ

チームや組織をまたいだデータ共有には、従来コストが伴いました。共有テーブルに対するクエリーは、ネイティブデータと比較して実行が遅くなることが多く、最適化も不均一に適用されていました。

2025年、Databricks SQLはそのギャップを埋めました。クエリー実行と統計伝播の改善により、Delta Sharingを介して共有されたテーブルに対するクエリーは最大30%高速化され、共有データのパフォーマンスがネイティブテーブルと同等になりました。

この変更は、外部データを内部データと同様に扱う必要があるシナリオで最も重要になります。データMarketplace、組織横断的なアナリティクス、パートナー主導のレポート作成を、対話性や予測可能性を犠牲にすることなく、共有データセットで実行できるようになりました。

Delta Sharingを使用すると、チームは最新のアナリティクスに期待されるパフォーマンスを維持しながら、ガバナンスの効いたデータを広範囲に共有できます。

ストレージコストの削減、組み込みの自動最適化

データ量が増加するにつれて、ストレージ効率が総コストに占める割合は大きくなります。圧縮はきわめて重要な役割を果たしますが、フォーマットの選択や移行の管理には、従来から運用上のオーバーヘッドが伴いました。

2025年、Databricksはすべての新しいUnity CatalogマネージドテーブルでZstandard圧縮をdefaultにしました。Zstandardはオープンソースの圧縮形式で、古い形式と比較してクエリーのパフォーマンスを低下させることなく、最大40%のストレージコスト削減を実現します。

これらのメリットは新しいテーブルに自動的に適用され、既存のテーブルもZstandardに移行できます。簡単な移行ツールもまもなく提供される予定です。大規模なファクトテーブル、長期保存データセット、急速に成長しているドメインでは、クエリーの記述や実行方法を変更することなく、即座にコストを削減できます。

その結果、パフォーマンスを犠牲にしたり、新しいチューニングステップを追加したりすることなく、デフォルトでストレージコストが削減されます。

専用システムなしでの地理空間アナリティクス

地理空間アナリティクスは、クエリーの実行に大きな負荷をかけます。空間結合、範囲クエリー、幾何学的計算はコンピュート負荷が高く、大規模になると特殊なシステムや慎重なチューニングが必要になることがよくあります。

2025年、Databricks SQLはこれらのワークロードのパフォーマンスを大幅に向上させました。空間SQLクエリの実行速度は最大17倍高速化しました。これは、Rツリーインデックス作成、Photonでの最適化された空間結合、インテリジェントな範囲結合最適化などのエンジンレベルの最適化によるものです。

これらの改善により、チームは標準SQLを使用して位置データを扱うことができ、エンジンは実行の複雑さを自動的に処理します。リアルタイムの位置情報アナリティクス、大規模なジオフェンシング、地理情報のエンリッチメントなどのユースケースは、データ量の増加に伴い、より高速かつ一貫して実行されます。

空間アナリティクスには、もはや個別のツールや手動での最適化は必要ありません。複雑な地理空間ワークロードは、Databricks SQL内で直接スケールします。

AI Functions、SQLで直接利用できるスケーラブルなAI

データへのAIの適用には、従来ウェアハウス外での作業が必要でした。テキスト分類、ドキュメント解析、翻訳は、多くの場合、個別のパイプラインの構築、モデルインフラの管理、そして結果をアナリティクスのワークフローに再統合することを意味していました。

AI関数は、AIをSQLに直接導入することで、そのモデルを簡素化します。2025年、Databricks SQLはこれらの機能の規模とパフォーマンスを大幅に拡張しました。新しいバッチ最適化インフラストラクチャは、 ai_classify 、 ai_summarize 、 ai_translate などの関数で 最大85倍のパフォーマンス高速化 を実現し、かつては何時間もかかっていた大規模なバッチジョブが数分で完了できるようになりました。

Databricksは ai_parse_document も導入し、大規模処理向けに迅速に最適化しました。Databricks Model Servingでホストされている、ドキュメント理解のための専用モデルは、汎用の代替手段と比較して 最大30倍高速なパフォーマンス を実現し、分析ワークフロー内で大量の非構造化コンテンツを直接処理することを可能にしました。

これらの改善により、使い慣れたSQLインターフェースを使用して、インテリジェントなドキュメント処理、非構造化データからの知見の抽出、予測分析が可能になります。AIワークロードは、個別のシステムやカスタムパイプラインを必要とすることなく、アナリティクスワークロードと並行して拡張できます。

AI Functionsにより、Databricks SQLは、warehouseに期待されるシンプルさとパフォーマンスを維持しながら、アナリティクスの枠を超えてAIを活用したワークロードにまで拡張されます。

まずはここから

これらの改善はすべて Databricks SQL Serverless にすでに導入されており、有効化や設定は不要です。

DBSQL Serverlessをまだお試しでない場合は、サーバーレスウェアハウスを作成してクエリを開始してください。既存のワークロードはすぐに恩恵を受け、プラットフォームが進化し続けるにつれて、パフォーマンスとコストの改善が自動的に適用されます。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事