Databricks SQL 最新アップデート！2025年2月版

 

Databricks SQLは、新機能とパフォーマンス向上を重ねながら、よりシンプルで高速、そしてコスト効率の高いプラットフォームへと進化し続けています。Databricks Data + AI Platformのレイクハウスアーキテクチャ上に構築され、11,000社以上の企業がデータワークロードの基盤として信頼しています。

本ブログでは、過去3か月間の主要アップデートを紹介します。2024年のGartner® Magic Quadrant™ for Cloud Database Management Systems への選出をはじめ、AI/BIの強化、インテリジェントなユーザー体験の向上、管理機能の改善など、最新の進化を詳しく解説します。

BladeBridgeでデータ移行を加速！

Databricksは、エンタープライズ向けデータウェアハウスのAI駆動型移行ソリューションを提供するBladeBridgeを新たに迎えました。DatabricksとBladeBridgeが協力することで、企業はOracle、SQL Server、Snowflake、Redshiftなどのレガシーなデータウェアハウスを、Databricks SQL（DBSQL）へ迅速に移行できるようになります。DBSQLは、Databricksが生み出した革新的なレイクハウスアーキテクチャを基盤とするデータウェアハウスです。

BladeBridgeは、以下の機能を提供し、移行プロセスを大幅に効率化します。

• 移行範囲の明確な可視化
• 設定可能なコードトランスパイル
• LLM（大規模言語モデル）を活用したコード変換
• 移行後のシステムの簡単な検証

BladeBridgeのAIを活用したアプローチにより、Teradata、Oracle、Snowflake、SQL Server、Amazon Redshift、Azure Synapse Analytics、Hive など20以上のレガシーデータウェアハウスやETLツールを、従来の手法と比べ50%以上速く移行できます。

詳しくは公式発表のブログをご覧ください！

インテリジェントなユーザー体験の向上

Databricksは、SQLアナリストの業務をより直感的で効率的、かつ魅力的なものにすることに注力しています。AIをプロダクト全体に組み込むことで、反復的な作業に費やす時間を削減し、より価値の高い業務に集中できるようになります。

AI/BI の進化

2024年秋にローンチされたAI/BI機能の拡張を続けており、Genieやダッシュボードに新機能を追加しています。今後もさらなるアップデートを予定しています。

ダッシュボードの最新アップデート

• AIアシストの強化（より精度の高いチャート生成をサポート）
• ウィジェットのコピー＆ペースト機能（異なるページ間での活用が可能）
• ピボットテーブル＆ポイントマップのアップグレード（データ探索の柔軟性向上）

Genieの機能向上

• 質問のベンチマーク機能を強化（より正確な評価を実現）
• ビジュアライゼーションの編集＆サイズ変更が可能に（レポート作成の柔軟性向上）
• 回答精度の向上（ランキング結果の処理や、日付・時刻関連のクエリ管理を最適化）

最新のAI/BIアップデートについて、詳しくはこちらをご覧ください！

SQLエディタの進化

Databricksは、SQLの作成・編集体験をより効率的にするため、継続的に改善を行っています。

前四半期の最大のアップデートの一つは、クエリのGit対応です。これにより、SQLのバージョン管理が簡単になり、CI/CDパイプラインとの統合もスムーズに行えるようになりました。

*Git対応のクエリ管理は、新しいSQLエディターを有効にすると利用可能になります。

さらに、作業効率を向上させる新機能も追加されました。

• 複数の結果を同時表示：異なるSQLステートメントの出力を並べて比較できるようになりました。
• 全データセットのフィルタリング：ブラウザに表示されている部分だけでなく、データ全体にフィルターを適用できるようになりました。
• タブの切り替え速度向上：読み込み済みタブは最大80%高速化、未読み込みタブも62%高速化し、よりスムーズにナビゲーション可能に。
• フォントサイズの調整：キーボードショートカット（Windows/Linux：Alt + / Alt—、macOS：Opt + / Opt—）でSQLエディターのフォントサイズを素早く変更できます。
• コメントの@メンション対応：コメント内で「@」+ ユーザー名を入力すると、チームメンバーをタグ付けしてリアルタイムでコラボレーションできます。メンションされたユーザーにはメール通知が届くため、常に最新の情報を共有できます。

プラットフォームの予測最適化機能

予測最適化（Predictive Optimization）は、AIを活用してすべてのワークロードのパフォーマンスを自動的に管理する機能です。Databricksでは、手動でのチューニングが不要になるよう、常に改良と新機能の追加を行っています。

 

統計情報の予測最適化

データレイクハウスでは、2種類の統計情報が活用されます。

1. データスキッピング統計（Delta statsとも呼ばれる）
2. クエリオプティマイザ統計

データスキッピング統計は自動で収集されますが、データ量の増加や利用パターンの多様化により、ANALYZEコマンドを実行する適切なタイミングを判断するのが難しくなります。また、クエリオプティマイザ統計のメンテナンスも手動で行う必要がありました。

そこで、統計情報の予測最適化のパブリックプレビュー（招待制）を導入しました！
現在、AI駆動の最適化プロセスを実現するPredictive Optimizationが一般提供されており、データレイアウトやクリーンアップの自動化をサポートしています。

ユーザーからの初期フィードバックでは、この機能がデータメンテナンスの手間を大幅に削減することが評価されています。

自動統計管理の追加により、Predictive Optimizationがもたらすメリットは以下の通りです。

• データスキッピング統計のインテリジェントな選択 → 列の順序管理が不要に
• クエリ最適化統計の自動収集 → データロード後のANALYZE実行が不要に
• 収集された統計情報はクエリの実行戦略に反映され、パフォーマンスの向上とコスト削減を実現

最新の統計情報を活用することで、パフォーマンスが大幅に向上し、総所有コスト（TCO）の削減につながります。

統計情報の有無によるクエリ実行の比較分析では、統計を活用した場合、ワークロード全体で平均22%のパフォーマンス向上が確認されました。

Databricksは、この統計情報を活用してデータスキャンプロセスを最適化し、最も効率的なクエリ実行プランを自動選択します。

このアプローチは、Data + AI Platformが実際の業務に価値をもたらす具体的な例を示しています。

詳しくはこのブログをご覧ください。

世界トップクラスのコストパフォーマンス

Databricksのクエリエンジンは、データ量の増加に対してほぼリニアにコンピュートコストがスケールするよう最適化され続けています。
私たちの目標は、同時実行数が増え続ける環境でも、レイテンシーを低減しながら、より高いパフォーマンスを実現することです。

全体的なパフォーマンス向上

Databricks SQLは、2022年のローンチ以来、驚異的な77%のパフォーマンス向上を達成し、BIクエリの高速化、ダッシュボードの応答性向上、データ探索のスピードアップを実現しました。

年間の最後の5か月間だけでも、以下のような改善が見られました。

• BIワークロードが14%高速化
• ETLジョブが9%高速化
• データ探索ワークロードが13%向上

さらに、Private Previewでの同時実行機能の強化と高度な圧縮機能の導入により、時間とコストの両方を削減できるようになりました。

2024年 Gartner® Magic Quadrant™ for Cloud Database Management Systems でリーダーのうちの1社に選出！

Databricksは、2024年のGartner® Magic Quadrant™ for Cloud Database Management Systems において、4年連続で「リーダー」に選出されました！

今年は、実行能力（Ability to Execute）とビジョンの完全性（Completeness of Vision）の両方において評価が向上。今回の評価では、AWS、Google Cloud、Azure上で提供されるDatabricks Data + AI Platformが対象となり、19の他のベンダーと比較されました。

詳しくはブログをご確認ください。

管理と運用の強化

SQLウェアハウスの構成・管理機能が拡張され、ワークスペース管理者がよりスムーズに運用できるようになりました。新たにシステムテーブルの管理機能や、ウェアハウスのパフォーマンスをトラブルシュートするための新しいチャートが追加されています。

コスト管理の強化

Databricksの利用状況を可視化するために、システムテーブル内の請求およびコストデータを活用できます。これをより簡単にするために、事前構築済みのAI/BIコストダッシュボードを新たに提供しました。このダッシュボードは、タグ付けのベストプラクティスを活用して消費データを整理し、組織、事業部門、プロジェクト単位で予算を作成・管理できるようにします。

さらに、予算を超えた際にアラートを設定することが可能になり、どのプロジェクト、ワークロード、ユーザーが予算を超過したのかを追跡できます。

詳細情報については、こちらのコスト管理ブログをご覧ください。

システムテーブルの活用

システムテーブルを活用すると、Databricksアカウントの重要な情報（コストデータ、データアクセス状況、ワークロードのパフォーマンスなど）を監視できます。これらはDatabricksが管理するテーブルであり、通常低レイテンシーでさまざまな環境からアクセス可能です。

ウェアハウス

ウェアハウスシステムテーブル（system.compute.warehousesテーブル）は、SQLウェアハウスが作成、編集、削除されたときに記録します。このテーブルを使用して、ウェアハウス名、タイプ、サイズ、チャネル、タグ、自動停止、およびオートスケーリング設定を含むウェアハウス設定の変更を監視できます。各行は、特定の時点でのSQLウェアハウスのプロパティのスナップショットです。プロパティが変更されると新しいスナップショットが作成されます。詳細については、ウェアハウスシステムテーブルリファレンスをご覧ください。この機能はパブリックプレビュー中です。

クエリー履歴

クエリ履歴テーブル（system. query.history）SQLウェアハウスまたはサーバーレスコンピューティングを使用して実行されたノートブックやジョブのクエリのレコードが含まれています。このテーブルは、同じ地域からテーブルにアクセスするすべてのワークスペースのアカウント全体のレコードで構成されています。この機能はパブリックプレビュー中です。

詳細については、クエリ履歴システムテーブルリファレンスをご覧ください。

完了したクエリ数のチャートでウェアハウスのパフォーマンスをトラブルシュート

完了したクエリ数のチャート（Public Preview）が、SQLウェアハウスのモニタリングUIに新たに追加されました。このチャートでは、特定の時間枠内で完了したクエリの数を表示できます。

このチャートは、ピーク時の実行クエリ数や実行中のクラスターのチャートと組み合わせて使用することで、ワークロードのトラフィックやウェアハウスの設定に応じたクラスターのスケールアップ・ダウンの影響を可視化できます。

詳細については、SQLウェアハウスの監視についてのドキュメントをご参照ください。

Databricks SQL Serverless のリージョン拡大とコンプライアンス対応強化

Databricks SQL Serverless ウェアハウスの提供リージョンおよびコンプライアンス対応が拡大されました。

• 新しい Serverless 対応リージョン
  • GCP：既存の7つのリージョンすべてで一般提供（GA）が開始
  • AWS：ロンドン向けに eu-west-2 リージョンを追加
  • Azure：以下の4つのリージョンを追加
    • France Central
    • Sweden Central
    • Germany West Central
    • UAE North
• リージョンごとの Serverless コンプライアンス対応
  • HIPAA：Azure、AWS、GCPを含むすべての Serverless SQL 提供リージョンで HIPAA 準拠が利用可能
  • AWS US-East-1：PCI-DSS および FedRamp Mod コンプライアンスが GA（一般提供）
  • AWS AP-Southeast-2：PCI-DSS および IRAP コンプライアンスが GA（一般提供）
• サーバーレスのセキュリティ
  • Private Link（プライベートリンク）：ユーザーとデータ間の通信をプライベートネットワーク経由で行う機能が一般提供（GA）開始
  • Secure Egress（安全なデータ送信管理）：外部へのデータアクセスを安全に制御し、セキュリティとコンプライアンスを確保する機能が Public Preview で利用可能

Databricks Data + AI Platformとの統合

これらのDatabricks SQL向けの新機能は、Databricks Data + AI Platformの一部として提供されています。Databricks SQLは、レイクハウスアーキテクチャのシンプルさ、統合されたガバナンス、オープンな環境といったプラットフォームの利点を活かしています。

以下は、Databricks SQLにとって特に有益な新しいプラットフォーム機能の一部です。

SQL言語の強化：照合順序（Collations）

グローバル企業向けアプリケーションの構築には、多言語対応と不規則なデータ入力の処理が不可欠です。**照合順序（Collations）**を活用すると、言語や大文字・小文字のルールを考慮しながら、テキストのソートや比較を行うことができます。

Databricks SQLでコレーションがパブリックプレビューで利用可能になったことを嬉しく思います。

詳細はコレーションのブログをご覧ください。

マテリアライズドビュー（MVs）とストリーミングテーブル（STs）

マテリアライズドビュー（MVs）とストリーミングテーブル（STs）は、AWS、Azure、およびGCPのDatabricks SQLで現在一般提供可能です。

ストリーミングテーブルは、クラウドストレージやメッセージバスなどのソースからのシンプルでインクリメンタルな取り込みを、わずか数行のSQLで提供します。マテリアライズドビューは、クエリの結果を事前に計算し、インクリメンタルに更新するため、ダッシュボードやクエリが以前よりも大幅に高速に実行できます。これらを組み合わせることで、取り込みから変換まで、SQLを使用した効率的でスケーラブルなデータパイプラインを作成することができます。

詳細については、MVとSTの発表ブログをご覧ください。

Databricks SQLのストリーミングテーブルとマテリアライズドビューのスケジューリングが簡単になりました

DDLを使用してMVとSTのリフレッシュをスケジュールするためのEVERY構文を導入しました。EVERYは、複雑なCRON表現を書く必要性を排除することで時間ベースのスケジューリングを簡素化します。より柔軟性が必要なユーザーのために、CRONスケジューリングは引き続きサポートされます。

詳細については、ALTER MATERIALIZED VIEW、ALTER STREAMING TABLE、CREATE MATERIALIZED VIEW、およびCREATE STREAMING TABLEのドキュメンテーションをご覧ください。

タイムトラベルクエリのストリーミングテーブルサポート

ストリーミングテーブルでタイムトラベルクエリが使用可能になりました。これにより、タイムスタンプまたはトランザクションログに記録されたテーブルバージョンを基に、過去のストリーミングテーブルのバージョンをクエリできます。

タイムトラベルクエリを使用する前に、ストリーミングテーブルをリフレッシュする必要がある場合があります。

なお、マテリアライズドビューではタイムトラベルクエリはサポートされていません。

Delta Live Tablesのクエリ履歴サポート

クエリ履歴とクエリプロファイルは、DLTパイプラインを通じて実行されたクエリをカバーしています。さらに、Databricks SQLのマテリアライズドビュー（MV）とストリーミングテーブル（ST）のクエリインサイトが改善されました。これらのクエリは、SQLウェアハウスとサーバーレスコンピュートで実行されたクエリと並んでクエリ履歴ページからアクセスできます。これらは、パイプラインUI、ノートブック、およびSQLエディターのコンテキストでもリストされています。

この機能はパブリックプレビューで利用可能です。詳細については、Delta Live Tableパイプラインのクエリ履歴へのアクセスをご覧ください。

Azure Databricksのクロスプラットフォームビュー共有

Databricksの受信者は、任意のDatabricks計算リソースを使用して共有ビューをクエリすることができるようになりました。以前は、受信者のAzure Databricksアカウントが提供者と異なる場合、受信者はサーバーレスSQLウェアハウスを使用してのみ共有ビューをクエリすることができました。共有ビューを読むをご覧ください。

ビューの共有は、オープンシェアリングコネクタにも拡張されています。Delta Sharingを使用して共有されたデータを読む（受信者向け）をご覧ください。

この機能は現在パブリックプレビュー中です。

新しいイノベーションの詳細

このDatabricks SQLの革新的な機能をお楽しみいただけることを願っています。いつでもこのWhat’s New postをチェックして、過去3ヶ月間の情報を確認できます。以下は、過去四半期についてブログで紹介したローンチの完全なリストです：

• 2025年2月：AI/BIの最新情報 -- '25年2月
• 2025年2月：BladeBridgeをDatabricksに迎え入れる：Lakehouseへのデータウェアハウス移行を加速
• 2025年1月: コストを最適化する簡単な方法
• 2025年1月: Databricksへのコレーションの導入
• 2024年12月：Databricksが2024年ガートナーのマジッククアドラントでクラウドデータベース管理システムのリーダーに選ばれました
• 2024年12月：AIによる顧客感情分析のステップバイステップガイド
• 2024年11月：予測最適化統計の紹介
• 2024年11月：AI/BIダッシュボードの新機能 - 2024年秋

さらに多くの魅力的な新機能をお届けできるよう取り組んでいます。データウェアハウジングやAI/BIの最新動向を知るために、四半期ごとのロードマップウェビナーをぜひチェックしてください。

今はデータの世界で働くのにとてもワクワクする時代です！私たちは、データアーキテクト、アナリスト、BIアナリストなどの皆さまと協力し、組織内でのデータとAIの民主化を推進していくことを楽しみにしています！

現在開発中の新機能をご紹介！

現在、私たちが取り組んでいる機能の簡単なプレビューをお届けします。まだ正式なリリース時期は決まっていませんので、聞かないでくださいね :-)

データウェアハウスをDatabricks SQLへ簡単に移行

あらゆる規模の企業が、従来の高コストでクローズドなデータウェアハウスからの移行により、コスト削減とリスク低減を実現できます。

現在、無料の移行ツールを拡充し、既存のデータウェアハウスからDatabricks SQLへ移行する際の要件を分析し、コードを変換して新機能を活用できるよう支援する機能を開発中です。

BIワークロードをパワーアップ

ビジネスインテリジェンス（BI）ダッシュボードのパフォーマンスは非常に重要です。Databricks SQLでは、BIクエリのレイテンシーを四半期ごとに改善し、Power BI、Tableau、Looker、SigmaなどのBIツールをさらに高速化できるよう取り組んでいます。

ウェアハウスの管理とモニタリングをシンプルに

ウェアハウスの管理・監視をより簡単にするための新機能とツールを開発中です。これには、以下の機能が含まれます。

• システムテーブルの強化
• UIを介した設定変更の改善
• APIの拡張

Databricks SQLについて詳しく知りたい方は、ウェブサイトをご覧いただくか、ドキュメンテーションをお読みください。Databricks SQLの製品ツアーもご覧いただけます。あなたが既存のウェアハウスを、優れたユーザーエクスペリエンスと低総コストを持つ高性能なサーバーレスデータウェアハウスに移行したいと考えているとしましょう。その場合、Databricks SQLが解決策です — 無料で試してみてください。

プライベートプレビューやゲーテッドパブリックプレビューに参加するには、Databricksのアカウントチームに連絡してください。