2024年9月10日

Databricks SQL の最新情報

よりシンプル、高速、低コストなデータウェアハウジング

Databricks SQLをこれまで以上にシンプルに、高速に、そして低コストにする最新の新機能とパフォーマンスの向上をご紹介できることを嬉しく思います。現在、7,000社以上のお客様がデータウェアハウスとしてDatabricks SQLを採用しており、当社の歴史の中で最も急速に成長している製品となっています！

最高のデータウェアハウスはレイクハウスです

Databricks SQLは、レイクハウスアーキテクチャに基づいて構築されています。私たちは2020年初頭にこのアプローチを開拓し、Databricks Data Intelligence Platformの一部としてDatabricks SQL（DBSQL）をリリースしました。私たちは、スタンドアロンの個別のデータウェアハウスは、高コストで独自の性質を持つため、レガシーシステムになると予測していました。今日、それが真実であることを示す強力な証拠が見られます。MIT Technology Insightsのレポートによると、企業の74%がすでにレイクハウスアーキテクチャを採用しています。これらの企業が利用できる多くのレイクハウスベースのデータプラットフォームが、最近のForrester Wave for Data Lakehousesで評価され、Databricksは現行の製品および戦略カテゴリの両方で他社と比較して最高スコアを獲得し、リーダー（Leader）として認められました！

お客様との対話の中で、レイクハウスのメリットは2つの点から生まれていることがわかりました。それは、総コストの削減と、AIとBIのための1つの統合プラットフォームです。レイクハウスにより、オープンな形式の1つのデータコピーを、すべてのAIおよびBIワークロードに使用できるようになります。これにより、複数のプラットフォーム間でデータを同期するために必要なデータの重複やレプリケーションが不要になり、コストが劇的に削減され、アーキテクチャが簡素化されます。

AIを活用したパフォーマンス：4倍の向上

昨年、私たちは、ヒューリスティクスとコストオプティマイザに基づくシステムパフォーマンスへの従来のアプローチは、ほとんどの場合間違っていると宣言しました！それらの技術は当時利用可能な最善のものでしたが、現在のAI時代は全く新しいアプローチを可能にしました。現在、私たちはプラットフォームのすべてのレイヤーで新世代のAIシステムを使用しており、システムパフォーマンスの向上を新たなレベルへと引き上げています。これらのAIシステムはワークロードを分析し、効率とパフォーマンスを自動的に向上させます。

現在GAとなったLiquid Clusteringは、データのレイアウトを管理し、クラスタリングキーを自動的に選択します。また、データを書き換えることなくクラスタリングキーを再定義できる柔軟性を提供します！これにより、時間の経過とともに変化する分析ニーズに合わせてデータレイアウトを進化させることができ、テーブルパーティショニングやZORDERに代わるものとなるため、データレイアウトを微調整する必要がなくなります。
「インデックスレスインデックス」としても知られるPredictive I/Oは、インデックスの作成やオーバーヘッドのメンテナンスを必要とせずに、インデックスのパフォーマンスを提供します。Databricksシステムの進歩により、予測レイテンシを著しく増加させることなく、桁違いに大きなパラメータを持つモデルや入力特徴量を実行できるようになりました。これにより、Predictive I/Oはより幅広いワークロードをサポートできるようになります。
Intelligent Workload Managementは、機械学習モデルを使用してサーバーレスSQLウェアハウスのリソースを最適化し、高い同時実行性を最適にサポートします。これは、多数のアナリストやクエリがデータウェアハウスに集中する、大規模なBIワークロードに最適です。Intelligent Workload Managementは、これらのワークロードに適切な量のリソースを迅速に確保します。
現在GAとなったPredictive Optimizationは、パフォーマンスの最適化に役立つテーブルの一般的なメンテナンス操作を自動的に処理します。Databricksは、クラスタリング、ファイルサイズの調整、ファイルのバキューム（vacuuming）など、メンテナンス操作によってメリットが得られるテーブルを特定し、それらを自動的に実行します。手動での作業は不要です。

これらは組み込みAIシステムのほんの一部に過ぎず、最も素晴らしいのは、その仕組みの詳細を知る必要がないことです。魔法のように自動的に実行されます。私たちがこの分野に費やしている時間を考えれば、パフォーマンスにこだわっていると言っても過言ではありません。そして時間の経過とともに、それがどれほどの違いをもたらしたかを確認できます。お客様の繰り返しのワークロードを調査したところ、同じBIクエリのパフォーマンスが2年前と比較して73%向上していました！これは4倍の高速化に相当します！

SQLアナリスト向けのAIアシスタント

また、ユーザーエクスペリエンスにもAIを注入し、Databricks SQLをSQLアナリストにとってより使いやすく、生産性の高いものにしました。現在一般提供（GA）されているDatabricks AI Assistantは、SQLアナリストによるSQLの作成、編集、デバッグを支援する、コンテキストを認識する組み込みのAIアシスタントです。このアシスタントは、当社のプラットフォームと同じデータインテリジェンスエンジンに基づいて構築されているため、ビジネスの独自のコンテキストを理解します。このアシスタントは、SQLアナリスト向けにクエリをドラフトしたりエラーを修正したりする機能が非常に優れているため、Databricksで急速に普及しており、数え切れないほどの時間を節約し、生産性を向上させています。

SQLから直接AIモデルを活用

GenAIやMLモデルの台頭に伴い、SQLアナリストがSQL内でこれらのAIモデルに直接アクセスしたいと考えるようになるのは当然のことです。まさにその理由から、私たちは昨年、Databricks SQLにAI関数（AI Functions）を初めて導入し、それ以来急速に普及しています。AI Functionsは現在パブリックプレビュー中であり、ベクトル検索などの新しい関数も追加されました。AI FunctionsはLLMを使用する際の技術的な複雑さを抽象化するため、アナリストやデータサイエンティストは、基盤となるインフラストラクチャを心配することなく、これらのモデルを簡単に活用できます。

ai_query()関数を使用すると、SQLから任意のAIモデルにクエリを実行できます。これらはGenAIモデルでも、従来のMLモデルでも構いません。外部のLLMモデルを使用することもできます。
組み込みのLLM関数
LLMの力で非構造化テキストを分析できる、9つの新しいGenAI関数も用意されています。例えば：

テーブルの列に存在するテキストから重要な情報を抽出する：
コンテンツに基づいて製品のレビューコメントを分類する：
9つの関数すべてをこちらで確認する
AI Search：新しいベクトル検索関数により、KNN検索を実行でき、すぐに使える簡単なRAGが可能になります！これはDatabricksのAI Search製品を使用します。ベクトル検索機能とAI_query機能を組み合わせることで、SQLアナリストは複雑な分析を簡単に実行できるようになります。例えば、すべてのツイートを検索できるようになります
AI_Forecast：カスタムの ML モデルを構築することなく、SQL を介して指標（収益など）を迅速に予測できる、新しい時系列予測の組み込み関数です。

AI/BI：新しいタイプのビジネスインテリジェンス（BI）製品

データからのインサイトを真に民主化することを目指し、ジェネレーティブ AI を活用してデータのセマンティクスを深く理解し、組織内の誰もがセルフサービスでデータ分析を行えるようにするビジネスインテリジェンス製品、Databricks AI/BI を発表しました。複合 AI システム（compound AI system）をベースに構築された AI/BI は、Unity Catalog のメタデータ、ETL パイプライン、SQL クエリなどを含む、データ資産全体からのインサイトを活用します。主に2つのコンポーネントで構成されています。1つは、データの可視化やダッシュボードを迅速に作成できるローコードの BI 機能である「AI/BI ダッシュボード」、もう1つは、ハルシネーションを起こすことなく、ユーザーのフィードバックから継続的に学習して実世界の多様なビジネスの質問に答える、データ用の対話型インターフェース「Genie」です。これらのイノベーションにより、Databricks SQL 内でのセルフサービス分析が大幅に強化され、統一されたガバナンス、リネージの追跡、安全な共有、そして Data Intelligence Platform との統合による高いパフォーマンスを確保しながら、より幅広い非技術系ユーザーのデータ活用を可能にします。

Databricks SQL による完全なエンドツーエンドのデータウェアハウジング

新しい AI 機能に加えて、一連 of コアな SQL Warehouse 機能もリリースしました。すでに数千のお客様が、レガシーなデータウェアハウスから DBSQL へ移行しています。これらの移行を実現するために、DBSQL がレイクハウス上で同等のデータウェアハウス機能を提供できるよう、必要な機能をすべて揃えました。

マテリアライズドビュー（Materialized Views）：MV を使用してダッシュボードを強化し、データの最新性を確保します。マテリアライズドビューは、クエリの実行時ではなく、基になるテーブルに新しいデータが追加された際、自動的に更新されます。
PK/FK 制約の使用によるクエリパフォーマンスの最適化：RELY を使用することで、冗長な結合や一意の集計を自動的に排除し、クエリを高速化できます。
Variant：半構造化データを処理するための新しいデータ型です。データを JSON 文字列として保存する場合と比較してパフォーマンスが大幅に向上する一方で、高度にネストされたスキーマや進化するスキーマをサポートする柔軟性も維持されます。
横方向の列エイリアス（Lateral Column Aliases）：同じクエリ内で前に指定された式を参照して再利用できるため、SQL の記述が容易になります。これにより、不要な CTE やサブクエリを削減し、クエリを簡素化できます。
SQL 変数、名前付き引数、Python UDF などの機能により、Databricks SQL で直接スクリプトを構築することも容易になっています。

もちろん、これらすべては、AI を搭載した優れた SQL エディタや、組み込みのダッシュボードツールで動作します。

さらに、優れたパートナー企業のおかげで、Power BI、Tableau、dbt など、お好みのデータツールや AI ツールの豊富でオープンな統合エコシステムも構築されています。現在お使いのどのようなツールであっても、すでに DBSQL と連携して動作するはずです。

詳細情報と Databricks SQL の開始方法

データウェアハウジングと Databricks SQL の最新情報の詳細については、Data + AI Summit の Data Warehouse 基調講演や、Data Warehousing, Analytics and BI トラックの多数のセッションをご覧ください。

優れたユーザーエクスペリエンスと低コストを実現する、高性能なサーバーレスデータウェアハウスへ既存のウェアハウスを移行したいとお考えなら、Databricks SQL が最適なソリューションです。ぜひ無料でお試しください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事