私たちは、Databricks SQLをこれまで以上にシンプルで、高速で、手頃な価格にする最新の機能とパフォーマンスの改善をお知らせできることを嬉しく思います。Databricks SQLは、Databricks Data Intelligence Platform内のインテリジェントなデータウェアハウスで、レイクハウスアーキテクチャ上に構築されています。実際、Databricks SQLは現在8,000以上の顧客に使用頂いています!
このブログでは、AI/BI、インテリジェントな体験、予測的最適化について詳しく説明します。また、強力な新しい価格/パフォーマンス機能も備えています。過去3ヶ月間の革新的な機能を皆様にご紹介できることを嬉しく思います。
2024年のData + AI Summit (DAIS)でAI/BIを発表して以来、多くのエキサイティングな機能強化を追加してきました。まだAI/BIを試していない方は、ぜひお試しください。追加ライセンス不要で、すべてのDatabricks SQLユーザーがご利用いただけます。AI/BIは、Databricks SQLにネイティブで、新しいタイプのAIファーストのビジネスインテリジェンス製品です。組織の全員が分析と洞察を活用できるように設計されています。
もしお見逃しの方は、「2024年秋のAI/BIダッシュボードの新機能」ブログを公開したばかりです。新しいAI/BI Genie、マルチページレポート、インタラクティブなポイントマップなど、多くの新機能を紹介しています。これらの機能は、夏以降に追加された多くの新機能リスト(次世代のインタラクティブ性、Databricksワークスペース外でのダッシュボード共有、ダッシュボードの埋め込みなど)に加わります。AI/BI Genieについては、Genieのベンチマークとレビューのリクエスト機能を通じて、生成される回答への信頼性を高めることに焦点を当ててきました。
今年はさらに多くの新機能が登場予定です!詳細はAI/BIリリースノートをご覧ください。
私たちは、自動化によってより付加価値の高い作業に集中できるよう、製品全体にMLとAIを組み込んでいます。また、このインテリジェンス機能は、お客様の特定のビジネスとデータに基づいて構築された自然言語体験を組み込むことで、データとAIへのアクセスを民主化するのに役立ちます。
SQLは皆様の親友です。新しいSQLエディタは、プラットフォームの最高の側面を統合し、合理化されたSQL作成体験を提供します。また、複数のステートメント結果、リアルタイムコラボレーション、Databricks Assistantとの強化された統合、エディタの生産性機能など、いくつかの改善された機能を提供し、SQLの開発を次のレベルに引き上げます。新しいSQLエディタの詳細についてはこちらをご覧ください。
また、名前付きパラメータマーカー構文(SQLエディタ、ノートブック、AI/BIダッシュボード全体で使用可能)など、SQLの構築を支援する追加の改善も行いました。
適切にコメントされたSQLは、コラボレーションとメンテナンスに必要不可欠です。ゼロから始める代わりに、カタログ、スキーマ、ボリューム、モデル、関数に対してAI生成コメントを使用できます。インラインチャットにAssistantを使用してコメントを編集することもできます。
最後に、体験をよりスムーズにする小さな改善点が多数あります。詳細なリストについては、Databricks SQLリリースノートをご確認ください。
私たちは、すべてのワークロードを継続的に最適化するよう努めています。その一つの方法は、AI/MLを使用して一部の詳細を自動的に処理することです。いくつかの新機能をご紹介します。
クエリ計画は統計を使用することでよりスマートになりますが、そのためにはANALYZEコマンドの実行方法を知る必要があります。しかし、ANALYZEを実行しているのは5%未満のお客様に留まります。また、テーブルには数百以上の列がある可能性があり、クエリパターンは時間とともに変化するため、ワークロードを最適に実行するのが難しい場合があります。
具体的には、以下のような状況があります:
この新しいインテリジェント統計が有効な場合、統計は2つのフェーズで管理されます。まず、Photon対応コンピュートで書き込まれたすべての新しいデータに対して統計が収集されます。これは、データを1回だけ読み取るため(取り込み後にANALYZEを実行する場合と比較して)、より高速で安価です。次に、統計が古くなると(UPDATEおよびDELETE文による)、このプロセスはバックグラウンドでANALYZEを実行して、統計が常に最新であることを確認します。