Databricksアシスタントの1年間の振り返り

2023年のリリース以来、Databricks Assistantは、Rivian、SiriusXM、Morgan Stanleyなどの大手企業の開発者を含む、数十万人の月間ユーザーに成長しました。私たちのコンテクストに基づいたAIアシスタントは、Databricks内でネイティブに利用でき、ユーザーがデータをクエリし、複雑なロジックを説明し、エラーを自動的に修正するために自然言語を専用に使用することができます。

 

Databricksアシスタントは、複数のAIモデル、データ、ツールを活用するエージェントシステムで、あなたのデータと使用パターンのセマンティクスに基づいて正確で文脈に応じた結果を提供します。過去1年間で、Databricksアシスタントには多くの新機能と改善が導入されました。2025年に何が来るのか、いくつかのハイライトを見てみましょう。

アシスタントオートコンプリート

Assistant Autocompleteは、ユーザーがコードをより速く、より正確に書くのを助けるために、タイピングするときに文脈に応じた提案を提供します。リリース以来、私たちは精度と使いやすさを改善するためのいくつかの技術的な強化を導入しました。これには、パーソナライズされたコードの取得と複数行の補完が含まれます。また、隣接するセル、テーブル、変数をよりよく考慮するために、文脈評価とランキングを強化しました。これにより、提案がより関連性のあるものになります。最後に、文字数制限を増やし、より長く、より完全なコードの提案を生成することができるようになりました。また、コードの全行をより一貫して表示するための切り捨てメカニズムを改善しました。

 

「私は一般的にGenAIに対して少し懐疑的ですが、Databricks Assistantのオートコンプリートツールは、その技術の実際に素晴らしい使用例の一つだと感じています。一般的には速く、正確さも十分で、私が意味のある数のキーストロークを節約できるようになり、タイピングではなく、手元の推論タスクにより集中できるようになりました。さらに、APIの構文（例えば、プロットの注釈など）をインターネットで検索する私の定期的な訪問をほぼ完全に置き換えました。」 - Jonas Powell、スタッフデータサイエンティスト、Rivian

エラー診断とクイック修正

今年、私たちは最も人気のあるユースケースであるコードエラーの診断を強化し、アシスタントクイックフィックスを導入しました。構文の問題やスペルミスのテーブル名や列名など、最も一般的なエラータイプに焦点を当て、アシスタントは今では1-3秒で単一行の修正提案を自動生成します。

 

 

 

「Databricks Assistantの最高の点の一つは、テーブルを自動的にドキュメント化できることです。エラーに対するアシスタンスを提供するポップアップが表示され、10回中9回は『はい』をクリックし、そのボタンをクリックするだけでアシスタントがすべてを完璧にします。物事が大幅に簡単で生産的になりました。」— アンディ・フェザーストーン、データエンジニアリングマネージャー、RDSolutions

ジョブエラーの診断

Databricksアシスタントは現在、ワークフローページから直接エラーを診断する機能を提供しています。まず、ノートブック内の作成関連のジョブエラーに特に焦点を当てました。将来的には、ジョブパラメータの設定ミス、メモリ不足のようなクラスター関連の問題、ジョブ実行内のタスクレベルの失敗、依存するジョブやデータ消費者にどのように影響を与えるかを理解するための下流影響分析など、他の一般的なジョブエラーのサポートも追加します。

 

可視化とダッシュボード作成

Databricks Assistantは、ビジュアライゼーションとダッシュボードの作成プロセスを簡素化し、ユーザーが生データを迅速に意味のある洞察に変換することを可能にしました。この機能は、複雑なデータを簡単に消化できる形式で提示するために特に価値がありました。

 

セキュリティとプライバシーの強化

データプライバシーへの懸念が高まる中、Databricksは2024年末にAWSと Azure上でDatabricksがホストするAssistantを導入しました。このバージョンでは、すべてのデータ処理がDatabricksアカウント内で行われ、DatabricksがホストするモデルとDatabricks Model Servingを動かす安全なインフラストラクチャを活用します。 将来的には、インラインとサイドパネルのチャットの両方をサポートする予定です。

 

 

スレッドと会話管理

Databricksアシスタントは、会話を管理するためのスレッドベースのシステムを利用し、ユーザーがDatabricksプラットフォーム内の異なるコンテクストで複数のディスカッションスレッドを作成し、再開することができます。アシスタントは会話の履歴を利用してコンテクストに基づいた応答を提供し、ユーザーが全体のプロンプトを書き直すことなく以前のインタラクションを洗練させたり、構築したりすることができます。Assistantとの継続的な会話には、適用可能な場合にはDatabricksのドキュメントへの引用と、関連する参照オブジェクトやページへのリンクが含まれます。

 

アシスタント使用ログ

管理者とマネージャーは、新たに導入されたAssistantシステムテーブル(system.access.assistant_events)を使用して、Assistantの採用とエンゲージメントを追跡することができます。このテーブルの各行は、サイドパネルまたはインラインチャットとのユーザーのインタラクションを記録します。

 

私たちはカスタムの サンプルダッシュボードを作成し、重要な情報を素早く視覚化できるようにしました。このダッシュボードは、日ごと、月ごとのアクティブユーザー、ワークスペースごとのアクティブユーザー、全体のトップユーザー、ワークスペースごとおよび全体の提出データについての洞察を提供します。

 

「Databricks Assistantの導入は本当に私を感動させました。もうコードを書く必要がありません。以前は1時間かかっていたものが5分で終わりました。Corningの上級ユーザーから基本ユーザーまで、誰もがそのリアルタイムの影響に驚いています。」 - Jibreal Hamenoo、主任システムエンジニア、データエンジニアリング、Corning Incorporated

カタログエクスプローラーとの統合

Databricks Assistantと Catalog Explorerの統合は、AI駆動のアシスタントの機能と精度を向上させます。この統合は、Catalog Explorerが提供する豊富なメタデータとコンテキストを活用して、より関連性のあるパーソナライズされた応答を提供します。 

 

テーブルのリネージや洞察に詳しい情報を提供する新しいエージェントを導入しました。ユーザーは/getTableLineagesのようなコマンドを使って上流と下流の依存関係を見たり、/getTableInsightsを使ってユーザー活動やクエリパターンなどのメタデータ駆動の洞察をアクセスすることができます。これにより、アシスタントは「下流のリネージを表示してください」や「このテーブルを最も頻繁にクエリするのは誰ですか」などの質問に答えることができます。

 

SQLの効率向上 

構文のハイライト警告と/optimizeコマンドを利用して、非効率的なSQLクエリを改善します。リアルタイムで推奨事項がポップアップし、パーティションキーの欠落、非効率的なWHERE句フィルタ、高カーディナリティのGROUP BY操作、またはSTRINGデータ型を使用した高コストの結合などの問題をすばやく特定するのに役立ちます。

アシスタントの精度と信頼性の向上

今年、Databricksアシスタントの品質と信頼性を向上させるための重要な更新を導入しました。テーブル検索の精度が向上し、完全一致がなくてもクエリをより効果的に処理できるようになりました。さらに、私たちはドキュメンテーションの取得を拡大し、Databricks、MLFlow、Spark、Deltaのドキュメンテーションから最新の応答を確保するために、すべてのアシスタントのインタラクションの約45%に影響を与えるようになりました。

また、Delta Live Tablesのサポートも改善し、DLT関連のクエリを検出し、カスタマイズされたレスポンスをトリガーするヒューリスティックを導入しました。これらのレスポンスには、インジェスト、可観測性、バージョン管理などのトピックに関するターゲット指向のドキュメンテーションと指示が含まれており、有用性が12％から40％に増加しました。

今後の予定

私たちはDatabricksアシスタントをよりスマートで直感的で、あなたのニーズによりパーソナライズされたものにすることに専念しています。これがあなたが期待できるプレビューです：

 

• フレキシブルなコード実行: コードの実行は、カタログエクスプローラーを含むさまざまなページのサイドパネルで利用できるようになります。これにより、チャット履歴を保持しながらコンテキストの切り替えなしにシームレスなコードの実行が可能になり、ユーザーはコードを簡単に実行し、以前の会話にアクセスすることができ、ワークフローを効率化し、生産性を向上させることができます。

 

• クイックフィックスの改善：成功したセルの実行や表示されたコードからのスニペットを活用したパーソナライズされたコードの取得を導入します。さらに、より多くのエラータイプを含むようにトリガーロジックを更新します。最後に、連続した、複数行の提案を探求しています。

 

• 大きなセルのためのターゲット指向の編集: 私たちは、全体のブロックを置き換えるのではなく、より正確なコードの変更を生成することに取り組んでおり、20-30行以上のセルのパフォーマンスと使いやすさを向上させています。

始めましょう

自然言語でタスクを説明し、DatabricksアシスタントにSQLクエリを生成させ、複雑なコードを説明し、エラーを自動的に修正させるために、今日Databricksアシスタントを使用してみてください。あなたがAssistantの助けを借りてどのようなデータとAIのプロジェクトを構築するのか、私たちは楽しみにしています。あなたのDatabricks環境でアシスタントアイコンを見つけて、アシスタントの使用を開始してください。

 

私たちの 製品ページをチェックして、Databricksアシスタントを操作してみるか、または ドキュメンテーションを読んで、すべての機能について詳しく情報を得てください。