2024年3月4日

Databricksの検索機能へのインテリジェンスの追加

新しいインテリジェンスはDatabricksの検索機能を強化し、データとAIプロジェクトに必要なすべての資産の発見をシンプル化する

によってシャオレイ・シー, ジョイ・シェ, マンザル・カジ, チー・チャン, Ritendra Datta, リチャード・トムリンソン、ジャスティン・キムによる投稿

Databricksワークスペースの検索機能が大幅に改善されました。これらの機能強化は、Databricksプラットフォーム内のデータインテリジェンスエンジンであるDatabricksIQを基盤としており、AIを活用したよりインテリジェントな検索エクスペリエンスを提供します。

AIが生成したメタデータを利用した検索

Databricksの検索機能の主なメリットの1つは、 Unity Catalogで管理されているデータに対してAIが生成したテーブルとカラムのコメントを利用できることです。これらのコメントにより、検索エンジンはデータの意味とセマンティクスを理解することができ、より関連性が高く、正確で、実用的な結果を生成するために必要なコンテキストを提供します。

AIが生成するコメントはDatabricksIQによって提供されます。DatabricksIQは、検索ユースケース向けに、様々な業界のスキーマ例からエンタープライズデータ向けに特別にチューニングされた大規模言語モデル（LLM）を採用しています。DatabricksIQは、検索におけるコンテキストの認識を促進するだけでなく、Databricks Assistant for Notebooks、SQL エディタ、Lakeviewダッシュボードなどの他のAI搭載ツールも強化します。

Databricks Searchの新機能は？

以降、Databricksの検索機能をDatabricks Searchと呼称します。今回のリリースでDatabricks Searchにもたらされた機能強化の全リストを詳しく見てみましょう。

全ページ検索

まず、新しい全ページ検索のエクスペリエンスを追加して、結果を表示するためのスペース、結果に関するメタデータ、結果を絞り込むためのフィルターを追加しました。

セマンティック検索

検索クエリのキーワードと資産の一致に加えて、単語の意味も解釈した自然言語クエリを行います。つまり、検索クエリの最も重要な部分と意味的に類似した資産を取得し、結果をキーワード検索と組み合わせて、可能な限り最良の結果を提供することを意味します。

例：「What should I use for geographies」（地理に何を使えば良いか）という検索クエリでは、「geographies」（地理）に焦点が当てられ、都市（city）や国（country）、地域（territory）、地理的位置（geo-location）などの地理的属性を含む関連用語が検索されます。

検索クエリの理解

検索は、検索語である可能性もあるものをフィルターから分離することで、検索クエリのパターンを理解できるようになりました。これは、自然言語クエリがさらに強力になったことを意味します。

例：検索クエリ「Show me tables about inspections」（検査に関する表を表示して）は、「inspections 」（検査）がキーワードで、「table」（表）がユーザーが探しているオブジェクトのタイプになるように分解されます。

ナレッジカード

ユーザーの検索対象について高い信頼性で特定できたとき、トップの結果はナレッジカードに変わります。これにより、最適な結果を確認しやすくなるだけでなく、追加のアセットメタデータも提供されます。現在、ナレッジカードはテーブルのみに対応していますが、将来的には他のオブジェクトにも拡張される予定です。

クイックフィルター

探しているオブジェクトの種類がはっきりしている場合、クイックフィルターを使えば、ワンクリックでそのオブジェクトの種類を絞り込むことができます。

検索フィルタの構文

UIでフィルタを指定するだけでなく、検索バーで検索クエリからフィルタを指定することもできます。構文でフィルタを指定する方法については、UIで適用されたフィルタを試し、検索バーのクエリがどのように自動更新されるかを確認してください。

検索URL

よく検索する項目がある場合、または検索結果を他のユーザーと共有したい場合、検索ページのURLには完全なクエリが含まれているため、ブックマークしてURLを共有すれば、同じ検索結果を再現できます。

ボーナス機能

最近閲覧したオブジェクト：検索バーをクリックし、検索語を入力する前に、ドロップダウンに最近閲覧したオブジェクトが表示されます。「最近」や「ホーム」ページに移動することなく、最近閲覧したオブジェクトに素早く移動する簡単な方法です。
キーボードショートカット：「CMD+P」（Macの場合）／「CTRL+P」（Windowsの場合）のキーボードショートカットを使うと、キーボードから手を離さずに検索バーに移動できます。これにより、検索や履歴への移動がさらに簡単になります（上記参照）。
検索ページを新しいタブで開く：検索バーに入力した用語を検索するために「Enter」キーを押す代わりに、「CMD+Enter」（Macの場合）/「CTRL+Enter」（ウィンドウの場合）を押すと、検索結果が新しいタブで開きます。こうすることで、現在作業中のページが保持され、検索が終わった後もページを更新することなく元の作業に戻ることができます。
空の検索：特定のフィルタ条件に一致するすべてのオブジェクトを表示したい場合（たとえば、私が所有するすべてのノートブック）、フィルタのみで条件を指定しない「空」検索を実行してみてください（「type:notebook owner:me」など）。これが便利なシナリオの1つは、対象分野の専門家が作成したすべてのダッシュボードを見たい場合です。
コードの検索：ノートブックやクエリを名前で検索できるだけでなく、その中のコンテンツも検索できます。つまり、関数名やテーブル名などを検索して、それらがどのように参照されているかを確認することができます。さらに、1) ノートブックやクエリにマッチする内容のプレビューが必要な場合、検索結果にスニペットが表示されます。2) スニペットに表示されている以上の内容が必要な場合、検索結果をクリックしてオブジェクトを開くと、ノートブックやクエリが検索語にマッチする場所まで自動的にスクロールします。

よりインテリジェントな検索のユースケースは？

インテリジェントな検索は、Databricks PlatformのデータとAIアセットを効果的に使用するために不可欠です。

ナビゲーションとは、ユーザーが探しているものを素早く効率的に見つけられるようにすることです。これは通常、ユーザーが何を探したいかをすでに具体的に知っていることを意味します。例えば、「food_inspections」というテーブルを探しているとします。検索ボックスに「food inspections」または単に「food table」と入力すると、検索キーワードに一致するすべてのテーブルをすばやく見ることができます。

ディスカバリーと違うのは、ユーザーは自分が何を求めているのか大まかにはわかっていても、具体的に何を検索すればいいのかわからないという点です。先ほどの例を基にすると、テーブル、ノートブック、ジョブ、SQLクエリ、ダッシュボード、MLモデルなど、関連しそうなものをすべて発見するために、検索ボックスに「シカゴのレストランの評点に関連するものをすべて表示」と入力するかもしれません。ディスカバリーのユースケースでは、検索ボックスに入力された特定の単語と一致するかどうかに関係なく、関連するすべての項目が返されます。

ナビゲーションとディスカバリーの両方のユースケースを効果的にサポートすることは、お客様にとって必要不可欠であると感じています。

フィードバックをお願いします

Databricksのインテリジェント検索への旅は長い道のりを歩んできましたが、まだ始まったばかりです！これらの新機能をお使いになる中で、お気に召した点、お気に召さなかった点、今後の機能拡張へのご要望などをお聞かせください。そのために、検索ページの上部に「フィードバックを送る」リンクを設け、コメントや提案を追加できるようにしました。

今すぐ新しいDatabricks Searchをお試しください！

Databricks Workspace にログインしてお試しください。Databricksの最新バージョンで利用可能で、追加のライセンスは必要ありません。Databricks Searchの全機能の詳細については、製品ドキュメントもご覧ください。

楽しい検索を！