ベクトル検索とは？

ベクター検索は、単にキーワードを一致させるだけでなく、意味に基づいて結果を見つける検索技術です。従来の検索が正確な単語を一致させるのに対し、ベクター検索は埋め込みを比較します。これらの数値表現は、テキスト、画像、音声、その他のコンテンツの意味を捉えます。

結果は、共通の単語ではなく、埋め込みがクエリの埋め込みとどれだけ密接に一致しているかによってランク付けされます。これにより、ベクター検索は、最新のAIアシスタント、セマンティック検索システム、および検索拡張生成（RAG）の背後にある中核的な検索レイヤーとなっています。

このガイドでは、ベクター検索の仕組み、キーワード検索やセマンティック検索との比較、一般的な例とユースケース、そして実際にそれを評価する方法について説明します。

ベクター検索はどのように機能するのか？

ベクター検索は、埋め込みの作成、インデックスの構築、そのインデックスに対するクエリの照合という3つの段階で機能します。

1. 埋め込みの作成
   モデルは各アイテムを、その意味を捉えた数値表現である埋め込みに変換します。ドキュメント、製品説明、画像、音声クリップはすべてこのように表現できます。意味が似ているアイテムは、似た埋め込みを持つ傾向があります。
2. インデックスの構築
   これらの埋め込みは、高速な類似性検索のために設計された構造に保存されます。インデックスにより、数百万のアイテムを効率的に検索できるようになります。
3. クエリの照合
   クエリが届くと、同じモデルを使用して埋め込みに変換されます。その後、システムはクエリに最も近い保存済みの埋め込みを見つけ、関連する結果を返します。

これらの最も近い一致を見つけることは、最近傍探索と呼ばれます。最も単純なアプローチであるk最近傍（k-NN）探索は、クエリをインデックス内のすべてのアイテムと比較し、最も近いk個の一致を返します。正確ではありますが、データセットが数百万規模に拡大すると速度が低下しすぎます。

ほとんどの本番システムでは、代わりに近似最近傍（ANN）探索が使用されます。ANNは、すべてのアイテムを比較することなく、一致する可能性の高いアイテムを特定するために特別なインデックスを使用します。わずかな精度と引き換えにパフォーマンスを劇的に向上させ、大規模なベクター検索を実用的なものにします。

実務におけるベクター検索

簡単な検索例で、ベクター検索がキーワード検索とどのように異なるかを示します。

「dog（犬）」を検索するとします。キーワード検索では、その正確な単語を含む結果が返されます。ベクター検索では、「puppy（子犬）」、「canine（イヌ科）」、「golden retriever（ゴールデンレトリバー）」の結果も返すことができます。これらの用語は、異なる単語を使用していても、概念的には「dog」に関連しています。検索エンジンは正確な単語ではなく、概念を探しているのです。

ベクター検索は、フォーマットをまたいでも機能します。例えば、「赤いスニーカー」というテキストクエリは、画像にテキストが含まれていなくても、その説明に一致する製品画像を返すことができます。キーワード検索は単語の一致に依存しているため、このような関連付けはできません。ベクター検索は、フォーマットに関係なく、セマンティックな類似性に基づいてコンテンツを検索します。

ベクター検索 vs. キーワード検索

キーワード検索は単語を一致させます。ベクター検索は意味を一致させます。どちらのアプローチにも強みがあるため、ベクター検索はキーワード検索を置き換えるのではなく、補完するものとなります。

完全一致検索は、注文ID、製品コード、既知のドキュメントタイトルなどの構造化されたクエリに最適なツールのままです。

最も強力な検索システムは、両方のアプローチを組み合わせます。以下のハイブリッド検索のセクションで、その方法を説明します。

ベクター検索 vs. セマンティック検索

セマンティック検索とベクター検索は密接に関連していますが、同じものではありません。セマンティック検索は「結果」であり、ユーザーが意味や文脈に基づいて関連情報を見つけられるようにすることです。ベクター検索は、それを実現するために使用される最も一般的な技術の1つです。

セマンティック検索は特定の技術ではなく結果を表すものであるため、さまざまな方法で実装できます。多くの最新システムでは、ベクター検索がセマンティック検索の背後にある主要なエンジンとなっています。

密ベクター vs. 疎ベクター

密ベクターと疎ベクターは、異なる種類の検索問題向けに設計されています。

密ベクターは、全体的な意味と文脈を捉えます。異なる単語が使用されている場合でも、システムが関連するアイデア、同義語、概念を認識するのに役立ちます。機械学習モデルによって生成され、セマンティックマッチングや多言語マッチングに適しています。

疎ベクターは、従来のキーワード検索に近い働きをします。ほとんどの値はゼロであり、コンテンツに表示される用語に対してのみゼロ以外の値が割り当てられます。BM25などのアルゴリズムによって生成され、正確な用語の一致に優れています。製品コード、固有名詞、特定の識別子などで、疎ベクターはその真価を発揮します。

密ベクターと疎ベクターの組み合わせは、ハイブリッド検索の基礎となります。この組み合わせは、本番環境で最も信頼性の高い結果をもたらすことがよくあります。

ハイブリッド検索とは？

ハイブリッド検索は、ベクターベースの結果とキーワードベースの結果を単一のランキングに融合させます。意味ベースの検索と完全一致の検索を1つの検索体験に統合するため、本番システムの実用的なデフォルトとなることがよくあります。ベクター検索は、正確な製品コード、名前、識別子を見落とすことがあります。これらの用語が埋め込み空間で常に近くにクラスター化されるとは限らないためです。キーワード検索は、異なる表現を使用している関連結果を見落とす可能性があります。ハイブリッド検索は、各アプローチの強みを組み合わせることで、これら両方の課題に対処します。

ほとんどのハイブリッド検索システムには、リランキング（再ランク付け）のステップも含まれています。リランキングは、最良の一致を上位に表示するために結果を並べ替える2回目の処理です。その結果、ハイブリッド検索は、どちらか一方の手法単独よりも信頼性の高い関連性を提供することがよくあります。Databricksプラットフォームは、セマンティック検索とキーワード検索を組み合わせ、リランキング機能を組み込んだハイブリッドインデックスをサポートしています。

ベクター検索の一般的なユースケース

ベクター検索は、正確なキーワードの一致ではなく、関連する結果を見つけることに依存するアプリケーションを強化します。

検索拡張生成（RAG）

検索拡張生成（RAG）は、AIアシスタントがモデルの既存の知識だけに頼るのではなく、最新の関連情報を使用して質問に答えるのを支援します。応答する前に、アシスタントはナレッジベースから関連するコンテンツを検索します。ベクター検索は、そのコンテンツを見つける検索レイヤーです。

ドキュメントはより小さなチャンクに分割されるため、システムは最も関連性の高いドキュメントだけでなく、最も関連性の高い一節を検索できます。このアプローチにより、RAGはベクター検索の最も急速に成長しているアプリケーションの1つとなりました。RAGとベクターデータベースの詳細をご覧ください。

セマンティックドキュメント検索と企業内検索

社内のナレッジベース、チケットシステム、ドキュメントリポジトリは、正確な表現ではなく意味で検索できるようになると、より便利になります。例えば、「育児休暇制度」というクエリは、タイトルが「家族手当ガイド」であっても、適切なHRドキュメントを表示できます。ベクター検索により、正確な言い回しを必要とせずに、企業のナレッジを簡単に見つけられるようになります。

レコメンデーションと類似性検索

レコメンデーションエンジンは、ベクター検索を使用して、ユーザーがすでに閲覧しているものと概念的に類似している製品、記事、動画、その他のコンテンツを見つけます。これにより、「この商品を気に入った方は、こちらの商品も気に入っています」といったおなじみの体験が実現します。システムは単に、現在のアイテムに最も近い埋め込みを持つアイテムを見つけるだけです。

マルチモーダル検索と多言語検索

ベクター検索は、フォーマットや言語をまたいで一致させることができます。「濡れた路面用のハイキングブーツ」といったテキストクエリは、画像にテキストが含まれていなくても、関連する製品画像を返すことができます。また、英語のクエリでスペイン語で書かれた関連ドキュメントを検索することもできます。これにより、ベクター検索は、多様なコンテンツタイプを扱うグローバル企業やアプリケーションにとって有用なものとなります。

不正検出と異常検知

ベクター検索は、通常のアイテムから遠く離れた場所にあるアイテムを見つけることで、異常なパターンの特定に役立ちます。不正検出では、一般的なアクティビティとは著しく異なる取引にレビュー用のフラグを立てることができます。同じアプローチを、ネットワークトラフィック、製造システム、その他の運用データの異常検知にも使用できます。

ベクター検索にベクターデータベースは必要か？

必ずしもそうとは限りません。適切なアプローチは、規模、パフォーマンス要件、既存のインフラストラクチャによって異なります。企業は通常、ベクターデータベース、ベクター機能を備えた検索エンジン、または類似性検索ライブラリを使用してベクター検索を実装します。ベクターデータベースの詳細をご覧ください。

マネージドサービスを利用することで、セットアップ時間、運用オーバーヘッド、継続的なメンテナンスを削減できます。Databricksプラットフォームには、Databricks AI Searchによる組み込みのベクターデータベースが含まれており、ベクター検索、キーワード検索、メタデータフィルタリング、リランキングを単一のサービスで統合しています。また、AIガバナンス機能（Unity Catalogなど）とも統合されているため、組織はAIアプリケーションに対して一貫した制御を適用できます。

運用上のトレードオフと品質に関する考慮事項

本番環境にベクター検索を導入することは、最初の一歩にすぎません。本番環境で持続的な信頼性、パフォーマンス、精度を確保するには、いくつかの主要な運用領域にわたって、これらのシステムを継続的にチューニングおよびメンテナンスする必要があります。

コストとパフォーマンス

大規模なベクターインデックスはメモリと計算リソースを消費するため、インフラストラクチャコストが増加します。データセットが拡大し、クエリ量が増加するにつれて、それらのコストも上昇します。より高速で正確な検索には、より多くのリソースが必要になることが多いため、チームはパフォーマンス、品質、コストのバランスを取る必要があります。

インデックスの最新性の維持

ソースコンテンツが変更されても、ベクターインデックスは自動的には更新されません。ドキュメントが追加、編集、または削除された場合、それらの変更を反映するためにインデックスを更新（リフレッシュ）する必要があります。定期的な更新を行わないと、検索結果が古くなり、重要な新しい情報を見落とす可能性があります。

品質評価

システムをチューニングする前に、期待される良好な結果がわかっている代表的なクエリの小さなテストセットを作成します。品質の測定とは、それらのクエリに対して正しい結果が上位付近に表示されるかどうかを確認することを意味します。これにより、今後の変更を評価するための基準（ベースライン）が作成されます。

関連性に大きな影響を与える要因が2つあります。メタデータフィルタは、類似性ランキングが実行される前に、タグ、日付、またはカテゴリによって結果を絞り込みます。これにより、意味的（セマンティック）マッチングによって返される結果が多すぎる場合に、精度を向上させることができます。

埋め込み（エンベディング）の品質は、埋め込みの生成に使用されるモデルにも依存します。汎用モデルは、専門用語をうまく捉えられない場合があります。医療、法律、金融サービスなど、業界特有の用語を使用するドメインでは、ドメインに特化してチューニングされたモデルを使用することで、検索品質を向上させることができます。

Databricksプラットフォーム上のAI Search

Databricks AI Searchは、Databricksプラットフォームに組み込まれたマネージドベクターデータベースです。単一のサービスでセマンティック検索、キーワード検索、メタデータフィルタリング、リランキングをサポートします。既存のデータ、ガバナンス、生産性ツールと統合されているため、チームは個別のプラットフォームを組み合わせることなく検索システムを構築できます。

AI Searchは、組織がすでにDatabricksで管理しているデータに直接接続するため、データの移動や複製の必要性が軽減されます。また、Unity Catalogなどのガバナンス機能とも統合されているため、既存のアクセス制御やリネージポリシーを検索ワークロードに拡張できます。

よくある質問

RAGアプリケーションでベクター検索はどのように使用されますか？

RAGシステムでは、ユーザーのクエリが埋め込み（エンベディング）に変換され、ベクターインデックス内のドキュメントチャンクのライブラリと照合されます。最も近い一致が取得され、コンテキストとして言語モデルに渡されます。その後、モデルはトレーニングデータのみに依存するのではなく、組織独自のデータに基づいた回答を生成します。

ベクター検索単体ではなく、ハイブリッド検索を使用すべきなのはどのような場合ですか？

ユーザーが製品コード、エラーコード、固有名詞などの特定の識別子を検索する場合、セマンティック検索だけではそれらを見落とす可能性があります。正確な用語が埋め込み空間内で常に近くに配置されるとは限りません。ハイブリッド検索はベクター検索とキーワード検索の結果を組み合わせ、単一のランキングでセマンティックな広がりと完全一致の精度の両方を提供します。

ベクター検索の結果の精度を高める要因は何ですか？

検索品質にはいくつかの要因が影響します。埋め込みモデルの品質によって、意味がどれだけ正確に捉えられるかが決まります。メタデータフィルタは、類似性ランキングが実行される前に検索スペースを絞り込みます。インデックスの最新性により、古い情報ではなく現在のコンテンツが結果に反映されるようになります。

ベクター検索の主なトレードオフは何ですか？

ベクター検索は、キーワード検索よりも多くのメモリと計算リソースを必要とします。大規模なインデックスには、実際のインフラストラクチャコストが伴います。ANN検索はその設計上、近似的なものであるため、全件検索と比較してわずかな精度低下というトレードオフが生じます。また、ソースデータの変更に伴い、インデックスを最新の状態に保つために定期的な更新が必要です。ハイブリッド検索は複雑さを増しますが、どちらか一方のアプローチ単体よりも信頼性の高い結果をもたらすことがよくあります。

Databricks AI Searchはどのようにベクター検索をサポートしていますか？

Databricks AI Searchは、Databricksプラットフォームに組み込まれたサーバーレスのマネージドベクターデータベースです。ハイブリッド検索、メタデータフィルタリング、組み込みのリランキングをサポートしています。自動同期パイプラインにより、Deltaテーブルのデータ変更に合わせてインデックスが最新の状態に維持され、Unity Catalogによってガバナンス制御が検索ワークロードに拡張されます。

ガバナンスが効いたベクター検索の構築を開始する

ベクター検索は、AIシステムが正確なキーワードではなく、意味に基づいて関連情報を見つけるのに役立ちます。この機能は、RAGアプリケーションやレコメンデーションエンジンから企業内検索に至るまで、あらゆるものを支えています。

AIシステムが検索への依存度を高めるにつれて、ハイブリッド検索と信頼性の高い検索インフラストラクチャの重要性がますます高まっています。詳細については、Databricksプラットフォーム上のAI Searchをご覧ください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事