ベクターデータベースとは何ですか?

高次元ベクトル埋め込みを保存および照会するための専用データベース。効率的な類似性検索を可能にし、RAG などの AI アプリケーションを強化します。

によって Databricks Staff による投稿

Summary

アーキテクチャは、特殊なインデックス構造（HNSW、IVF、PQ）を採用し、大規模な近似最近傍検索を可能にし、数十億規模のベクトルコレクションにおけるクエリレイテンシ、リコール精度、メモリ効率を最適化します。
機械学習モデル（センテンストランスフォーマー、画像エンコーダー）によって生成された埋め込みをメタデータとともに保存することで、意味的類似性と従来の属性フィルターを組み合わせたハイブリッド検索を実現します。
ユースケースとしては、概念的に類似したコンテンツを返すセマンティック検索、関連アイテムを見つけるレコメンデーションシステム、関連するコンテキストを取得する質問応答、重複検出、高次元空間における異常識別などが挙げられます。

ベクトルデータベースとは何ですか？

ベクトルデータベースは、データを高次元のベクトルとして保存・管理するために設計された特殊なデータベースです。ベクトルとは、データに含まれる特徴や属性を数学的に表現したものです。行と列で構成された構造化データの取り扱いに適している従来のデータベースとは対照的に、ベクトルデータベース構造は、類似性に応じてグループ化された固定次元数のベクトル表現として情報を配置します。

ベクトルデータベース内の各ベクトルは特定の次元数で構成され、その次元数は数十次元から数千次元までさまざまです。次元の数は、データの複雑さと粒度に依存します。この構造により、ベクトルデータベースは複雑で多面的な情報を効率的に扱い、類似性に基づいた検索や分析を迅速に行うことができます。

ベクトルデータベースはどのような場合に使用しますか？

インターナショナル・データ・コーポレーション（IDC）によると、2025年までに世界中で新たに作成されるデータの80％は、テキスト、画像、動画などの非構造化データになると予想されています。ディープニューラルネットワークのような学習ベースのモデルは、eコマースからヘルスケアに至るまで、業界全体のアプリケーションでこの非構造化データを管理するためにますます使用されるようになっています。これらのアプリケーションは、非構造化データを埋め込みベクトルに変換することで動作します。データが一度「ベクトル化」されると、検索、推薦、分析などのタスクは類似性ベースのベクトル検索を用いて実行されます。ベクトルデータの管理はベクトルデータベースで行われます。

ベクトルデータベースをいつ使用するかは、使用している他のプロセスやテクノロジーによって異なります。ベクトルデータベースは、多くのAI システムを動かす重要なコンポーネントであり、一部の（すべてではありませんが）大規模言語モデル(LLM)アプリケーションでは、高速な類似性検索やコンテキストやドメイン知識の提供にベクトルデータベースを使用しています。例えば、検索拡張生成(RAG)では重要な役割を果たします。このアプローチでは、ベクトルデータベースを使用して、クエリーとともに追加のコンテキストを追加することで、LLM に渡されるプロンプトを拡張します。

ベクトルデータベースはハイブリッド検索も可能です。このアプローチは、キーワードが完全に一致しない場合でも、関連する情報を見つけるために、従来のキーワードベースの検索と意味的類似性検索を組み合わせたものです。ベクトルデータベースは、意味解析や感情解析などの自然言語処理（NLP）タスクや、機械学習モデルにも使用できます。

ベクトルとは何ですか？

ベクトルは高次元の数値配列で、複数の次元にまたがる特定の点の位置を表します。単語ベクトル空間を、単語が点として表現される3次元の雲として思い浮かべてください。このスペースでは、関連する意味を持つ単語がクラスタリングされます。例えば、"リンゴ "を表す点は、"車 "よりも "洋ナシ "に近い位置になります。この空間的配置は単語間の意味的関係を反映し、近接は意味の類似性を示します。

ベクトル埋め込みとは？

ベクトルは、生データに埋め込み関数を適用して表現に変換することで生成されます。これらの表現は、MLモデルが代表的なグルーピングを取り出し、それをベクトル空間に埋め込むことから、「埋め込み」と呼ばれています。ベクトルは数値のリストとして埋め込まれ、MLモデルがデータに対して演算を実行しやすくなります。実際、ML法の性能はベクトル表現の質に決定的に依存します。テキストの段落全体や数値のグループをベクトルに変換することで、モデルが効率的に演算を実行できるようになります。

ベクトルデータベースの仕組み

ベクトルデータベースは、高次元のベクトル埋め込みによってデータを効率的に格納、インデックス付け、クエリーするように設計されています。ユーザーがクエリーやリクエストをベクトルデータベースに入力すると、ベクトルデータベースは以下の一連の処理を開始します：

ベクトル化： この最初のステップでは、テキスト、画像、音声、ビデオなどのマルチモーダルコンテンツから埋め込みを生成します。このプロセスは、データの意味的な関係をキャプチャします。例えば、テキストデータでは、このプロセスによって、似たような意味を持つ単語（またはベクトル）がベクトル空間内で互いに近くに配置されるようになります。
ベクトルインデックス：次のステップでは、ベクトルデータベースを従来のデータベースと区別します。ML 製品量子化やHNSW（Hierarchical Navigable Small World）などのアルゴリズムをデータに適用し、ベクトルを新しいデータ構造にマッピングします。これらの構造により、ベクトル間の最近傍検索など、より高速な類似性や距離の検索が可能になります。このインデックス作成プロセスは、類似したベクトルを素早く検索できるようにするため、データベースのパフォーマンスにとって不可欠です。
クエリー実行： 最終段階では、最初のクエリーベクトルをデータベース内のインデックス付きベクトルと比較します。システムは、最も強い関係を持つベクトルを検索し、キーワードの完全一致ではなく、意味的類似性に基づいて最も関連性の高い情報を効果的に見つけます。

これらの処理により、ベクトルデータベースは意味検索や類似性に基づく検索を行うことができ、推薦システム、画像・ビデオ認識、テキスト分析、異常検知などのアプリケーションに最適です。

ベクトルデータベースの利点

ベクトルデータベースには様々な利点があります：

高速性とパフォーマンス： ベクトルデータベースは、ベクトル距離または類似性メトリックスを使用して、類似データを迅速に見つけることができます。完全一致や事前に定義された基準に限定される従来のデータベースとは異なり、ベクトルデータベースは意味的・文脈的な意味を捉えます。これにより、単純なキーワードマッチングだけでなく、よりニュアンスや文脈を考慮した検索が可能になり、データ検索が最適化されます。
スケーラビリティ： 従来のデータベースでは、ビッグデータを扱う際にスケーラビリティのボトルネックや待ち時間の問題、同時実行性の衝突などの問題に直面することがありますが、ベクトルデータベースは膨大な量のデータを扱うために構築されています。ベクトルデータベースは、シャーディング、パーティショニング、キャッシング、レプリケーションなどのテクニックを使ってワークロードを分散し、複数のマシンやクラスタリングにまたがるリソース利用を最適化することで、スケーラビリティを高めています。
汎用性：ベクトルデータベースは、画像、ビデオ、その他のマルチモーダルデータを含むデータであっても、多目的に使用できるように構築されています。ベクトルデータベースは、セマンティック検索から会話型AIアプリケーションまで、さまざまなユースケースに対応できるため、さまざまなビジネス要件に合わせてカスタマイズすることができます。
費用対効果：ベクトルデータベースは、高次元データを効率的に処理できるため、コストを抑えることができます。計算集約的で時間のかかるMLモデルを直接クエリするのとは異なり、ベクトルデータベースはモデル埋め込みを用いてデータセットをより効率的に処理します。
MLとの統合： ベクトルデータベースは、MLモデルが過去の入力を容易に呼び出すことを可能にし、MLがセマンティック検索、分類、推薦エンジンを動かすことを可能にします。完全一致ではなく、類似性メトリクスに基づいてデータを識別することができるため、モデルがデータのコンテキストを理解することが可能になります。

ベクトルデータベースの5つの使用例

ベクトルデータベースは、様々なアプリケーションやユースケースで業界を問わず使用されています。ここでは、最も一般的なベクトルデータベースの例をいくつか紹介します：

大規模言語モデル（LLM）

電子商取引やレコメンデーション・プラットフォームの人気の高まりとともに、情報検索のようなタスクのためのLLMの台頭は、非構造化データのためのクエリー最適化機能を提供できるベクトルデータベース管理システムを必要としています。

マルチモーダルアプリケーションでは、データはベクトルデータベースに埋め込まれて保存され、ベクトル表現の効率的な検索が容易になります。ユーザーがテキストクエリーを送信すると、システムはLLM とベクトルデータベースの両方を使用します。LLM は NLP 機能を提供し、ベクトルデータベースのアルゴリズムは近似最近傍検索を実行します。このアプローチは、どちらかのコンポーネントを単独で使用するよりも良い結果をもたらします。

ベクトル・データベースはRAGを通じてLLMに適用されるようになってきており、LLMのアウトプットにコンテキストを適用することで説明可能性を高めることができます。幻覚や偏見など、LLMの核となる課題を軽減するために、文脈を含めることでユーザー・プロンプトを補強することができます。

画像認識

ベクトルデータベースは、MLモデルによって生成された画像の高次元埋め込みを格納することで、画像認識において重要な役割を果たします。ベクトルデータベースは類似検索タスクに最適化されているため、物体検出、顔認識、画像検索などのアプリケーションに最適です。

ベクトルデータベースは、類似性によって文脈を迅速に検索するために微調整されています。Eコマース・プラットフォームは、ベクター・データベースを使用して類似した視覚的属性を持つ製品を見つけることができ、ソーシャルメディア・サイトは関連する画像をユーザーに提案することができます。その一例がPinterestで、各画像を高次元ベクトルとして表現することで、ベクトルデータベースがコンテンツ発見を強力にサポートします。ユーザーが海岸の夕日の画像をピン留めすると、システムはベクトルデータベースを素早く検索し、他の海岸の風景や夕日など、視覚的に類似した画像を提案します。

自然言語処理（NLP）

ベクトルデータベースは、分散された単語表現の効率的な保存と検索を可能にすることで、自然言語処理に革命をもたらしました。Word2Vec、GloVe、BERTのようなモデルは、膨大なテキストデータセットで学習され、意味的関係を捉える高次元単語埋め込みを生成します。

ベクトルデータベースは、類似検索を迅速に行うことができるため、文脈に関連した単語やフレーズを見つけることができます。この機能は、意味検索、質問応答、テキスト分類、名前付きエンティティ抽出などのタスクに特に有効です。さらに、ベクトルデータベースは文レベルの埋め込みを保存することができるため、単語の文脈を捉え、よりニュアンスのある言語理解を可能にします。

不正検知

金融機関はベクトル・データベースを使用して不正取引を検出します。ベクトルデータベースにより、企業は取引ベクトルを既知の不正パターンとリアルタイムで比較することができます。また、ベクトルデータベースの拡張性により、リスクを管理し、消費者行動に関する新たな知見を得ることができます。これらのデータベースは、トランザクションデータをベクトルとして符号化することにより、アクティビティを示すパターンを識別することができます。さらに、意思決定プロセスを改善するためにデータを分析することで、信用力の評価や消費者のセグメンテーションを容易にします。

ベクトルデータベースに共通する課題

ベクトルデータベースには多くの利点と使用例がありますが、ベクトルデータベースの完全な理解には、その課題も含める必要があります。

新しいデータパイプライン

ベクトルデータベースは、様々なソースからの未処理の生データを、データベースにベクターとして格納する前に、クリーニング、処理、MLモデルへの組み込みができる効率的なデータ取り込みパイプラインを必要とします。

Databricksベクトル検索は、包括的なソリューションを提供することで、この課題に取り組んでいます。ベクターの生成、管理、最適化を自動化し、ソースデータと対応するベクターインデックスのリアルタイム同期を処理します。ソフトウェアは障害を管理し、スループット (throughput) を最適化し、バッチサイズの自動チューニングとオートスケールを実行します。

このアプローチにより、個別のデータ取り込みパイプラインの必要性が減り、「開発者の労力」を最小限に抑え、チームは複雑なデータ準備プロセスの構築と維持に時間を費やすのではなく、ビジネス価値を直接的に高めるより高度なタスクに集中できるようになります。

セキュリティとガバナンスの強化

ベクトルデータベースは、必要なメンテナンスと管理とともに、さらなるセキュリティ、アクセスコントロール、データガバナンスを必要とします。企業組織は、ユーザが機密データにアクセスするGenAI モデル（Link ）にアクセスできないように、データに対する厳格なセキュリティとアクセス制御を必要とします。

現在のベクター・データベースの多くは、強固なセキュリティとアクセス制御を備えていないか、セキュリティ・ポリシーを別途構築・維持する必要があります。Databricks ベクトル検索は、データ・ポリシーを定義する統一されたインターフェイスを提供し、追加のツールを使用することなく、自動的にデータリネージを追跡します。これにより LLM モデルは、アクセス権を持たないユーザーに機密データを公開することはありません。

高度な技術知識

類似性検索や高次元データの取り扱いに強力な機能を提供するベクトルデータベースは、データサイエンティスト、 AIおよびML モデルを扱うにとって不可欠なツールです。Databricks ベクトル検索は、ベクトルデータベースとして傑出しており、手作業による設定が不要なため、、インフラ管理よりもコア業務に集中することができます。Serverless data scientists

Databricks ベクトル検索の主な利点は、lakehouse アーキテクチャとのシームレスな統合、自動化されたデータ取り込み、他の一般的なベクトルデータベースと比較して最大 5 倍高速な結果などです。また、Unity Catalogを通じて既存のデータガバナンスやセキュリティツールとの互換性があり、データ保護とコンプライアンスを保証します。

Databricks ベクトル検索は、データ取り込みとクエリの自動スケーリング、およびプラグアンドプレース（）により、初心者と上級者の両方に柔軟性を提供します。APIs この使いやすさと強力な性能の組み合わせにより、data scientists 、あらゆるレベルの専門家がベクトルデータベースの構築を簡素化できます。

ベクトルデータベースとグラフデータベースの比較

ベクトルデータベースは、データを多次元ベクトル空間の点として整理します。各ポイントはデータの一部を表し、その位置は他のデータとの相対的な特性を反映しています。このベクトルデータベース構造は、LLMによってベクトル埋め込みが生成され、データを簡単に検索・取得できるため、多くのGenAIアプリケーションに適しています。

これに対してグラフデータベースは、データをグラフ構造で格納することで整理します。エンティティはグラフ上のノードとして表され、これらのデータポイント間の接続はエッジとして表されます。グラフ構造により、ストアのデータ項目はノードとエッジの集まりとなり、エッジはノード間の関係を表します。グラフデータベースの相互接続構造は、データそのものと同様にデータポイント間の接続が重要なシナリオに適しています。

ベクターインデックスとベクトルデータベースの違いは何ですか？

ベクトル・インデックスとベクトル・データベースは、高次元データの処理において、別個の、しかし相補的な役割を果たします。

ベクトルインデックス：ベクトルインデックスは、ベクトル埋め込み間の類似性を高速に検索するために設計された特殊なデータ構造です。効率的な検索を可能にする方法でベクトルを整理することで、検索速度を大幅に向上させます。ベクトルインデックスの例としては、Facebook AI Similarity Search (FAISS)、HNSW、locality-sensitive hashing (LSH)などがあります。これらのインデックスは、独立したアルゴリズムプロセスとして使用することも、検索操作を最適化するために大規模なシステムに統合することもできます。
ベクトルデータベース： 一方、ベクトルデータベースは、ベクトルインデックスを組み込むだけでなく、データストレージ、作成、読み取り、更新、削除（CRUD）操作、メタデータフィルタリング、水平スケーリングなどの追加機能を提供する包括的なデータマネジメントソリューションです。ベクトル埋め込みを効率的に管理し、複雑な操作をサポートし、データ完全性とセキュリティを確保するように設計されています。

ベクトルデータベースの今後の動向

近年のLLMやGenAIアプリケーションの台頭は、ベクトルデータベースの普及に拍車をかけています。AIアプリケーションの成熟が進むにつれて、新製品の開発やユーザーニーズの変化がベクトルデータベースの今後のトレンドの方向性を決めることになるでしょうが、一般的に予想される方向性はいくつかあります。

MLモデルとの統合の増加：ベクトル・データベースとMLモデルの関係は、ますます研究が進んでいます。これらの取り組みは、ベクトルのサイズと次元を縮小し、大規模なデータセットのストレージ要件を最小限に抑え、計算効率を高めることを目的としています。
RAGのカスタマイズ：RAGは、チャットボットや一般的な質問応答アプリケーションを含むGenAIのユースケースにおいて、LLMに提供されるコンテキストを改善するために使用されるアプローチです。ベクトルデータベースは、クエリーとともに追加のコンテキストを追加することで、LLM に渡されるプロンプトを強化するために使用されます。
マルチベクトル検索：顔認識などのアプリケーションで重要なマルチベクトル検索機能の向上について、さらなる研究が期待されています。現在の技術では、個々のスコアの組み合わせに頼ることが多いですが、この方法では必要な距離計算の数が増えるため、計算コストが高くなります。
ハイブリッド検索：検索システムの進化により、従来のキーワードベースの手法と最新のベクトル検索技術を組み合わせたハイブリッドアプローチの採用が増加しています。

Databricksでベクトルデータベースを作成する方法

DatabricksMosaic AI Vector Searchは、Databricksのデータインテリジェンスプラットフォーム向け統合ベクトルデータベースソリューションです。この完全に統合されたシステムは、個別のデータ取り込みパイプラインの必要性を排除し、セキュリティ管理とデータガバナンスの仕組みを適用することで、すべてのデータ資産に一貫した保護を保証します。

Databricks ベクトル検索は、高性能ですぐに使えるエクスペリエンスを提供し、LLMが最小限の待ち時間で関連する結果をすばやく検索できるようにします。自動スケーリングと最適化により、手動でデータベースをチューニングする必要がなくなります。この統合により、ベクトル埋め込みデータの保存、管理、クエリのプロセスが合理化され、企業はデータセキュリティとガバナンスの基準を維持しながら、レコメンダーシステムやセマンティック検索などのAIアプリケーションを容易に実装できるようになります。

ベクトルデータベースとベクター検索に関する詳しい情報はどこにありますか？

ベクトルデータベースやベクター検索で、より多くの情報を検索できるリソースはたくさんあります：

ブログ

eBook

デモ

検索拡張生成（RAG）、Llama2-70B（MosaicML 推論）、ベクトル検索を使用した LLM チャットボットの展開

Databricks にお問い合わせの上、デモを予約し、LLM とベクトルデータベースについてご相談ください。

FAQ

1. ベクトルデータベースと従来のデータベースの違いは？
従来型は表形式の構造化データを扱うのに対し、ベクトルデータベースは非構造化データをベクトルとして扱い、意味的な検索や類似度計算が得意です。

2. ベクトルデータベースの具体的な使用例は？
画像や動画検索、商品推薦システム、自然言語処理（質問応答やチャットボット等）、不正検知、生成AIモデルの支援（RAG）などがあります。

3. ベクトルデータベース利用時の主な課題は？
データ取り込みパイプラインの構築や維持の複雑さ、セキュリティ・ガバナンスの強化、高度な専門知識が求められる点が主な課題です。