ベクトルデータベースとは？

ベクトルデータベースとは？

ベクトルデータベースとは、データを高次元のベクトルとして保存・管理するために設計された特化型のデータベースです。この用語は、データに含まれる特徴や属性を数学的に表現した「ベクトル」に由来しています。行と列で整理された構造化データの処理に適している従来のデータベースとは異なり、ベクトルデータベースの構造は、類似性に基づいてグループ化された固定次元数のベクトル表現として情報を配置します。

ベクトルデータベース内の各ベクトルは特定の次元数で構成されており、その数は数十から数千に及ぶこともあります。次元数は、データの複雑さと粒度によって異なります。この構造により、ベクトルデータベースは複雑で多面的な情報を効率的に処理し、類似性に基づく迅速な検索や分析を実行できます。

ベクトルデータベースはどのような場合に使用しますか？

International Data Corporation（IDC）によると、2025年までに世界中で新しく作成されるデータの80%は、テキスト、画像、動画などの非構造化データになると予測されています。ディープニューラルネットワークなどの学習ベースのモデルは、Eコマースからヘルスケアにいたるまで、さまざまな業界のアプリケーションでこの非構造化データを管理するためにますます使用されるようになっています。これらのアプリケーションは、非構造化データを埋め込みベクトルに変換することで機能します。データが「ベクトル化」されると、類似性に基づくAI検索を介して、検索、レコメンデーションの作成、分析などのタスクを実行できるようになります。このベクトルデータの管理を行うのがベクトルデータベースです。

ベクトルデータベースをいつ使用すべきかは、併用する他のプロセスやテクノロジーによって異なります。ベクトルデータベースは、多くのAIシステムを動かすための重要なコンポーネントであり、すべてではありませんが、一部の大規模言語モデル（LLM）アプリケーションでは、高速な類似性検索や、コンテキストやドメイン知識の提供のためにベクトルデータベースを使用しています。たとえば、クエリとともにコンテキストを追加することでLLMに渡されるプロンプトを強化する手法である検索拡張生成（RAG）において、ベクトルデータベースは極めて重要な役割を果たしています。

また、ベクトルデータベースはハイブリッド検索も可能にします。このアプローチでは、従来のキーワードベースの検索とセマンティック類似性検索を組み合わせることで、キーワードが完全に一致しない場合でも関連情報を特定できます。さらに、ベクトルデータベースは、セマンティック分析や感情分析を含む多くの自然言語処理（NLP）タスクや、機械学習（ML）モデルのトレーニングにも使用できます。

ベクトルとは？

ベクトルとは、複数の次元にわたる特定の点の位置を表す高次元の数値配列です。単語のベクトル空間を、単語が点として表現される3次元の雲として想像してみてください。この空間では、関連する意味を持つ単語が近くに集まります。たとえば、「リンゴ」を表す点は、「車」よりも「梨」の近くに配置されます。この空間的な配置は単語間のセマンティックな（意味的な）関係を反映しており、距離の近さは意味の類似性を示しています。

ベクトル埋め込みとは？

ベクトルは、生のデータに埋め込み関数を適用して表現に変換することで生成されます。これらの表現は「埋め込み（embeddings）」と呼ばれます。これは、MLモデルが代表的なグループを取り込み、それをベクトル空間に埋め込む（embed）ためです。ベクトルは数値のリストとして埋め込まれるため、MLモデルがデータを使用して演算を実行しやすくなります。実際、ML手法のパフォーマンスは、ベクトル表現の品質に大きく依存します。テキストの段落全体や数値のグループを1つのベクトルに縮小できるため、モデルは効率的に演算を実行できます。

ベクトルデータベースはどのように機能するのか？

ベクトルデータベースは、高次元のベクトル埋め込みを通じて、データを効率的に保存、インデックス作成、およびクエリを実行できるように設計されています。ユーザーがベクトルデータベースにクエリやリクエストを入力すると、以下の一連のプロセスが開始されます。

1. ベクトル化：最初のステップでは、テキスト、画像、音声、動画などのマルチモーダルコンテンツから埋め込みを生成します。このプロセスにより、データ内のセマンティックな関係が捉えられます。たとえば、テキストデータの場合、このプロセスによって、類似した意味（またはベクトル）を持つ単語がベクトル空間内で互いに近くに配置されます。
2. ベクトルインデックス作成：次のステップは、ベクトルデータベースを従来のデータベースと区別する特徴です。積量子化やHierarchical Navigable Small World（HNSW）などのMLアルゴリズムをデータに適用して、ベクトルを新しいデータ構造にマッピングします。これらの構造により、ベクトル間の近傍探索など、より高速な類似性検索や距離検索が可能になります。このインデックス作成プロセスは、類似したベクトルを迅速に取得できるようにするため、データベースのパフォーマンスに不可欠です。
3. クエリの実行：最終段階では、初期クエリベクトルがデータベース内のインデックス付きベクトルと比較されます。システムは最も強い関係を持つベクトルを取得し、完全なキーワード一致ではなく、セマンティックな類似性に基づいて最も関連性の高い情報を効果的に見つけ出します。

これらのプロセスにより、ベクトルデータベースはセマンティック検索や類似性に基づく取得を実行できるため、レコメンデーションシステム、画像・動画認識、テキスト分析、異常検知などのアプリケーションに最適です。

ベクトルデータベースのメリット

ベクトルデータベースには、さまざまなメリットがあります。

• 高速性と高いパフォーマンス：ベクトルデータベースは、ベクトルの距離や類似性の指標を使用して類似データを迅速に特定できます。このプロセスは、NLP、コンピュータビジョン、レコメンデーションシステムに不可欠です。完全一致や事前定義された基準に限定される従来のデータベースとは異なり、ベクトルデータベースはセマンティックな意味や文脈上の意味を捉えます。これにより、単純なキーワード一致を超えた、よりニュアンスに富んだ文脈を考慮した検索が可能になり、データ取得が最適化されます。
• スケーラビリティ：従来のデータベースは、ビッグデータを処理する際にスケーラビリティのボトルネック、遅延の問題、または同時実行の競合に直面する可能性がありますが、ベクトルデータベースは膨大な量のデータを処理するように構築されています。ベクトルデータベースは、シャーディング、パーティショニング、キャッシュ、レプリケーションなどの技術を使用してワークロードを分散し、複数のマシンやクラスター間でリソース使用率を最適化することで、スケーラビリティを向上させます。
• 汎用性：データに画像、動画、その他のマルチモーダルデータが含まれているかどうかにかかわらず、ベクトルデータベースは汎用性が高くなるように構築されています。セマンティック検索から対話型AIアプリケーションにいたるまで、複数のユースケースに対応できるため、さまざまなビジネス要件に合わせてカスタマイズできます。
• 優れたコスト効率：ベクトルデータベースは、高次元データを効率的に処理できるため、コストを抑えることができます。計算負荷が高く時間がかかる可能性のあるMLモデルへの直接のクエリ実行とは異なり、ベクトルデータベースはモデルの埋め込みを使用してデータセットをより効率的に処理します。
• MLとの統合：ベクトルデータベースを使用すると、MLモデルが以前の入力を思い出しやすくなり、MLを活用したセマンティック検索、分類、レコメンデーションエンジンを実現できます。完全一致ではなく類似性の指標に基づいてデータを特定できるため、モデルがデータの文脈を理解できるようになります。

ベクトルデータベースの5つのユースケース

ベクトルデータベースは、さまざまなアプリケーションやユースケースのために、あらゆる業界で使用されています。ここでは、最も一般的なベクトルデータベースの例をいくつか紹介します。

大規模言語モデル（LLM）

情報検索などのタスクにおけるLLMの台頭や、Eコマースやレコメンデーションプラットフォームの人気向上に伴い、非構造化データに対するクエリ最適化機能を提供できるベクトルデータベース管理システムが必要とされています。

マルチモーダルアプリケーションでは、データが埋め込まれてベクトルデータベースに保存され、ベクトル表現の効率的な取得が容易になります。ユーザーがテキストクエリを送信すると、システムはLLMとベクトルデータベースの両方を使用します。LLMがNLP機能を提供する一方で、ベクトルデータベースのアルゴリズムが近似近傍探索を実行します。このアプローチにより、どちらかのコンポーネントを単独で使用する場合と比較して、より優れた結果を得ることができます。

ベクトルデータベースは、RAGを通じてLLMに適用されるケースが増えています。これにより、LLMの出力に文脈を適用して説明可能性を高めることができます。文脈を含めることでユーザープロンプトを拡張し、ハルシネーション（幻覚）やバイアスといったLLMの主要な課題を軽減できます。

画像認識

ベクトルデータベースは、MLモデルによって生成された画像の高次元埋め込みを保存することで、画像認識において重要な役割を果たすことができます。ベクトルデータベースは類似性検索タスクに最適化されているため、オブジェクト検出、顔認識、画像検索などのアプリケーションに最適です。

ベクターデータベースは、類似性を通じてコンテキストを迅速に検索できるように微調整されています。Eコマースプラットフォームは、ベクターデータベースを使用して視覚的特徴が類似している商品を検索でき、ソーシャルメディアサイトは、関連する画像をユーザーに提案できます。わかりやすい例としてPinterestが挙げられます。同サイトでは、各画像を高次元ベクターとして表現することで、ベクターデータベースがコンテンツの発見を支えています。ユーザーが海岸の夕日の画像をピン留めすると、システムはベクターデータベースを迅速に検索し、他のビーチの風景や夕日など、視覚的に類似した画像を提案できます。

自然言語処理（NLP）

ベクターデータベースは、分散された単語表現の効率的な保存と検索を可能にすることで、NLPに革命をもたらしました。Word2Vec、GloVe、BERTなどのモデルは、大規模なテキストデータセットでトレーニングされ、意味的な関係を捉える高次元の単語埋め込みを生成します。これらは、高速なアクセスのためにベクターデータベースに保存されます。

迅速な類似性検索を可能にすることで、ベクターデータベースはモデルが文脈的に関連する単語やフレーズを見つけることを可能にします。この機能は、セマンティック検索、質問応答、テキスト分類、固有表現抽出などのタスクに特に役立ちます。さらに、ベクターデータベースは文レベルの埋め込みを保存できるため、単語の文脈を捉え、よりニュアンスのある言語理解を可能にします。

レコメンデーションシステムとパーソナライゼーション

埋め込みモデルを使用してベクターデータベースをトレーニングすると、パーソナライズされたレコメンデーションの生成に利用できます。ユーザーがシステムを操作すると、その行動や好みがユーザーの埋め込みの生成に使用されます。たとえば、ユーザーがLLMにテレビドラマの推薦を求めると、ベクターデータベースはユーザーの好みに類似したプロットや評価を持つテレビドラマを提案できます。その後、ユーザーのエンコーディングに最も近い埋め込みを持つテレビドラマが推薦されます。

不正検出

金融機関は、不正な取引を検出するためにベクターデータベースを使用しています。ベクターデータベースにより、企業は取引ベクターと既知の不正パターンをリアルタイムで比較できます。また、ベクターデータベースのスケーラビリティにより、リスクを管理し、消費者行動に関する新たなインサイトを獲得できます。これらのデータベースは、取引データをベクターとしてエンコードすることで、特定の活動を示すパターンを特定できます。さらに、データを分析して意思決定プロセスを改善することにより、信用力の評価や消費者セグメンテーションを容易にします。

ベクターデータベースの一般的な課題

多くのメリットやユースケースがある一方で、ベクターデータベースを完全に理解するには、その課題についても把握しておく必要があります。

新しいデータパイプライン

ベクターデータベースには、さまざまなソースからの未処理の生データをクレンジング、処理し、MLモデルで埋め込んでからデータベースにベクターとして保存する、効率的なデータインジェスチョンパイプラインが必要です。

Databricks AI Searchは、包括的なソリューションを提供することでこの課題に対処します。ベクターの生成、管理、最適化を自動化し、ソースデータと対応するベクターインデックスのリアルタイム同期を処理します。このソフトウェアは、手動での介入を必要とせずに、障害の管理、スループットの最適化、自動バッチサイズ調整、およびオートスケーリングを実行します。

このアプローチにより、個別のデータインジェスチョンパイプラインの必要性が減り、「開発者の労力」が最小限に抑えられます。これにより、チームは複雑なデータ準備プロセスの構築や維持に時間を費やすのではなく、ビジネス価値を直接高めるより高度なタスクに集中できるようになります。

セキュリティとガバナンスの強化

ベクターデータベースには、必要なメンテナンスや管理に加えて、追加のセキュリティ、アクセス制御、およびデータガバナンスが必要です。エンタープライズ企業では、ユーザーが機密データにリンクするGenAIモデルにアクセスできないように、データに対する厳格なセキュリティとアクセス制御が求められます。

現在の多くのベクターデータベースは、堅牢なセキュリティやアクセス制御が備わっていないか、組織が個別のセキュリティポリシーを構築して維持する必要があります。Databricks AI Searchは、追加のツールを必要とせずにデータ系列を自動的に追跡するデータポリシーを定義する、統合されたインターフェースを提供します。これにより、LLMがアクセス権のないユーザーに機密データを公開しないようにすることができます。

高度な技術的知識

類似性検索や高次元データの処理に強力な機能を提供するベクターデータベースは、AIやMLモデルを扱うデータサイエンティストにとって不可欠なツールです。Databricks AI Searchは、手動での構成が不要なサーバーレスベクターデータベースとして際立っており、データサイエンティストはインフラストラクチャの管理ではなく、コア業務に集中できます。

Databricks AI Searchの主な利点には、レイクハウスアーキテクチャとのシームレスな統合、自動化されたデータインジェスチョン、および他の一般的なベクターデータベースと比較して最大5倍高速な結果が挙げられます。また、Unity Catalogを介して既存のデータガバナンスおよびセキュリティツールと互換性があり、データの保護とコンプライアンスを確保します。

Databricks AI Searchは、データインジェスチョンとクエリの自動スケーリングに加え、パイプラインをより細かく制御したいユーザー向けのプラグアンドリプレイスAPIを提供し、初心者と上級ユーザーの両方に柔軟性を提供します。この使いやすさと強力なパフォーマンスの組み合わせにより、あらゆる専門レベルのデータサイエンティストにとってベクターデータベースの構築が簡素化されます。

ベクターデータベースとグラフデータベースの比較

ベクターデータベースは、多次元ベクター空間内の点としてデータを整理します。各点はデータの一部を表し、その位置は他のデータに対する特徴を反映しています。このベクターデータベースの構造は、ベクター埋め込みがLLMによって生成され、データを簡単に検索および取得できるため、多くのGenAIアプリケーションに適しています。

対照的に、グラフデータベースは、データをグラフ構造で保存することによって整理します。エンティティはグラフ上のノードとして表され、これらのデータポイント間の接続はエッジとして表されます。グラフ構造により、ストア内のデータ項目はノードとエッジのコレクションになり、エッジはノード間の関係を表します。グラフデータベースの相互接続された構造は、データポイント間の接続がデータ自体と同じくらい重要であるシナリオに適しています。

ベクターインデックスとベクターデータベースの違いは何ですか？

ベクターインデックスとベクターデータベースは、高次元データの処理において、それぞれ異なる、しかし補完的な役割を果たします。

• ベクターインデックス：ベクターインデックスは、ベクター埋め込み間の高速な類似性検索を容易にするために設計された、特殊なデータ構造です。効率的な検索を可能にする方法でベクターを整理することにより、検索速度を大幅に向上させます。ベクターインデックスの例としては、Facebook AI Similarity Search（FAISS）、HNSW、Locality-Sensitive Hashing（LSH）などがあります。これらのインデックスは、スタンドアロンのアルゴリズムプロセスとして使用することも、検索操作を最適化するためにより大きなシステムに統合することもできます。
• ベクターデータベース：一方、ベクターデータベースは、ベクターインデックス作成を組み込むだけでなく、データの保存、作成・読み取り・更新・削除（CRUD）操作、メタデータフィルタリング、水平スケーリングなどの追加機能を提供する、包括的なデータ管理ソリューションです。ベクター埋め込みを効率的に管理およびクエリするように設計されており、複雑な操作をサポートし、データの整合性とセキュリティを確保します。

ベクターデータベースの今後のトレンド

近年のLLMや、より一般的なGenAIアプリケーションの台頭は、それに伴うベクターデータベースの採用拡大に貢献しています。AIアプリケーションが成熟し続けるにつれて、新製品の開発やユーザーのニーズの変化がベクターデータベースの今後のトレンドの方向性を決定することになりますが、この技術には一般的に期待されているいくつかの方向性があります。

• MLモデルとの統合の強化：ベクターデータベースとMLモデルの関係は、研究が活発化している分野です。これらの取り組みは、ベクターのサイズと次元数を削減し、大規模なデータセットのストレージ要件を最小限に抑え、計算効率を高めることを目的としています。
• RAGのカスタマイズ：RAGは、チャットボットや一般的な質問応答アプリケーションを含むGenAIのユースケースにおいて、LLMに提供されるコンテキストを改善するために使用されるアプローチです。ベクターデータベースは、クエリとともに追加のコンテキストを追加することにより、LLMに渡されるプロンプトを強化するために使用されます。
• マルチベクター検索：顔認識などのアプリケーションにとって重要である、マルチベクター検索機能の向上について、さらなる研究が期待されています。現在の技術は個々のスコアの組み合わせに依存することが多いですが、このアプローチは必要な距離計算の回数が増えるため、計算コストが高くなる可能性があります。
• ハイブリッド検索：検索システムの進化により、従来のキーワードベースの手法と最新のベクター検索技術を組み合わせたハイブリッドアプローチの採用が広がっています。

Databricksでベクターデータベースを作成する方法

Databricks AI Searchは、Data Intelligence Platform向けのDatabricksの統合ベクトルデータベースソリューションです。この完全に統合されたシステムにより、個別のデータ取り込みパイプラインが不要になり、セキュリティ制御とデータガバナンスメカニズムが適用され、すべてのデータ資産にわたって一貫した保護が保証されます。

Databricks AI Searchは、すぐに使える高性能なエクスペリエンスを提供し、LLMが最小限のレイテンシで関連する結果を迅速に取得できるようにします。ユーザーは自動スケーリングと最適化のメリットを享受でき、データベースの手動チューニングが不要になります。この統合により、ベクトル埋め込みの保存、管理、クエリのプロセスが合理化され、データセキュリティとガバナンスの基準を維持しながら、レコメンダーシステムやセマンティック検索などのAIアプリケーションを組織が容易に実装できるようになります。

ベクトルデータベースとベクトル検索に関する詳細情報はどこで入手できますか？

ベクトルデータベースとベクトル検索に関する詳細情報を見つけるための、以下のような多くのリソースが用意されています。

ブログ

• Databricks AI Searchにおけるハイブリッド検索
• Databricks AI Search パブリックプレビュー
• Databricksを使用した高品質なRAGアプリケーションの構築
• リアルタイムの構造化データによるRAGアプリケーションの応答品質の向上
• 新しい基盤モデル機能によるGenAIアプリケーションの迅速な構築
• RAGアプリケーションのLLM評価におけるベストプラクティス
• MLflow AI GatewayとLlama 2を使用したジェネレーティブAIアプリの構築（独自のデータを使用した検索拡張生成（RAG）による精度の向上）

eBook

• GenAI ビッグブック
• RAGコンパクトガイド
• MLOps ビッグブック

デモ

• 検索拡張生成（RAG）、llama2-70B（MosaicML Inferences）、およびAI Searchを使用したLLMチャットボットのデプロイ

デモのスケジュールを設定し、LLMやベクトルデータベースについて相談するには、Databricksにお問い合わせください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事