pgvectorとは何ですか？

pgvectorは、ベクトル埋め込み（データの数値表現）の保存、インデックス作成、検索機能を新たに追加するオープンソースのPostgreSQL拡張機能です。これにより、ベクトルデータと類似性検索をアプリケーションデータと同じシステム内で扱えるようになり、外部のベクトルデータベースに依存することなく、セマンティック検索、レコメンデーション、検索拡張生成（RAG）を強化することが可能になります。pgvectorは、これらのAI駆動型ユースケースをサポートするためにPostgresを拡張します。

多くの最新AIアプリケーションは、完全一致だけでなく、意味的に類似したデータの取得に依存しています。pgvectorを使用すると、チームは既存のPostgresスタック内で実行時にこの種の検索を実行できます。たとえば、アプリケーションでは、たとえ表現が異なっていても、クエリと文脈的に類似したコンテンツを取得する必要がある場合があります。このアプローチは、コサイン類似度、最近傍探索、または埋め込みベースの検索と呼ばれることがよくあります。

この記事では、詳細な実装ガイダンスではなく、pgvectorのハイレベルで教育的な概要を提供します。

pgvectorの仕組み

pgvectorは、Postgresにvectorという新しいデータ型を追加します。これにより、埋め込み（テキスト、画像、その他のコンテンツの数値表現）を、個別のシステムを必要とせずにリレーショナルデータと共に保存できます。これらの埋め込みは通常、テキストや画像などのコンテンツを数値形式に変換する機械学習モデルによって生成されます。

大まかに言うと、プロセスは単純です。埋め込みはデータベースに保存されます。クエリが受信されると、入力からクエリ埋め込みが生成され、pgvectorはクエリに最も類似している、または意味的に最も近いベクトルを持つレコードを返します。キーワードの一致ではなく、意味に基づいて結果が取得されます。

pgvectorは、距離指標を使用して類似性を判断します。

• L2（ユークリッド距離）：ベクトル間の距離を測定し、値が小さいほど類似性が高いことを示します
• コサイン類似度：ベクトルが同じ方向を指す度合いを測定し、多くの場合、意味の類似性を反映します
• 内積：ベクトル間の整合性を測定し、正規化された埋め込みでよく使用されます

pgvectorの主な機能

pgvectorには、Postgres内でベクトル検索を実用的にするためのいくつかの機能が含まれています。

• インデックス作成：HNSWとIVFFlatの2つのインデックスタイプがサポートされています。HNSWはクエリ速度を優先し、メモリ内にグラフ構造を構築しますが、より多くのメモリを必要とします。IVFFlatはメモリ効率が高く、トレーニングステップを使用してベクトルをクラスターにパーティション化しますが、クエリは遅くなる可能性があります。
• 距離指標：L2、コサイン類似度、内積は、ほとんどの埋め込みベースのユースケースをカバーします。Hamming距離はバイナリベクトルをサポートし、Jaccard距離はより専門的なシナリオでスパースベクトルをサポートします。
• フィルタリングされた検索：ベクトル類似性と標準的なリレーショナルフィルタを組み合わせることができます。たとえば、結果には、在庫があり、価格帯内にある、または特定のカテゴリにある、最も意味的に類似した製品を含めることができます。
• ハイブリッド検索：pgvectorはPostgres全文検索と組み合わせて、キーワード検索とセマンティック検索をブレンドできます。これにより、単一のクエリで文脈的に関連性が高く、テキスト的に正確な結果を得ることができます。
• 追加のデータ型：halfvec、sparsevec、bitタイプなどのオプションは、大規模な埋め込みデータセットを扱う際のメモリ使用量の削減に役立ちます。

pgvectorの一般的なユースケース

pgvectorは、AI駆動型のアプリケーション機能を強化するために広く使用されています。

セマンティック検索とRAG

アプリケーションは、キーワードではなく意味に基づいてドキュメントやコンテンツを取得できます。これは、大規模言語モデルが取得したコンテキストを使用して正確で関連性の高い応答を生成する検索拡張生成（RAG）のコアコンポーネントです。pgvectorはPostgres内で直接類似性検索を実行するため、この取得は個別のシステムを必要とせずにリアルタイムで実行できます。

レコメンデーションシステム

アイテムを過去の行動や好みに一致させて、レコメンデーションをサポートできます。このパターンは、アプリケーションでの製品レコメンデーション、コンテンツ発見、パーソナライゼーションで一般的に使用されます。pgvectorは、ユーザー行動やコンテンツのパターンに基づいて関連アイテムを効率的に特定することを可能にします。

画像類似性

画像埋め込みを保存および比較して、視覚的に類似した画像をすばやく見つけることができます。これは、メディアプラットフォーム、eコマース、クリエイティブツールで広く使用されています。これらの埋め込みをアプリケーションデータと共に保存することで、追加のインフラストラクチャなしで類似性検索を実行することが容易になります。

異常検知

ベクトル空間内の典型的なパターンから離れたデータポイントを見つけることで、外れ値を特定できます。これは、不正検出、監視、品質管理に役立ちます。pgvectorは、ベクトルを比較して偏差を検出することを容易にすることで、これを可能にします。

重複排除

表現が異なったり、形式が異なったりしても、重複またはほぼ重複するコンテンツを特定できます。これは、コンテンツ管理、検索品質、データ衛生にとって重要です。類似性ベースの比較により、完全一致を超える重複を検出することが可能になります。

pgvectorと専用ベクトルデータベース：それぞれの使い分け

ベクトル検索がより多くのアプリケーションに組み込まれるにつれて、チームはしばしば実用的な決定に直面します。ベクトル検索はPostgres内に留めるべきか、それとも専用のベクトルデータベースが必要か？答えは、規模、パフォーマンス要件、運用上の複雑さによって異なります。

違いは、主要な次元で要約できます。

pgvectorは、Postgresをすでに使用しており、スケーラビリティの限界を下回る規模で運用しているチームにとって自然な出発点です。ベクトル検索が既存のアプリケーションワークフローの一部であり、データ量やクエリの需要が管理可能な範囲内にある場合にうまく機能します。専用のベクトルデータベースは、クエリ量、再現率の要件、またはマルチテナントワークロードがPostgresで効率的にサポートできる範囲を超えた場合に、より関連性が高くなります。

pgvectorscale

pgvectorscaleは、専用のベクトルデータベースを採用する前にpgvectorでどこまで対応できるかを拡張したいチーム向けに設計されています。特にインデックス作成速度とクエリレイテンシに関して、データ量とクエリ需要が増加するにつれて発生するパフォーマンスとスケーラビリティの課題に対処します。pgvectorが大規模でどのように機能するかを改善することにより、チームはシステムを再構築することなく、より長くPostgresを使用し続けることができます。これは、pgvector単独で対応できる限界に近づいているアプリケーションにとって、実用的な中間ステップとなります。

制限事項とスケーリングに関する考慮事項

pgvectorは強力ですが、トレードオフがあります。

• 追加の最適化やツールなしでは、非常に高いベクトル数（1000万件以上）でパフォーマンスが低下する可能性があります
  • HNSWインデックスはメモリを大量に消費するため、大規模なデプロイメントではかなりのRAMが必要になる場合があります
  • Postgresはベクトルワークロード向けの組み込みシャーディングを提供していないため、水平スケーリングには外部ツールまたはマネージドプロバイダーが必要です
  • 検索速度と再現率には、意図的なトレードオフがあります。再現率（返される真に関連する結果の割合）は、最適化のために意図的な設定が必要です。

これらの制限を理解することは、pgvectorが十分である場合と、追加のインフラストラクチャが必要になる場合を判断するのに役立ちます。

pgvectorの開始方法

pgvector は、Homebrew などの標準的なパッケージマネージャーを使用して macOS およびほとんどの Linux ディストリビューションにインストールできます。また、AWS RDS、Supabase、Azure Database for PostgreSQL、Google Cloud SQL、Neon を含む多くのマネージド Postgres プラットフォームでも利用できます。

インストールとセットアップの手順は、公式の pgvector GitHub リポジトリで確認できます。ここには、プロジェクトの作成者によって維持されているステップバイステップのガイダンスが含まれています。

Postgres を使用している Databricks のお客様は、プラットフォーム固有のガイダンスについて、Databricks OLTP 拡張機能のドキュメントも参照できます。

pgvector と最新の AI データスタック

pgvector は、アプリケーションの実行時に低レイテンシの検索が必要となる AI システムの運用サービングレイヤーで動作します。一般的に、アプリケーション内でのセマンティック検索、レコメンデーション、および検索拡張生成 (RAG) をサポートするために使用されます。

対照的に、Databricks Mosaic AI Vector Search は、データパイプラインがレイクハウスで管理されている、大規模なバッチ処理 AI ワークロードに適しています。これらの環境は、集中化されたデータ処理、大規模なデータセット、および複雑なワークフローをサポートします。

これらのアプローチは相互補完的であり、チームはスタックのさまざまなレイヤーで両方を使用することがよくあります。pgvector はリアルタイムのアプリケーションクエリをサポートし、Databricks のようなプラットフォームは大規模なデータ準備、埋め込み生成、およびモデル駆動型のワークフローを処理します。

よくある質問

pgvector は完全なベクトルデータベースですか？
pgvector を使用すると、Postgres は埋め込みを格納し、そのデータに対して直接類似性検索を実行できます。ただし、これは専用のベクトルデータベースではありません。専用のベクトルデータベースは、より大きなワークロードに対して追加のスケーラビリティとパフォーマンスの最適化を提供します。

pgvector の HNSW と IVFFlat の違いは何ですか？
HNSW は高速なクエリパフォーマンスのために最適化されており、インメモリグラフ構造を使用するため、より多くのメモリが必要です。IVFFlat はメモリフットプリントが低く、トレーニングステップを通じてベクトルをクラスターに編成しますが、パフォーマンスはデータセットとワークロードによって異なる場合があります。選択は、速度とメモリ効率のどちらを優先するかによって決まります。

pgvector はいくつのベクトルを処理できますか？
pgvector は通常、ハードウェア、インデックス作成戦略、およびクエリパターンに応じて、数百万から数千万のベクトルを処理できます。データセットが大きくなると、注意深いチューニングや追加のツールなしではパフォーマンスが低下する可能性があります。利用可能なメモリ、インデックスの種類、クエリ頻度などの要因がすべてスケーラビリティに影響します。

pgvector はコサイン類似性をサポートしていますか？
はい、pgvector は主要な距離メトリックの 1 つとしてコサイン類似性をサポートしています。これは、2 つのベクトルが同じ方向を指す度合いを測定し、埋め込みベースのアプリケーションにおけるセマンティック類似性を反映することがよくあります。これにより、セマンティック検索、レコメンデーションシステム、および自然言語処理に適しています。

pgvector は無料のオープンソースですか？
はい、pgvector は、透過的なライセンスの下でリリースされたオープンソースプロジェクトです。標準の Postgres インストールや多くのマネージド Postgres サービスで使用できます。これにより、ベクトル検索機能を追加するためのアクセスしやすい出発点となります。

pgvector はハイブリッド検索を実行できますか？
はい、pgvector は Postgres の全文検索と組み合わせてハイブリッド検索をサポートできます。これにより、結果はセマンティックな関連性とキーワードのマッチングのバランスを取り、精度と使いやすさの両方を向上させることができます。ハイブリッド検索は、意味と正確な用語の両方が重要な製品検索やドキュメント検索などのシナリオで特に役立ちます。

適切なベクトル検索アプローチの選択

pgvector は、既存の Postgres アプリケーションにベクトル検索を追加したいチームにとって、実用的な出発点となります。埋め込みをリレーショナルデータとともに格納し、データベース内でネイティブに類似性検索をサポートすることで、個別のベクトルストアを管理する運用オーバーヘッドを排除します。セマンティック検索、RAG パイプライン、レコメンデーション、および 異常検出 など、多くのワークロードで、新しいシステムを必要とせずにチームが必要とするものを提供します。

データ量が増加したり、クエリの需要が増加したりすると、pgvector のスケーリングにより、専用のベクトルデータベースが必要になるまでの範囲を拡張できます。ユニファイドデータプラットフォーム全体で大規模な AI ワークロードを管理する組織の場合、Databricks Mosaic AI Vector Search は、レイクハウスレイヤー向けに設計された補完的なアプローチを提供します。これら 2 つのツールを組み合わせることで、チームはベクトル検索インフラストラクチャを実際のワークロード要件に合わせて、あらゆる規模で柔軟に適合させることができます。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事