Was ist pgvector?

pgvector ist eine Open-Source-Erweiterung für PostgreSQL, die die Fähigkeit hinzufügt, Vektor-Embeddings (numerische Darstellungen von Daten) zu speichern, zu indizieren und zu durchsuchen. Sie bringt Vektordaten und Ähnlichkeitssuche in dasselbe System, das Anwendungsdaten enthält, und ermöglicht so semantische Suche, Empfehlungen und Retrieval-Augmented Generation (RAG), ohne auf eine externe Vektordatenbank angewiesen zu sein. pgvector erweitert Postgres, um diese KI-gesteuerten Anwendungsfälle zu unterstützen.

Viele moderne KI-Anwendungen sind darauf angewiesen, semantisch ähnliche Daten abzurufen, nicht nur exakte Übereinstimmungen. pgvector ermöglicht es Teams, diese Art von Abruf zur Laufzeit innerhalb ihres bestehenden Postgres-Stacks durchzuführen. Anwendungen müssen beispielsweise oft Inhalte abrufen, die kontextuell ähnlich zu einer Abfrage sind, auch wenn die Formulierung anders ist. Dieser Ansatz wird oft als Kosinus-Ähnlichkeit, Nearest-Neighbor-Suche oder Embedding-basierte Suche bezeichnet.

Dieser Artikel bietet einen allgemeinen, lehrreichen Überblick über pgvector und keine detaillierte Implementierungsanleitung.

So funktioniert pgvector

pgvector fügt Postgres einen neuen Datentyp namens vector hinzu. Er ermöglicht die Speicherung von Embeddings, numerischen Darstellungen von Text, Bildern oder anderen Inhalten, zusammen mit relationalen Daten, ohne dass ein separates System erforderlich ist. Diese Embeddings werden typischerweise von Machine-Learning-Modellen generiert, die Inhalte wie Text oder Bilder in numerische Form umwandeln.

Im Großen und Ganzen ist der Prozess einfach. Embeddings werden in der Datenbank gespeichert. Wenn eine Abfrage empfangen wird, wird ein Abfrage-Embedding aus der Eingabe generiert, und pgvector gibt die Datensätze zurück, deren Vektoren der Abfrage am ähnlichsten oder in der Bedeutung am nächsten sind. Anstatt Schlüsselwörter abzugleichen, werden Ergebnisse basierend auf der Bedeutung abgerufen.

pgvector bestimmt die Ähnlichkeit anhand von Distanzmetriken:

• L2 (Euklidische Distanz): misst den Abstand zwischen Vektoren, wobei kleinere Werte eine größere Ähnlichkeit anzeigen
• Kosinus-Ähnlichkeit: misst, wie eng Vektoren in die gleiche Richtung zeigen, was oft die Ähnlichkeit in der Bedeutung widerspiegelt
• Inneres Produkt: misst die Ausrichtung zwischen Vektoren und wird oft mit normalisierten Embeddings verwendet

Wichtige Funktionen von pgvector

pgvector enthält mehrere Funktionen, die Vektorsuche in Postgres praktikabel machen.

• Indizierung: Es werden zwei Indextypen unterstützt: HNSW und IVFFlat. HNSW priorisiert die Abfragegeschwindigkeit und erstellt eine Graphstruktur im Speicher, benötigt aber mehr Speicher. IVFFlat ist speichereffizienter und partitioniert Vektoren mithilfe eines Trainingsschritts in Cluster, Abfragen können jedoch langsamer sein.
• Distanzmetriken: L2, Kosinus-Ähnlichkeit und inneres Produkt decken die meisten Embedding-basierten Anwendungsfälle ab. Hamming-Distanz unterstützt binäre Vektoren, und Jaccard-Distanz unterstützt spärliche Vektoren in spezialisierteren Szenarien.
• Gefilterte Suche: Die Vektorähnlichkeit kann mit Standard-Relationenfiltern kombiniert werden. Ergebnisse können beispielsweise die semantisch ähnlichsten Produkte enthalten, die auch auf Lager sind, innerhalb eines Preisbereichs oder in einer bestimmten Kategorie liegen.
• Hybride Suche: pgvector kann mit der Volltextsuche von Postgres kombiniert werden, um Schlüsselwort- und semantische Suche zu mischen. Dies ermöglicht es, Ergebnisse in einer einzigen Abfrage sowohl kontextuell relevant als auch textlich präzise zu gestalten.
• Zusätzliche Datentypen: Optionen wie halfvec, sparsevec und bit helfen, den Speicherverbrauch bei der Arbeit mit großen Embedding-Datensätzen zu reduzieren.

Gängige Anwendungsfälle für pgvector

pgvector wird häufig zur Unterstützung KI-gesteuerter Anwendungsfunktionen verwendet:

Semantische Suche und RAG

Anwendungen können Dokumente oder Inhalte basierend auf ihrer Bedeutung und nicht auf Schlüsselwörtern abrufen. Dies ist eine Kernkomponente der Retrieval-Augmented Generation (RAG), bei der Large Language Models abgerufenen Kontext verwenden, um genaue und relevante Antworten zu generieren. Da pgvector die Ähnlichkeitssuche direkt in Postgres durchführt, kann dieser Abruf in Echtzeit erfolgen, ohne dass ein separates System erforderlich ist.

Empfehlungssysteme

Elemente können mit früheren Verhaltensweisen oder Vorlieben abgeglichen werden, um Empfehlungen zu unterstützen. Dieses Muster wird häufig für Produktempfehlungen, Content-Discovery und Personalisierung in Anwendungen verwendet. pgvector ermöglicht die effiziente Identifizierung verwandter Elemente basierend auf Mustern im Benutzerverhalten oder im Inhalt.

Bildähnlichkeit

Bild-Embeddings können gespeichert und verglichen werden, um visuell ähnliche Bilder schnell zu finden. Dies wird häufig auf Medienplattformen, im E-Commerce und in Kreativwerkzeugen eingesetzt. Die Speicherung dieser Embeddings neben Anwendungsdaten erleichtert die Durchführung von Ähnlichkeitssuchen ohne zusätzliche Infrastruktur.

Anomalieerkennung

Ausreißer können identifiziert werden, indem Datenpunkte gefunden werden, die von typischen Mustern im Vektorraum abweichen. Dies ist nützlich für die Betrugserkennung, Überwachung und Qualitätskontrolle. pgvector ermöglicht dies, indem es den Vergleich von Vektoren und die Erkennung von Abweichungen erleichtert.

Deduplizierung

Duplizierte oder nahezu duplizierte Inhalte können identifiziert werden, auch wenn sie unterschiedlich ausgedrückt oder formatiert sind. Dies ist wichtig für die Inhaltsverwaltung, Suchqualität und Datenhygiene. Der Ähnlichkeitsvergleich ermöglicht die Erkennung von Duplikaten über exakte Übereinstimmungen hinaus.

pgvector vs. dedizierte Vektordatenbanken: Wann welche verwenden?

Da Vektorsuche Teil immer mehr Anwendungen wird, stehen Teams oft vor einer praktischen Entscheidung: Soll die Vektorsuche in Postgres bleiben, oder wird eine dedizierte Vektordatenbank benötigt? Die Antwort hängt von Skalierung, Leistungsanforderungen und betrieblicher Komplexität ab.

Die Unterschiede lassen sich anhand wichtiger Dimensionen zusammenfassen:

pgvector ist der natürliche Ausgangspunkt für Teams, die bereits Postgres verwenden und unterhalb der Skalierungsgrenze arbeiten. Es funktioniert gut, wenn die Vektorsuche Teil eines bestehenden Anwendungs-Workflows ist und die Datenmengen oder Abfrageanforderungen überschaubar bleiben. Dedizierte Vektordatenbanken werden relevanter, wenn Abfragevolumen, Recall-Anforderungen oder Multi-Tenant-Workloads das übersteigen, was Postgres effizient unterstützen kann.

pgvectorscale

pgvectorscale wurde für Teams entwickelt, die die Möglichkeiten von pgvector erweitern möchten, bevor sie auf eine dedizierte Vektordatenbank umsteigen. Es adressiert die Leistungs- und Skalierungsprobleme, die bei steigenden Datenmengen und Abfrageanforderungen auftreten, insbesondere in Bezug auf die Indizierungsgeschwindigkeit und die Abfragelatenz. Durch die Verbesserung der Leistung von pgvector bei größeren Skalierungen können Teams Postgres länger nutzen, ohne ihre Systeme neu zu gestalten. Dies macht es zu einem praktischen Zwischenschritt für Anwendungen, die sich den Grenzen dessen nähern, was pgvector allein bewältigen kann.

Einschränkungen und Skalierungsaspekte

pgvector ist leistungsfähig, hat aber auch Nachteile:

• Die Leistung kann bei sehr hohen Vektoranzahlen (10 Mio.+) ohne zusätzliche Optimierung oder Tools beeinträchtigt werden
  • HNSW-Indizes sind speicherintensiv, und große Bereitstellungen erfordern möglicherweise erheblichen RAM
  • Postgres bietet keine integrierte Sharding-Funktion für Vektor-Workloads, sodass die horizontale Skalierung externe Tools oder einen verwalteten Anbieter erfordert
  • Suchgeschwindigkeit und Recall beinhalten einen bewussten Kompromiss. Der Recall – der Prozentsatz der tatsächlich relevanten Ergebnisse, die zurückgegeben werden – erfordert eine gezielte Konfiguration zur Optimierung.

Das Verständnis dieser Einschränkungen hilft zu bestimmen, wann pgvector ausreichend ist und wann zusätzliche Infrastruktur benötigt werden könnte.

Erste Schritte mit pgvector

pgvector kann auf macOS und den meisten Linux-Distributionen mit Standard-Paketmanagern wie Homebrew installiert werden. Es ist auch auf vielen verwalteten Postgres-Plattformen verfügbar, darunter AWS RDS, Supabase, Azure Database for PostgreSQL, Google Cloud SQL und Neon.

Installations- und Einrichtungsanleitungen finden Sie im offiziellen pgvector GitHub-Repository, das Schritt-für-Schritt-Anleitungen der Projektentwickler enthält.

Databricks-Kunden, die Postgres verwenden, können auch die Databricks OLTP-Erweiterungsdokumentation für plattformspezifische Anleitungen konsultieren.

pgvector und der moderne KI-Datenstack

pgvector arbeitet in der operativen Serving-Schicht eines KI-Systems, wo eine Abfrage mit geringer Latenz zur Laufzeit der Anwendung erforderlich ist. Es wird häufig zur Unterstützung von semantischer Suche, Empfehlungen und Retrieval-Augmented Generation (RAG) innerhalb von Anwendungen verwendet.

Im Gegensatz dazu eignet sich Databricks Mosaic AI Vector Search besser für KI-Workloads im großen Maßstab, die Batch-verarbeitet werden und bei denen Datenpipelines im Lakehouse verwaltet werden. Diese Umgebungen unterstützen zentralisierte Datenverarbeitung, große Datensätze und komplexe Workflows.

Diese Ansätze ergänzen sich, und Teams verwenden oft beide in verschiedenen Schichten des Stacks. pgvector unterstützt Echtzeit-Anwendungsabfragen, während Plattformen wie Databricks die Datenaufbereitung im großen Maßstab, die Generierung von Embeddings und modellgesteuerte Workflows übernehmen.

Häufig gestellte Fragen

Ist pgvector eine vollständige Vektordatenbank?
pgvector ermöglicht es Postgres, Embeddings zu speichern und Ähnlichkeitssuchen direkt auf diesen Daten durchzuführen. Es handelt sich jedoch nicht um eine speziell entwickelte Vektordatenbank. Dedizierte Vektordatenbanken bieten zusätzliche Skalierbarkeit und Leistungsoptimierungen für größere Workloads.

Was ist der Unterschied zwischen HNSW und IVFFlat in pgvector?
HNSW ist für schnelle Abfrageleistung optimiert und verwendet eine In-Memory-Graphenstruktur, die mehr Speicher benötigt. IVFFlat hat einen geringeren Speicherbedarf und organisiert Vektoren durch einen Trainingsschritt in Clustern, aber die Leistung kann je nach Datensatz und Workload variieren. Die Wahl hängt davon ab, ob Geschwindigkeit oder Speichereffizienz Priorität hat.

Wie viele Vektoren kann pgvector verarbeiten?
pgvector kann typischerweise Millionen bis zig Millionen Vektoren verarbeiten, abhängig von der Hardware, der Indexierungsstrategie und den Abfragemustern. Wenn die Datensätze wachsen, kann die Leistung ohne sorgfältige Abstimmung oder zusätzliche Tools abnehmen. Faktoren wie verfügbarer Speicher, Indextyp und Abfragehäufigkeit beeinflussen die Skalierbarkeit.

Unterstützt pgvector Kosinus-Ähnlichkeit?
Ja, pgvector unterstützt Kosinus-Ähnlichkeit als eine seiner primären Distanzmetriken. Sie misst, wie eng zwei Vektoren in die gleiche Richtung zeigen, was in Embedding-basierten Anwendungen oft die semantische Ähnlichkeit widerspiegelt. Dies macht es gut geeignet für semantische Suche, Empfehlungssysteme und natürliche Sprachverarbeitung.

Ist pgvector kostenlos und Open Source?
Ja, pgvector ist ein Open-Source-Projekt, das unter einer permissiven Lizenz veröffentlicht wird. Es kann mit Standard-Postgres-Installationen sowie mit vielen verwalteten Postgres-Diensten verwendet werden. Dies macht es zu einem zugänglichen Ausgangspunkt für die Hinzufügung von Vektorsuchfunktionen.

Kann pgvector Hybrid-Suche durchführen?
Ja, pgvector kann mit der Volltextsuche von Postgres kombiniert werden, um Hybrid-Suche zu unterstützen. Dies ermöglicht es den Ergebnissen, semantische Relevanz mit Keyword-Übereinstimmung auszubalancieren, was sowohl die Genauigkeit als auch die Benutzerfreundlichkeit verbessert. Hybrid-Suche ist besonders nützlich in Szenarien wie Produktsuche und Dokumentationssuche, wo sowohl Bedeutung als auch exakte Begriffe wichtig sind.

Auswahl des richtigen Vektorsuchansatzes

pgvector ist ein praktischer Ausgangspunkt für jedes Team, das Vektorsuche zu einer bestehenden Postgres-Anwendung hinzufügen möchte. Durch die Speicherung von Embeddings neben relationalen Daten und die native Unterstützung von Ähnlichkeitssuchen innerhalb der Datenbank entfällt der operative Aufwand für die Verwaltung eines separaten Vektorspeichers. Für viele Workloads – semantische Suche, RAG-Pipelines, Empfehlungen und Anomalieerkennung – liefert es das, was Teams benötigen, ohne ein neues System zu erfordern.

Wenn die Datenmengen wachsen oder die Abfrageanforderungen steigen, kann pgvectorscale erweitern, wie weit Teams gehen können, bevor eine dedizierte Vektordatenbank notwendig wird. Für Organisationen, die KI-Workloads im großen Maßstab über eine einheitliche Datenplattform verwalten, bietet Databricks Mosaic AI Vector Search einen ergänzenden Ansatz, der für die Lakehouse-Schicht konzipiert ist. Zusammen geben diese Tools Teams die Flexibilität, ihre Vektorsuchinfrastruktur an ihre tatsächlichen Workload-Anforderungen anzupassen – in jedem Maßstab.

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag