Was ist Vektorsuche?

Vektorsuche ist eine Suchmethode, die Ergebnisse basierend auf der Bedeutung findet, nicht nur durch den Abgleich von Schlüsselwörtern. Während die traditionelle Suche exakte Wörter abgleicht, vergleicht die Vektorsuche Embeddings. Diese numerischen Darstellungen erfassen die Bedeutung von Texten, Bildern, Audio-Dateien und anderen Inhalten.

Die Ergebnisse werden danach sortiert, wie gut ihre Embeddings mit denen der Suchanfrage übereinstimmen, nicht nach gemeinsamen Wörtern. Dies macht die Vektorsuche zu einer zentralen Retrieval-Ebene hinter modernen AI-Assistenten, semantischen Suchsystemen und Retrieval-Augmented Generation (RAG).

Dieser Leitfaden erklärt, wie die Vektorsuche funktioniert, wie sie im Vergleich zur Keyword- und semantischen Suche abschneidet, zeigt gängige Beispiele und Anwendungsfälle und beschreibt, wie man sie in der Praxis bewertet.

Wie funktioniert die Vektorsuche?

Die Vektorsuche funktioniert in drei Schritten: Erstellen von Embeddings, Erstellen eines Index und Abgleichen einer Suchanfrage mit diesem Index.

1. Embeddings erstellen
   Ein Modell wandelt jedes Element in ein Embedding um – eine numerische Darstellung, die dessen Bedeutung erfasst. Dokumente, Produktbeschreibungen, Bilder und Audio-Clips können alle auf diese Weise dargestellt werden. Elemente mit ähnlicher Bedeutung haben meist auch ähnliche Embeddings.
2. Einen Index erstellen
   Diese Embeddings werden in einer Struktur gespeichert, die für eine schnelle Ähnlichkeitssuche ausgelegt ist. Der Index ermöglicht es, effizient Millionen von Elementen zu durchsuchen.
3. Die Suchanfrage abgleichen
   Wenn eine Suchanfrage eingeht, wird sie mit demselben Modell in ein Embedding umgewandelt. Das System findet dann die gespeicherten Embeddings, die der Suchanfrage am nächsten liegen, und gibt die zugehörigen Ergebnisse zurück.

Das Finden dieser am nächsten liegenden Übereinstimmungen wird als Nächste-Nachbar-Suche (Nearest Neighbor Search) bezeichnet. Der einfachste Ansatz, die k-Nächste-Nachbar-Suche (k-NN), vergleicht die Suchanfrage mit jedem Element im Index und gibt die k am nächsten liegenden Übereinstimmungen zurück. Dies ist zwar präzise, wird jedoch zu langsam, wenn Datensätze in die Millionen gehen.

Die meisten Produktivsysteme verwenden stattdessen die approximative Nächste-Nachbar-Suche (ANN). ANN nutzt spezialisierte Indizes, um wahrscheinliche Übereinstimmungen zu identifizieren, ohne jedes einzelne Element zu vergleichen. Dabei wird eine geringe Präzision gegen eine drastisch schnellere Leistung eingetauscht, was die Vektorsuche auch in großem Maßstab praxistauglich macht.

Vektorsuche in der Praxis

Eine einfache Suche verdeutlicht den Unterschied zwischen Vektorsuche und Keyword-Suche.

Suche nach „Hund“. Eine Keyword-Suche liefert Ergebnisse, die genau dieses Wort enthalten. Eine Vektorsuche kann auch Ergebnisse für „Welpe“, „Vierbeiner“ und „Golden Retriever“ zurückgeben. Diese Begriffe hängen konzeptionell mit „Hund“ zusammen, obwohl sie andere Wörter verwenden. Die Suchmaschine sucht nach dem Konzept, nicht nach dem exakten Wort.

Die Vektorsuche funktioniert auch formatübergreifend. Eine Textanfrage wie „rote Sneaker“ kann Produktbilder zurückgeben, die der Beschreibung entsprechen, selbst wenn das Bild keinen Text enthält. Die Keyword-Suche kann diese Verbindung nicht herstellen, da sie auf dem Abgleich von Wörtern basiert. Die Vektorsuche ruft Inhalte basierend auf semantischer Ähnlichkeit ab, unabhängig vom Format.

Vektorsuche vs. Keyword-Suche

Die Keyword-Suche gleicht Wörter ab. Die Vektorsuche gleicht Bedeutungen ab. Beide Ansätze haben ihre Stärken, weshalb die Vektorsuche die Keyword-Suche ergänzt, anstatt sie zu ersetzen.

Die exakte Suche bleibt das beste Werkzeug für strukturierte Abfragen wie Bestell-IDs, Produktcodes und bekannte Dokumententitel.

Die leistungsstärksten Suchsysteme kombinieren beide Ansätze. Der folgende Abschnitt zur Hybridsuche erklärt, wie das funktioniert.

Vektorsuche vs. semantische Suche

Semantische Suche und Vektorsuche hängen eng zusammen, sind aber nicht dasselbe. Die semantische Suche ist das Ergebnis: Sie hilft Nutzern, relevante Informationen basierend auf Bedeutung und Kontext zu finden. Die Vektorsuche ist eine der gängigsten Techniken, um dies zu erreichen.

Da die semantische Suche eher ein Ergebnis als eine bestimmte Technologie beschreibt, kann sie auf verschiedene Weisen implementiert werden. In vielen modernen Systemen ist die Vektorsuche die primäre Engine hinter der semantischen Suche.

Dichte vs. dünnbesetzte Vektoren

Dichte (dense) und dünnbesetzte (sparse) Vektoren sind für unterschiedliche Arten von Suchproblemen konzipiert.

Dichte Vektoren erfassen die Gesamtbedeutung und den Kontext. Sie helfen Systemen, verwandte Ideen, Synonyme und Konzepte zu erkennen, selbst wenn unterschiedliche Wörter verwendet werden. Sie werden von Machine-Learning-Modellen generiert und eignen sich hervorragend für den semantischen und sprachenübergreifenden Abgleich.

Dünnbesetzte Vektoren funktionieren eher wie eine traditionelle Keyword-Suche. Die meisten Werte sind null, wobei Werte ungleich null nur für Begriffe stehen, die im Inhalt vorkommen. Sie werden durch Algorithmen wie BM25 generiert und glänzen beim Abgleich exakter Begriffe. Produktcodes, Eigennamen und spezifische Identifikatoren sind die Bereiche, in denen dünnbesetzte Vektoren ihre Stärken ausspielen.

Die Kombination aus dichten und dünnbesetzten Vektoren ist die Grundlage für die Hybridsuche. Diese Kombination liefert in der Praxis oft die zuverlässigsten Ergebnisse.

Was ist Hybridsuche?

Die Hybridsuche mischt vektorbasierte und keywordbasierte Ergebnisse in einem einzigen Ranking. Sie ist in Produktivsystemen oft der praktische Standard, da sie bedeutungsbasiertes und exaktes Abrufen in einer einzigen Sucherfahrung kombiniert. Die Vektorsuche kann exakte Produktcodes, Namen oder Identifikatoren übersehen, da diese Begriffe im Embedding-Raum nicht immer nah beieinander liegen. Die Keyword-Suche wiederum kann relevante Ergebnisse übersehen, die eine andere Formulierung verwenden. Die Hybridsuche löst beide Probleme, indem sie die Stärken beider Ansätze kombiniert.

Most hybrid search systems also include a reranking step. Reranking is a second pass that reorders results to put the best matches on top. As a result, hybrid search often delivers more reliable relevance than either method alone. The Databricks-Plattform supports hybrid indexes that combine semantic and keyword search, with built-in reranking.

Typische Anwendungsfälle für die Vektorsuche

Die Vektorsuche treibt Anwendungen an, die darauf angewiesen sind, relevante Ergebnisse anstelle von exakten Keyword-Treffern zu finden.

Retrieval-Augmented Generation (RAG)

Retrieval-Augmented Generation (RAG) hilft AI-Assistenten, Fragen mithilfe aktueller, relevanter Informationen zu beantworten, anstatt sich ausschließlich auf das bereits vorhandene Wissen des Modells zu verlassen. Vor der Antwort ruft der Assistent relevante Inhalte aus einer Wissensdatenbank ab. Die Vektorsuche ist die Retrieval-Ebene, die diese Inhalte findet.

Dokumente werden in kleinere Abschnitte (Chunks) unterteilt, damit das System den relevantesten Abschnitt und nicht nur das relevanteste Dokument abrufen kann. Dieser Ansatz hat RAG zu einer der am schnellsten wachsenden Anwendungen der Vektorsuche gemacht. Erfahren Sie mehr über RAG und Vektordatenbanken.

Semantische Dokumenten- und Unternehmenssuche

Interne Wissensdatenbanken, Ticketsysteme und Dokumenten-Repositories werden nützlicher, wenn Nutzer nach Bedeutung statt nach exaktem Wortlaut suchen können. Eine Anfrage wie „Elternzeit-Richtlinie“ kann das richtige HR-Dokument zum Vorschein bringen, selbst wenn es den Titel „Leitfaden für Familienleistungen“ trägt. Die Vektorsuche macht Unternehmenswissen leichter auffindbar, ohne dass eine exakte Formulierung erforderlich ist.

Empfehlungen und Ähnlichkeitssuche

Empfehlungs-Engines nutzen die Vektorsuche, um Produkte, Artikel, Videos und andere Inhalte zu finden, die dem, was ein Nutzer gerade ansieht, konzeptionell ähnlich sind. Dies ermöglicht vertraute Funktionen wie „Kunden, die dies mochten, mochten auch“-Empfehlungen. Das System findet einfach die Elemente, deren Embeddings dem aktuellen Element am nächsten liegen.

Multimodale und sprachenübergreifende Suche

Die Vektorsuche kann format- und sprachenübergreifend abgleichen. Eine Textanfrage wie „Wanderschuhe für nasses Gelände“ kann relevante Produktbilder zurückgeben, selbst wenn die Bilder keinen Text enthalten. Eine englischsprachige Anfrage kann auch relevante Dokumente auf Spanisch abrufen. Dies macht die Vektorsuche für globale Organisationen und Anwendungen nützlich, die mit verschiedenen Inhaltstypen arbeiten.

Betrugs- und Anomalieerkennung

Die Vektorsuche kann helfen, ungewöhnliche Muster zu identifizieren, indem sie Elemente findet, die weit von den normalen abweichen. Bei der Betrugserkennung können Transaktionen, die sich erheblich von typischen Aktivitäten unterscheiden, zur Überprüfung markiert werden. Derselbe Ansatz kann verwendet werden, um Anomalieerkennung im Netzwerkverkehr, in Fertigungssystemen und anderen Betriebsdaten durchzuführen.

Benötigt man eine Vektordatenbank für die Vektorsuche?

Nicht immer. Der richtige Ansatz hängt von Ihrer Skalierung, Ihren Leistungsanforderungen und Ihrer bestehenden Infrastruktur ab. Unternehmen implementieren die Vektorsuche in der Regel mithilfe einer Vektordatenbank, einer Suchmaschine mit Vektorfunktionen oder einer Bibliothek für die Ähnlichkeitssuche. Erfahren Sie mehr über Vektordatenbanken.

Managed Services können die Einrichtungszeit, den Betriebsaufwand und die laufende Wartung reduzieren. Die Databricks-Plattform umfasst eine integrierte Vektordatenbank über Databricks AI Search, die Vektorsuche, Stichwortsuche, Metadatenfilterung und Reranking in einem einzigen Dienst kombiniert. Sie lässt sich auch in AI-Governance-Funktionen wie Unity Catalog integrieren, was Unternehmen dabei hilft, konsistente Kontrollen auf AI-Anwendungen anzuwenden.

Betriebliche Kompromisse und Qualitätsüberlegungen

Die Implementierung der Vektorsuche in einer Live-Umgebung ist nur der erste Schritt. Um eine dauerhafte Zuverlässigkeit, Leistung und Genauigkeit in der Produktion zu gewährleisten, erfordern diese Systeme eine kontinuierliche Abstimmung und Wartung in mehreren betrieblichen Schlüsselbereichen.

Kosten und Leistung

Große Vektorindizes verbrauchen Arbeitsspeicher und Rechenressourcen, was die Infrastrukturkosten erhöht. Mit wachsenden Datensätzen und steigendem Abfragevolumen steigen auch diese Kosten. Eine schnellere und präzisere Suche erfordert oft mehr Ressourcen, weshalb Teams Leistung, Qualität und Kosten sorgfältig abwägen müssen.

Den Index aktuell halten

Vektorindizes werden nicht automatisch aktualisiert, wenn sich der Quellinhalt ändert. Wenn Dokumente hinzugefügt, bearbeitet oder entfernt werden, muss der Index aktualisiert werden, um diese Änderungen widerzuspiegeln. Ohne regelmäßige Aktualisierungen können Suchergebnisse veralten und wichtige neue Informationen fehlen.

Qualitätsbewertung

Erstellen Sie vor der Feinabstimmung eines Systems einen kleinen Testdatensatz mit repräsentativen Abfragen und bekannten, guten Ergebnissen. Qualität zu messen bedeutet zu prüfen, ob die richtigen Ergebnisse bei diesen Abfragen weit oben erscheinen. Dies schafft eine Baseline für die Bewertung zukünftiger Änderungen.

Zwei Faktoren haben oft einen erheblichen Einfluss auf die Relevanz. Metadatenfilter grenzen die Ergebnisse nach Tags, Daten oder Kategorien ein, bevor das Ähnlichkeitsranking durchgeführt wird. Dies kann die Präzision verbessern, wenn der semantische Abgleich zu viele Ergebnisse liefert.

Die Qualität der Einbettung hängt auch von dem Modell ab, das zur Generierung der Einbettungen verwendet wird. Allzweckmodelle erfassen Fachbegriffe oft nicht optimal. Für Bereiche mit branchenspezifischer Sprache, wie das Gesundheitswesen, das Rechtswesen oder Finanzdienstleistungen, kann ein domänenspezifisch feingetuntes Modell die Abrufqualität verbessern.

AI Search auf der Databricks-Plattform

Databricks AI Search ist eine verwaltete Vektordatenbank, die in die Databricks-Plattform integriert ist. Sie unterstützt semantische Suche, Stichwortsuche, Metadatenfilterung und Reranking in einem einzigen Dienst. Da sie sich in bestehende Daten-, Governance- und Produktivitätswerkzeuge integrieren lässt, können Teams Abrufsysteme erstellen, ohne separate Plattformen mühsam miteinander verbinden zu müssen.

AI Search verbindet sich direkt mit Daten, die Unternehmen bereits in Databricks verwalten, wodurch die Notwendigkeit, Daten zu verschieben oder zu duplizieren, verringert wird. Sie lässt sich auch in Governance-Funktionen wie Unity Catalog integrieren, sodass bestehende Zugriffskontrollen und Lineage-Richtlinien auf Such-Workloads ausgeweitet werden können.

Häufig gestellte Fragen

Wie wird die Vektorsuche in RAG-Anwendungen eingesetzt?

In einem RAG-System wird die Abfrage des Benutzers in eine Einbettung umgewandelt und mit einer Bibliothek von Dokumentenabschnitten in einem Vektorindex abgeglichen. Die am besten passenden Treffer werden abgerufen und dem Sprachmodell als Kontext übergeben. Das Modell generiert dann eine Antwort, die auf den eigenen Daten des Unternehmens basiert, anstatt sich ausschließlich auf seine Trainingsdaten zu verlassen.

Wann sollte man die Hybrid-Suche anstelle der reinen Vektorsuche verwenden?

Wenn Benutzer nach bestimmten Identifikatoren wie Produktcodes, Fehlercodes oder Eigennamen suchen, kann die reine semantische Suche diese leicht übersehen. Exakte Begriffe liegen im Einbettungsraum nicht immer nah beieinander. Die Hybrid-Suche kombiniert Vektor- und Stichwort-Ergebnisse und bietet so sowohl semantische Breite als auch exakte Trefferpräzision in einem einzigen Ranking.

Was macht die Ergebnisse der Vektorsuche präziser?

Mehrere Faktoren beeinflussen die Abrufqualität. Die Qualität des Einbettungsmodells bestimmt, wie gut die Bedeutung erfasst wird. Metadatenfilter grenzen den Suchraum ein, bevor das Ähnlichkeitsranking durchgeführt wird. Die Aktualität des Index stellt sicher, dass die Ergebnisse aktuelle Inhalte widerspiegeln und keine veralteten Informationen.

Was sind die wichtigsten Kompromisse bei der Vektorsuche?

Die Vektorsuche erfordert mehr Arbeitsspeicher und Rechenleistung als die Stichwortsuche. Große Indizes verursachen reale Infrastrukturkosten. Die ANN-Suche ist konstruktionsbedingt approximativ, was im Vergleich zur erschöpfenden Suche einen kleinen Präzisionskompromiss darstellt. Indizes müssen zudem regelmäßig aktualisiert werden, um bei Änderungen der Quelldaten aktuell zu bleiben. Die Hybrid-Suche erhöht die Komplexität, liefert aber oft zuverlässigere Ergebnisse als jeder der beiden Ansätze für sich allein.

Wie unterstützt Databricks AI Search die Vektorsuche?

Databricks AI Search ist eine serverlose, verwaltete Vektordatenbank, die in die Databricks-Plattform integriert ist. Sie unterstützt Hybrid-Suche, Metadatenfilterung und integriertes Reranking. Automatisierte Synchronisierungspipelines halten Indizes aktuell, wenn sich die Daten in Delta-Tabellen ändern, während Unity Catalog die Governance-Kontrollen auf Such-Workloads ausweitet.

Starten Sie mit der Entwicklung mit governed Vektorsuche

Die Vektorsuche hilft AI-Systemen, relevante Informationen basierend auf der Bedeutung und nicht auf exakten Stichwörtern zu finden. Diese Funktion treibt alles an, von RAG-Anwendungen und Empfehlungs-Engines bis hin zur Unternehmenssuche.

Da AI-Systeme immer abhängiger vom Abruf werden, gewinnen die Hybrid-Suche und eine zuverlässige Suchinfrastruktur zunehmend an Bedeutung. Um mehr zu erfahren, erkunden Sie AI Search auf der Databricks-Plattform.

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag