Adaptiver Instructed-Retriever: Suche auf Spitzenniveau bei 2x geringerer Latenz

Effektive Enterprise-Daten-Agenten erfordern eine Suche, die sowohl präzise als auch schnell ist. Anfang dieses Jahres haben wir Instructed-Retriever-1 veröffentlicht, ein Retrieval-Modell, das Unternehmensdatenschemata und benutzerdefinierte Anweisungen integrieren kann und gleichzeitig paralleles Test-Time-Scaling nutzt, um die Abrufgenauigkeit bei geringer Latenz zu verbessern. Dieser einstufige Suchansatz funktioniert für einen Großteil der Benutzeranfragen gut. Komplexere, mehrstufige Fragen (Multi-Hop) können jedoch von einer sequenziellen Suche profitieren, bei der das Modell iterativ Belege sammelt und seine Abfragen über mehrere Schritte hinweg verfeinert – auf Kosten zusätzlicher Latenz.

Aus diesem Grund führen wir jetzt den Adaptive Instructed-Retriever ein, der die Geschwindigkeit des parallelen Abrufs mit der Leistung der sequenziellen Suche kombiniert und gleichzeitig strenge Kosten- und Latenzgarantien einhält. Das Ziel ist einfach: Zusätzliche Suchschritte nur dann ausführen, wenn sie nützlich sind. Dies ist dasselbe Problem der Abrufeffizienz, vor dem auch Genie Code, der Daten-Agent von Databricks, steht: Er muss die richtigen Tabellen, Notebooks, Dashboards und Dokumente in einem großen, sich verändernden Arbeitsbereich finden, ohne Zeit mit Brute-Force-Exploration zu verschwenden. Der Adaptive Instructed-Retriever ist für diese Abrufebene konzipiert. Er liefert schnell Ergebnisse, wenn die Belege eindeutig sind, und nutzt die sequenzielle Suche nur dann, wenn eine komplexere Anfrage dies erfordert. Wie wir in diesem Beitrag zeigen, erreicht das trainierte Modell die Qualität führender Drittanbieter-Modelle bei einer um das Zweifache geringeren Latenz und verbessert sich auf unseren Retrieval-Benchmarks im Vergleich zur einstufigen Suche erheblich.

Um den Adaptive Instructed-Retriever zu entwickeln, legen wir eine feste Obergrenze für die Anzahl der sequenziellen Schritte fest und trainieren den Agenten so, dass er adaptiv entscheidet, wie viel Rechenaufwand jede Benutzeranfrage erfordert. Wenn bereits genügend Belege gefunden wurden, bricht der Agent vorzeitig ab und gibt die relevanten Belege zurück. Wenn eine zusätzliche Suche die Abrufqualität voraussichtlich verbessert, kann er die Suche bis zum Schrittlimit fortsetzen.

Training des Adaptive Instructed-Retriever

Um ein besseres Gleichgewicht zwischen Abrufqualität und den Latenzkosten der sequenziellen Skalierung zu erreichen, haben wir den Adaptive Instructed-Retriever trainiert – ein kleines, maßgeschneidertes Modell, das sowohl den parallelen einstufigen Abruf als auch die sequenzielle Suche unterstützt und gleichzeitig mit einer erheblich geringeren Latenz als führende Drittanbieter-Modelle arbeitet. Wir evaluieren das Modell auf einer Mischung aus proprietären Enterprise-Retrieval- und öffentlichen Retrieval-Benchmarks, einschließlich Aufgaben, die von mehrstufigem logischem Denken (Multi-Hop Reasoning) profitieren. Über diese Benchmarks hinweg erreicht der Adaptive Instructed-Retriever eine Leistung, die mit der von führenden Drittanbieter- und Open-Source-Modellen vergleichbar ist, während er eine um das Zweifache geringere Latenz bietet.

Zur Vorbereitung der Trainingsdaten stützen wir uns auf synthetische Enterprise-Retrieval-Umgebungen und einen agentischen Datensyntheseprozess, der dem von Instructed-Retriever-1 ähnelt und im KARL-Bericht veröffentlicht wurde. Wir verwenden die vorhandenen Trainingsdaten für Instructed-Retriever-1 wieder, um die Fähigkeit des Modells zur schnellen parallelen einstufigen Suche zu erhalten, und führen zusätzlich synthetische mehrstufige Fragen ein, die stärker von mehreren agentischen Suchschritten profitieren.

Ausgehend vom Basismodell nutzen wir Online-Reinforcement-Learning (ORL), um dem Modell beizubringen, zusätzliche Suchschritte nur dann zu unternehmen, wenn sie die endgültige Leistung voraussichtlich verbessern. Konkret optimieren wir das Modell End-to-End mittels CISPO (Clipped Importance Sampling Policy Optimization) mit einem Reward-Design, das die Trajektorienqualität gegen die Suchkosten abwägt: Das Modell wird für leistungsstarke Trajektorien belohnt, während es für zusätzliche Suchschritte, die keine entsprechenden Leistungssteigerungen bringen, bestraft wird.

Wir trainieren das Modell mit der AI Runtime (AIR). AIR ist auch für Databricks-Kunden verfügbar, was diesen Ansatz für die Entwicklung spezialisierter Modelle für eigene Domänen und Workloads praktisch macht. Das Trainingsrezept ist bewusst leichtgewichtig: Wir starten mit einem vortrainierten Basismodell und nutzen eine moderate Menge an synthetischen Daten, um dessen Suchverhalten zu spezialisieren. Wie Abbildung 2 zeigt, lässt sich unser leichtgewichtiger Ansatz gut auf neue Suchaufgaben und Domänen verallgemeinern.

Abbildung 2 vergleicht den Adaptive Instructed-Retriever mit zwei führenden Drittanbieter-Modellen (Claude Sonnet 5 und GPT-5.6 Luna) und einem Open-Source-Modell (DeepSeek-V4-Flash). Wir stellen für jedes Modell die Abrufqualität im Verhältnis zur durchschnittlichen End-to-End-Latenz dar. Der helle Balken zeigt den Abruf-Score aus einem einzelnen Suchschritt, während der dunkle Balken das Ergebnis der mehrstufigen Suche zeigt, gemessen an der linken Achse (höher ist besser); der schraffierte Balken zeigt die End-to-End-Latenz an der rechten Achse (niedriger ist besser). Der Adaptive Instructed-Retriever erreicht die Leistung der führenden Drittanbieter- und Open-Source-Modelle und antwortet in nur 5,8 Sekunden – mehr als doppelt so schnell wie Claude Sonnet 5, DeepSeek-V4-Flash oder GPT-5.6 Luna.

Online-Reinforcement-Learning für maßgeschneiderte Kompromisse zwischen Qualität und Latenz

Das Training des Adaptive Instructed-Retriever ermöglicht es uns, den Kompromiss zwischen Qualität und Latenz zu wählen, indem wir die Höhe der während des ORL verwendeten Schritt-Penalty anpassen. Daher können wir eine Reihe von Checkpoints trainieren, die den Adaptive Instructed-Retriever unterstützen, und denjenigen auswählen, der am besten zum Produktions-Workload passt.

Abbildung 3 zeigt, wie wir durch Variieren der Höhe der Penalty während des ORL-Trainings eine Reihe von Checkpoints erhalten, die jeweils an einem anderen Punkt auf der Qualität-Latenz-Ebene liegen – Score auf der Y-Achse (höher ist besser) gegenüber der End-to-End-Latenz auf der X-Achse (so dargestellt, dass schneller weiter rechts liegt). Die rote Kurve verbindet diese Betriebspunkte zu einer Grenze (Frontier): Eine geringere Schritt-Penalty ermöglicht es dem Modell, mehr Schritte zu unternehmen und höhere Scores zu erzielen, während eine höhere Penalty die Latenz verringert.

Die gesamte Frontier der trainierten Adaptive Instructed-Retriever-Modelle übertrifft die Alternativen. Im Vergleich zum untrainierten Instructed-Retriever-Basismodell liefert jeder Checkpoint eine höhere Qualität bei ähnlicher oder geringerer Latenz. Dies deutet darauf hin, dass die Gewinne darauf zurückzuführen sind, dass gelernt wurde, wann gesucht werden muss – und wann nicht. An der Spitze der Frontier erreicht unser Modell Scores, die mit anderen führenden Modellen vergleichbar sind, während es mehr als doppelt so schnell ist. Da die trainierte Frontier Checkpoints mit unterschiedlichen Kompromissen enthält, können wir denjenigen auswählen, der am besten zu dem jeweiligen Workload und Budget passt – wobei wir die Geschwindigkeit für die interaktive Nutzung oder die Qualität für anspruchsvollere Offline-Abrufe bevorzugen.

Adaptive Instructed-Retriever formuliert eine effizientere und zielgerichtetere Suche

Wir zeigen einige Beispiele, in denen wir die Such-Policies der Alternativen mit denen unseres trainierten Adaptive Instructed-Retriever-Modells vergleichen. Diese Beispiele veranschaulichen, wie der Adaptive Instructed-Retriever bei einfachen Fragen effizient sucht und bei schwierigeren Fragen sein verbleibendes Suchbudget effektiver nutzen kann.

Verifizieren einer negativen Antwort ohne erschöpfende Suche

Der Adaptive Instructed-Retriever erreicht den gleichen Reward einen Schritt früher als Sonnet und zwei Schritte früher als Luna.

Frage: Weist Unternehmen X Restrukturierungskosten explizit als Posten in der Gewinn- und Verlustrechnung für das Geschäftsjahr 2022 aus?

Die nächste Runde zur Strategieänderung nutzen

Adaptive Instructed-Retriever lernt, die Suchstrategie anzupassen, um den Recall zu verbessern: Er wechselt von einer breiten Suche zu gezielten Kontenabfragen. Er erzielt den höchsten Reward und zieht gleichzeitig mit Sonnet bei den wenigsten Schritten gleich.

Frage: Welche Kunden nutzen LiteLLM Proxy oder haben dessen Nutzung in Betracht gezogen?

Fazit

Der Adaptive Instructed-Retriever erweitert den zuvor veröffentlichten Instructed-Retriever-1 vom parallelen einstufigen Retrieval zur adaptiven mehrstufigen Suche. Dies ermöglicht es dem Modell, zusätzliche Suchschritte für komplexe Abfragen aufzuwenden, bei denen iteratives logisches Denken und das Sammeln von Belegen die Retrieval-Qualität erheblich verbessern können, während es bei einfacheren Abfragen frühzeitig abbricht, um die Latenz zu minimieren. Dieser adaptive Ansatz liefert eine deutlich stärkere Retrieval-Leistung als die einstufige Suche und erzielt gleichzeitig eine Leistung, die mit führenden Drittanbieter-Modellen vergleichbar ist – bei einer 2-mal geringeren Latenz. Durch Variieren der Schritt-Penalty während des Online Reinforcement Learning können wir den Kompromiss zwischen Retrieval-Qualität und Inferenzkosten explizit optimieren. So lassen sich Checkpoints an verschiedenen Punkten entlang der Qualitäts-Latenz-Grenze erstellen und der Betriebspunkt auswählen, der am besten zu einem Produktions-Workload passt.

Unser Beitrag liefert einen praktischen Retrieval-Baustein für Daten-Agenten bei Databricks, die in großen, sich ständig ändernden Workspaces arbeiten. Anwendungen wie Genie Code, Genie One und Genie Agents müssen die richtigen Tabellen, Notebooks, Dashboards und Dokumente finden, ohne übermäßig viel Zeit und Mühe für eine tiefgehende Erkundung aufzuwenden. Der Adaptive Instructed-Retriever bietet eine begrenzte Policy für dieses Szenario: Er ist schnell bei gängigen Suchanfragen, gründlich bei schwierigen Erkundungsaufgaben und innerhalb eines Produkt-Latenzbudgets steuerbar. Allgemeiner betrachtet veranschaulichen diese Ergebnisse die Wettbewerbsfähigkeit kleiner, spezialisierter Modelle\ selbst bei Aufgaben, die mehrstufiges logisches Denken erfordern. Databricks AIR ermöglicht es unseren Kunden, spezialisierte Modelle an ihre eigenen Domänen und Leistungsanforderungen anzupassen.

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag