Smart Routing in Unity AI Gateway: Frontier-Qualität erreichen bei über 30 % geringeren Kosten pro Aufgabe

Die Preis-Leistungs-Grenze für Programmieraufgaben zeichnet sich durch eine enorme Vielfalt an Modellen und Harnesses aus: Allein im Jahr 2026 wurden 33 neue Modelle veröffentlicht. In unserem vorherigen Beitrag über das Benchmarking mit der Databricks-Codebasis haben wir festgestellt, dass sich Modelle in Leistungsklassen einteilen lassen und dass viele alltägliche Aufgaben (z. B. das Umlegen eines Flags, das Bearbeiten einer einzelnen Datei oder eine klar eingegrenzte Fehlerbehebung) nicht die teuersten Modelle erfordern.

Wie lassen sich also die Kosten für KI-gestützte Programmierung senken, ohne die Produktivität der Entwickler zu beeinträchtigen? Eine der größten Chancen liegt darin, jede Aufgabe dem passenden Modell zuzuordnen, anstatt standardmäßig für jede Aufgabe die leistungsfähigste (und teuerste) Option zu wählen. Allein die Nutzung kostengünstigerer Modelle kann Ihnen über 50 % einsparen, stellt Nutzer jedoch oft vor eine gewaltige Herausforderung. Angesichts einer Vielzahl hervorragender Modelle und leistungsfähiger Harnesses sind Nutzer von Coding-Agents ständig mit einer Überflutung an Auswahlmöglichkeiten konfrontiert. Anstatt Zeit mit der Auswahl des besten Modells für jede Aufgabe zu verschwenden, wählen viele einfach das leistungsfähigste Modell mit dem höchsten Aufwand und machen weiter. Anstatt von den Nutzern eine Entscheidung zu verlangen oder die Produktivität durch starre Obergrenzen einzuschränken, wussten wir, dass wir neue Wege gehen mussten.

Aus diesem Grund führen wir die nächste große Kostenkontrolle in Unity AI Gateway ein: Smart Routing, ab sofort in der Beta-Version verfügbar. Unity AI Gateway bietet eine zentrale Stelle, um Zugriff auf AI zu erhalten, Ausgaben zu verwalten und Kontrollen im gesamten Unternehmen durchzusetzen. Smart Routing fügt eine intelligente Optimierung hinzu, indem Aufgaben basierend auf ihrer Komplexität automatisch dem richtigen Modell zugewiesen werden. Smart Routing funktioniert direkt in Claude Code und Codex, sodass Sie die Tools optimieren können, die Ihre Entwickler bereits nutzen.

Und wir gehen über das reine Modell-Routing hinaus. Mit Omnigent, unserem Meta-Harness für Coding-Agents, können Teams die volle Leistung von Smart Routing nutzen, indem sie sowohl über Modelle als auch über Coding-Harnesses hinweg optimieren. So erhalten Entwickler die richtige Kombination für die jeweilige Aufgabe, ohne sie selbst auswählen zu müssen.

Die Ergebnisse sprechen für sich: Bei internen Programmier-Workloads übertraf Smart Routing jedes einzelne Modell bei nur 65 % der Kosten pro Aufgabe eines führenden Modells wie Opus 5. Bei öffentlichen Benchmarks erreichte Smart Routing die gleiche Leistung wie Opus 5 bei weniger als der Hälfte der Kosten.

Das haben wir gelernt:

1. Der größte Vorteil ergibt sich aus der Nutzung günstigerer Modelle für einfachere Aufgaben. Wir sehen intern eine große Vielfalt an Aufgaben, und die meisten davon benötigen kein Premium-Modell. Wir haben den Router so konfiguriert, dass er für einfachere Aufgaben günstigere Modelle auswählt, komplexe Arbeiten, die die Leistung eines Spitzenmodells erfordern, jedoch „eskaliert“.
2. Wir haben gute Ergebnisse erzielt, indem wir nur die zu Beginn der Aufgabe verfügbaren Informationen (Beschreibung und Metadaten) verwendet haben. Wir haben weder die Lösung noch Tests oder Informationen über das Repository bereitgestellt, und Smart Routing war dennoch in der Lage, eine effektive Auswahl zu treffen.
3. Es gibt noch erheblichen Spielraum für Verbesserungen bei der effektiven Einschätzung der Komplexität und der Eskalation bei Bedarf. Ein Router mit perfekter Vorhersagekraft würde jedes einzelne Modell zu einem Bruchteil der Kosten unseres Routers schlagen. In der Praxis kann es zudem hilfreich sein, auf halbem Weg neu zu bewerten, ob die Aufgabe komplexer geworden ist. Das Schließen dieser Lücke ist sowohl eine Forschungs- als auch eine Harness-Design-Herausforderung. Wir müssen aus dem Feedback echter Nutzer lernen, um uns zu verbessern.

Lassen Sie uns einen Blick darauf werfen, wie wir dies entwickelt haben.

Wie funktioniert intelligentes Modell-Routing?

Intelligentes Modell-Routing wählt das für eine Aufgabe am besten geeignete Modell basierend auf Faktoren wie Komplexität, Leistungsfähigkeit und Kosten aus. Bei Coding-Agents ist eine wichtige Entscheidung, wann dieses Routing stattfinden soll.

Generell gibt es zwei Ansätze für das Routing:

1. Routing pro Anfrage: In einer bestimmten Sitzung haben einige Teams untersucht, jede Anfrage rein basierend auf der Komplexität des Prompts für diese Nachricht weiterzuleiten. Die Herausforderung besteht darin, dass die Kosten bei der Skalierung von der Cache-Trefferquote dominiert werden. Eine hohe Cache-Trefferquote erfordert das Routing aufeinanderfolgender Interaktionen zum selben Modell (und derzeit bei den beliebten Modellen zum selben Aufwandsniveau).
2. Aufgabenbezogenes Routing: Zu Beginn der Sitzung bewerten Sie zunächst die Komplexität der Aufgabe und schlagen dann ein Modell und einen Harness dafür vor, die Sie für die Dauer der Sitzung beibehalten. Dies schont die Cache-Trefferquote und bietet die Möglichkeit für zukünftige Optimierungen, wie z. B. ein Upgrade oder Downgrade bei Bedarf, wenn der Cache veraltet (z. B. bei einem Komprimierungsereignis).

Wie unser Smart Router funktioniert

Wir haben uns für das aufgabenbezogene Routing entschieden, um die Cache-Effizienz zu wahren und gleichzeitig jede Programmieraufgabe dem passenden Modell und Harness zuzuordnen. Das interessanteste Problem besteht darin, die Schwierigkeit einer Aufgabe vor deren Beginn einzuschätzen. Wir wollten einfach anfangen, daher verwendet unser Router derzeit eine einzige Richtlinie und wendet sie auf jede Aufgabe auf dieselbe Weise an.

Zuerst klassifizieren wir die Aufgabe. Hierfür verwenden wir ein günstigeres Modell mit geringer Latenz, das die Aufgabenbeschreibung liest und sie mit einer Handvoll semantischer Felder versieht: Welcher Teil des Systems sich ändert, welche Code-Hinweise der Prompt enthält (ein Snippet, ein Traceback oder nichts Explizites), wie der Fehler aussieht, wie lokalisiert die Behebung erscheint und zu welcher Art von Projekt sie gehört. Daraus leitet der Router eine Aufgabentyp-Familie und eine Sprachfamilie ab. Die Verwendung eines Spitzenmodells würde jede Anfrage belasten (selbst die einfachen, bei denen wir sparen wollen), daher ist der Extractor bewusst klein und schnell gehalten.

Anschließend ermitteln wir die beste Modellklasse. Der Router greift standardmäßig auf ein mittelgroßes Modell zurück und nutzt die Labels, um sich in die eine oder andere Richtung zu bewegen: Er eskaliert zu einem teureren Modell, wenn die Aufgabe Spitzenleistungen und entsprechendes Wissen erfordert, oder delegiert an ein günstigeres Modell, wenn dies nicht der Fall ist. Das bedeutet, dass die einzelne Richtlinie eine ganze Reihe von Modellen nutzen kann.

Die ersten Ergebnisse sind vielversprechend. Bei unserem eigenen internen Benchmark, zu dem keine externen Labore Zugang hatten, konnten wir Einsparungen von 35 % verzeichnen. Bei öffentlichen Programmier-Benchmarks, die zeigen, dass sich unsere Ergebnisse verallgemeinern lassen, haben wir eine Kosteneinsparung von 56 % erzielt. Wir gehen davon aus, dass diese Werte noch steigen werden, wenn wir mehr über unsere eigenen Anwendungsfälle erfahren und enger mit unseren Designpartnern zusammenarbeiten.

Wie leitet man Programmieraufgaben über Modelle und Harnesses hinweg weiter?

Smart Routing übernimmt die Routing-Entscheidung, aber Sie müssen auch in der Lage sein, danach zu handeln. Es funktioniert nativ in Claude Code und Codex, aber bei Coding-Agents erzielen wir eine bessere Leistung, wenn wir nicht nur das richtige Modell, sondern auch den richtigen Coding-Harness wählen. Damit Entwickler das gewählte Modell und den Harness optimal nutzen können, ist eine Ebene über den einzelnen Programmiersitzungen erforderlich, um diese zu orchestrieren. Aus diesem Grund haben wir Omnigent entwickelt.

Smart Routing ist in Omnigent auf zwei Ebenen implementiert:

Erstens können Entwickler, die Omnigent nutzen, Smart Routing auswählen, anstatt manuell einen bestimmten Coding-Harness zu bestimmen. Omnigent wählt dann automatisch sowohl den Harness als auch das Modell für jede Aufgabe aus, wobei das Modell-Routing durch Smart Routing in Unity AI Gateway gesteuert wird. Dieses Design gibt Entwicklern und Administratoren die Freiheit, Anpassungen vorzunehmen – wie z. B. Richtlinien auf Organisationsebene oder die Option, den bisherigen Konversationsverlauf zu nutzen –, ohne jedes Mal den Client ändern zu müssen.

Dies bedeutet auch, dass alle Starts von Sub-Agents über die Smart Routing API laufen, sodass Sub-Agents einen anderen Harness und ein anderes Modell nutzen können. Da der ursprüngliche Prompt des Nutzers oft ungenau und in Bezug auf die Komplexität schwer einzuschätzen ist, ermöglichen Sub-Agents die Anpassung neuer Aufgaben auf der Grundlage neuer Informationen – mit einem frischen Cache und klaren Anweisungen. Eine einzelne Aufgabe kann differenzierte Routing-Entscheidungen bei der Planung und der parallelen Arbeit von Sub-Agents durchlaufen (z. B. können Sie umfangreiche Aufgaben zur Zusammenfassung von Codebasen an günstigere Modelle weiterleiten, während Sie die Architektur mit teureren Modellen entwerfen), was zu noch größeren Einsparungen führt.

Wie lässt sich bewerten, ob das Modell-Routing funktioniert?

Effektives Modell-Routing muss sowohl die Kosten als auch die Produktivität der Entwickler optimieren, nicht nur die Kosten allein. Feedback-Signale sind entscheidend, da Router noch eine junge Technologie sind, die erhebliche Iterationen erfordern wird. Unser erster Schritt bestand darin, alle Traces von Coding-Sessions für eine spätere Auswertung zu protokollieren. Wir wollen sowohl die Kosten als auch die Developer Experience berücksichtigen – wir möchten die Kosten nicht auf Kosten der Produktivität optimieren.

Mit Unity AI Gateway können Traces für Coding-Agents in Unity Catalog aufgezeichnet werden. Dies sind äußerst sensible Daten, die in den meisten etablierten Unternehmen durch hochentwickelte Tagging- und Zugriffsrichtlinien geschützt bleiben müssen.

Wir haben sowohl AI-Modelle als auch menschliche Überprüfungen genutzt, um Traces zu analysieren und Änderungen am Router zu bewerten. Als wir diese Analyse für unsere eigenen Sessions vor dem Routing durchführten, stellten wir fest, dass ein großer Teil der Sessions teure Frontier-Modelle für Aufgaben nutzte, bei denen dies gar nicht nötig gewesen wäre – einfach weil das Standardmodell das teuerste war. In der Praxis lässt sich der Nutzen des Routers am besten durch die kontinuierliche Überwachung der folgenden Metriken validieren:

• Aufteilung der Sessions nach Modellen
• Anzahl der Sessions, die von den gerouteten Modellen End-to-End abgeschlossen werden
• Höhe der finanziellen Einsparungen durch das Routing

Wie es mit dem intelligenten Modell-Routing weitergeht

Wir glauben, dass dieser Bereich enorme Chancen bietet, und planen, hier weiterhin intensiv zu forschen. Es ist noch ein frühes Stadium, daher gibt es für uns noch viel zu lernen.
Unsere erste Herausforderung waren unzuverlässige Benchmarking-Daten, die nicht dem tatsächlichen Nutzerverhalten entsprechen. Benchmark-Aufgaben sind ungewöhnlich gut strukturiert und kommen jeweils als in sich geschlossene Aufgabenstellung an. Während Router bei solchen Aufgaben gut abschneiden, sieht die Realität in echten Sessions oft ganz anders aus.

• Einstiegsprompts sind selten präzise, da das, was ein Entwickler zuerst eingibt, eher ein Symptom oder eine grobe Absicht als eine genaue Spezifikation ist – und unser Router liest diese erste Nachricht und legt sich fest.
• Sessions werden wiederverwendet, sodass die Entscheidung, die für die erste Anfrage richtig war, bei der vierten schon falsch sein kann – und der Router wird nicht noch einmal gefragt.

Deshalb erforschen wir einige neue Richtungen, um mehr Informationen zu sammeln und neue Techniken auszuprobieren:

1. Dort anfangen, wo die Aufgabendefinition kostenlos ist. PR-Reviews, Sub-Agent-Launches, Batch-Migrationen und geplante Jobs sind von Anfang an vollständig spezifiziert, da eine Maschine die Aufgabenstellung geschrieben hat. Das Routing funktioniert in dieser Kategorie schon heute, ohne dass jemand seine Gewohnheiten ändern muss. Deshalb führen wir es hier zuerst ein.
2. Erst nach einigen Interaktionen routen, nicht gleich beim ersten Mal. Bei interaktiver Arbeit ist der Einstiegsprompt der denkbar schlechteste Moment für eine Entscheidung, und nichts zwingt uns dazu, uns sofort festzulegen. Stattdessen kann es sinnvoll sein, ein günstiges Modell den ersten Austausch übernehmen und klärende Fragen stellen zu lassen, um die Aufgabe erst dann zu routen, wenn sie konkrete Formen angenommen hat. Es ist besser, die ersten Schritte mit einem schnellen und kleinen Modell zu machen – das schont das Budget und verbessert gleichzeitig die User Experience.
3. Sessions kleiner halten. Sessions, die sich auf eine einzige Aufgabe beschränken, lassen sich besser routen und kosten weniger. Tools können dies fördern, indem sie beim Themenwechsel den Start einer neuen Session als naheliegenden Schritt anbieten.
4. Den Modellwechsel kostengünstig machen. All die oben genannten Punkte setzen voraus, dass ein Modellwechsel mitten in der Session bezahlbar ist. In der heutigen Welt, in der die Kosten von der Cache-Hit-Rate dominiert werden, ist ein Wechsel mitten in der Session im großen Stil nicht praktikabel. Die Kontextkomprimierung ist hier der natürliche Ansatzpunkt, da dort ohnehin bereits ein Cache-Miss auftritt (so macht es auch Devin Fusion von Cognition). Mit der Zeit möchten wir, dass die Routing-Ebene Cache-Misses explizit bepreist, anstatt dies fest in die Nutzung des Routers zu integrieren.

Routing wird meist als eine Möglichkeit beworben, Kosten zu senken. Während unsere größten Erfolge darin bestehen, für einfache Aufgaben weniger zu bezahlen, kann uns derselbe Mechanismus auch dabei helfen, zu entscheiden, wann wir mehr investieren sollten, um ein besseres Ergebnis zu erzielen. Wertmaximierung funktioniert in beide Richtungen: Nutzen Sie das günstige Modell, wenn es ausreicht, und investieren Sie beruhigt mehr, wenn der Mehrwert es rechtfertigt.

Coding-Tools verleiten Nutzer oft dazu, immer mehr Token zu verbrauchen. Was wir aber eigentlich wollen, ist die Optimierung des produktiven Outputs pro Dollar, nicht der Token. Die Wahl eines günstigeren, schnelleren Modells, wenn dieses ausreicht, spart nicht nur Geld. Es spart auch Zeit und hält die knappe Kapazität von Frontier-Modellen für die Aufgaben frei, die sie wirklich benötigen.

Testen Sie Smart Routing noch heute

Smart Routing ist jetzt als Beta-Version über Unity AI Gateway verfügbar. Es leitet Coding-Aufgaben basierend auf ihrer Komplexität automatisch an das richtige Modell weiter. So hilft es Teams, durch die Auswahl des besten Modells für jede Aufgabe eine Leistung auf Frontier-Niveau bei einer Kostenersparnis von über 30 % zu erzielen. Für Teams, die ihre AI-Coding-Kosten senken möchten, ohne die Wahlfreiheit oder Produktivität der Entwickler einzuschränken, bietet Smart Routing eine Alternative zur manuellen Modellauswahl oder zu pauschalen Ausgabenlimits. Und mit Omnigent können Sie das intelligente Routing auf verschiedene Modelle und Coding-Harnesses ausweiten.

Besuchen Sie unsere Dokumentationsseiten, um loszulegen:

• Für Modell-Routing: Aktivieren Sie Smart Routing über Unity AI Gateway
• Für Modell- + Harness-Routing: Nutzen Sie Smart Routing mit Omnigent (v0.9.0+)

Erfahren Sie mehr über Unity AI Gateway auf unserer Website.

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag