Direkt zum Hauptinhalt
Plattform

Wir stellen vor: Unity Gateway Insights

Entdecken Sie Ineffizienzen in Ihrer KI-Nutzung automatisch

von Adam Gurary, Alkis Polyzotis und Vishnu Kannan

Wenn Teams KI-Kosten senken möchten, beginnen sie oft mit Budgets oder Open-Source-Modellen. Agent-Traces können jedoch weitere Einsparpotenziale aufdecken. Bei Databricks brachte die Trace-Analyse mehrere zutage: Offline-Replays zeigten keinen Performance-Gewinn beim Upgrade von Opus 4.8 auf Opus 5, also sind wir beim günstigeren 4.8 geblieben; das Beheben häufiger MCP-Fehler brachte geschätzt 1,2 Millionen US-Dollar an Kosten pro Jahr wieder rein; und Traces zeigten, dass einfache Prompts an teure Modelle gesendet wurden, was uns dazu veranlasste, das Smart Routing einzusetzen. 

Heute stellen wir Unity Gateway Insights vor, das automatisch Genie nutzt, um Millionen von Agent-Traces zusammen mit Ihren Geschäftsdaten und Ihrer Ontologie zu analysieren. Es zeigt auf, wo Token verschwendet werden: MCP-Fehler, die immer wieder auftreten, einfache Aufgaben, die auf teuren Frontier-Modellen laufen, und wiederholte Workflows, die es wert sind, in geteilte Skills umgewandelt zu werden – und das alles im Kontext Ihres Unternehmens und unter derselben Governance wie Ihre anderen Daten.

So funktioniert Insights

Wenn Sie bereits Traffic über das Unity Gateway leiten, öffnen Sie AI Gateway > Observability > Insights und generieren Sie einen Bericht für den letzten Tag, die letzten 7 Tage oder 30 Tage. Insights erstellt daraufhin einen Bericht zur Tokenomics Ihres Coding-Agenten-Rollouts, der die folgenden Fragen beantwortet:

  • Woran arbeiten die Leute? Insights vergleicht den Sitzungsanteil jedes Workstreams mit seinem Token-Anteil. Ein Workstream mit 10 % der Sitzungen und 35 % der Token ist die erste Anlaufstelle.
  • Wo kann ich Geld sparen? Insights zeigt, wohin Token fließen, und ordnet jede Art von Verschwendung nach Kosten an. Für jeden wiederholten Workflow schreibt Insights einen Prompt, den Sie kopieren können, um diesen Workflow in einen geteilten Skill umzuwandeln.

Jedes Ergebnis verlinkt auf Beispielsitzungen, sodass Sie die zugrundeliegenden Traces öffnen können.

Sie können einem Bericht bis zu 10 eigene Fragen hinzufügen, beispielsweise ob sich das neueste Modell für die Arbeit Ihres Teams lohnt. Um tiefer einzusteigen, setzen Sie das Gespräch mit Genie fort. Fragen Sie, welcher MCP-Server in diesem Monat die meisten Token verschwendet hat und wem er gehört, und Sie haben einen fehlerbereiten Bug-Report parat.

Was Insights in Ihren Traces findet

Hier ist, was hinter den einzelnen Arten von Verschwendung steckt, die Insights meldet:

  • MCP-Fehler & Verschwendung: Wenn ein Tool-Aufruf fehlschlägt, versuchen Agenten dies so lange erneut oder umgehen es, bis die Aufgabe erledigt ist. Die Sitzung sieht also so aus, als ob sie funktioniert hätte, während Sie für jeden Wiederholungsversuch bezahlen. Die von uns gefundenen 1,2 Millionen US-Dollar stammten aus nur sieben kleinen Bugs in unseren MCP-Servern: 499.000 US-Dollar an verschwendeten Token plus 12.000 Stunden, die Ingenieure auf Agenten warten mussten. Die Behebung aller sieben dauerte etwa eine Stunde.
  • Ineffiziente Modellnutzung: Insights bewertet, wie komplex die Aufgabe in jeder Sitzung eines Frontier-Modells war, und zählt die schnellen, routinemäßigen Aufgaben zusammen mit den von ihnen verwendeten Token. Das sind die Sitzungen, die Smart Routing an ein günstigeres Modell senden kann, während Frontier-Modelle für die Arbeiten reserviert bleiben, die sie benötigen.
  • Häufige Workflows zum Kodieren: Ein Workflow zählt, wenn er in mindestens drei Sitzungen oder bei zwei Ingenieuren auftritt. Ein geteilter Skill gibt Agenten diese Schritte im Voraus an die Hand, sodass Sie nicht mehr dafür bezahlen müssen, dass sie diese Schritte in jeder Sitzung aufs Neue durcharbeiten.

Die AI Control Plane auf Ihrer Datenplattform

Um diese Art von Verschwendung zu finden, ist eine vollständige Aufzeichnung jedes Schritts jeder Agenten-Sitzung erforderlich: Eingaben und Ausgaben, Tool-Aufrufe, Subagenten, Zwischenschritte, Latenz und Token-Kosten. Ein eigenständiges Gateway zeichnet nur die Anfragen auf, die es passieren. Den Rest jeder Sitzung zu erfassen bedeutet, jeden Coding-Agenten selbst zu instrumentieren und die Traces dann zur Analyse an eine Datenplattform zu exportieren.

Claude Code auf diese Traces anzusetzen, überlässt es dennoch Ihnen, die Untersuchung selbst zu entwerfen – ganz ohne Landkarte Ihres Unternehmens, wie sie die Genie-Ontologie bereitstellt. Insights führt die Untersuchung durch, die wir während des Rollouts von Coding-Agenten für Tausende von Databricks-Ingenieuren entwickelt haben. Es sampelt Sitzungen und gruppiert sie nach Art der Arbeit in Workstreams. Anschließend überprüft es jeden Workstream auf fehlerhafte MCP-Tools, aufgeblähten Kontext, Frontier-Modelle für einfache Aufgaben sowie wiederholte Workflows und sortiert die Funde nach den betroffenen Token. Dies setzt vier Dinge voraus, die ein eigenständiges Gateway nicht bieten kann:

  • Jeder Agent automatisch getraced. Unity Gateway ist die Control Plane, die Ihre Coding-Agent-Anfragen durchlaufen. Wenn Ingenieure Claude Code, Codex oder GitHub Copilot mit der ug CLI starten, aktiviert ug das OpenTelemetry-Tracing jedes Agenten automatisch, sodass Ihre Teams nichts instrumentieren müssen. Traces landen in der unified trace table, einer Governed Delta-Tabelle im Unity Catalog, die Ihnen gehört – in einem offenen Format, das jedes Tool lesen kann.
  • Genie, das Ihr Geschäft kennt. Genie schreibt das SQL und liest die Sitzungen. Mit der Genie-Ontologie verwenden seine Antworten Ihre eigenen Projektnamen und geschäftlichen Nuancen.
  • Skalierbarkeit für Millionen von Traces. Databricks SQL durchsucht Ihre gesamte Trace-Historie mit derselben Skalierbarkeit und Performance, die es auch für Ihre größten Tabellen bietet.
  • Standardmäßig abgesichert. Traces enthalten Prompts, Code und Tool-Ausgaben, sodass nur der Eigentümer der Tabelle Abfragen darauf ausführen kann, bis Administratoren den Zugriff über Unity-Catalog-Berechtigungen und Zeilenfilter gewähren. Insights liest die Tabelle an Ort und Stelle, sodass Sie Ihre sensibelsten Daten niemals für die Analyse exportieren müssen.

Erste Schritte

Wenn Ihre Entwickler Coding-Agenten bereits über das Unity Gateway ausführen, können Sie Ihren ersten Bericht noch heute generieren:

  1. Richten Sie die unified trace table ein, damit das Unity Gateway Traces aufzeichnet.
  2. Lassen Sie Ihre Teams ihre Coding-Agenten mit der ug CLI starten.
  3. Öffnen Sie in Ihrem Workspace AI Gateway > Observability > Insights und generieren Sie einen Bericht. Weitere Informationen finden Sie in der Insights-Dokumentation.

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag

Verwandte Tags:

Unity Gateway und Genie

Erhalten Sie die neuesten Beiträge in Ihrem Posteingang

Abonnieren Sie unseren Blog und erhalten Sie die neuesten Beiträge direkt in Ihren Posteingang.