Entdecken Sie Ineffizienzen in Ihrer KI-Nutzung automatisch
von Adam Gurary, Alkis Polyzotis und Vishnu Kannan
Wenn Teams KI-Kosten senken möchten, beginnen sie oft mit Budgets oder Open-Source-Modellen. Agent-Traces können jedoch weitere Einsparpotenziale aufdecken. Bei Databricks brachte die Trace-Analyse mehrere zutage: Offline-Replays zeigten keinen Performance-Gewinn beim Upgrade von Opus 4.8 auf Opus 5, also sind wir beim günstigeren 4.8 geblieben; das Beheben häufiger MCP-Fehler brachte geschätzt 1,2 Millionen US-Dollar an Kosten pro Jahr wieder rein; und Traces zeigten, dass einfache Prompts an teure Modelle gesendet wurden, was uns dazu veranlasste, das Smart Routing einzusetzen.
Heute stellen wir Unity Gateway Insights vor, das automatisch Genie nutzt, um Millionen von Agent-Traces zusammen mit Ihren Geschäftsdaten und Ihrer Ontologie zu analysieren. Es zeigt auf, wo Token verschwendet werden: MCP-Fehler, die immer wieder auftreten, einfache Aufgaben, die auf teuren Frontier-Modellen laufen, und wiederholte Workflows, die es wert sind, in geteilte Skills umgewandelt zu werden – und das alles im Kontext Ihres Unternehmens und unter derselben Governance wie Ihre anderen Daten.

Wenn Sie bereits Traffic über das Unity Gateway leiten, öffnen Sie AI Gateway > Observability > Insights und generieren Sie einen Bericht für den letzten Tag, die letzten 7 Tage oder 30 Tage. Insights erstellt daraufhin einen Bericht zur Tokenomics Ihres Coding-Agenten-Rollouts, der die folgenden Fragen beantwortet:

Jedes Ergebnis verlinkt auf Beispielsitzungen, sodass Sie die zugrundeliegenden Traces öffnen können.

Sie können einem Bericht bis zu 10 eigene Fragen hinzufügen, beispielsweise ob sich das neueste Modell für die Arbeit Ihres Teams lohnt. Um tiefer einzusteigen, setzen Sie das Gespräch mit Genie fort. Fragen Sie, welcher MCP-Server in diesem Monat die meisten Token verschwendet hat und wem er gehört, und Sie haben einen fehlerbereiten Bug-Report parat.

Hier ist, was hinter den einzelnen Arten von Verschwendung steckt, die Insights meldet:
Um diese Art von Verschwendung zu finden, ist eine vollständige Aufzeichnung jedes Schritts jeder Agenten-Sitzung erforderlich: Eingaben und Ausgaben, Tool-Aufrufe, Subagenten, Zwischenschritte, Latenz und Token-Kosten. Ein eigenständiges Gateway zeichnet nur die Anfragen auf, die es passieren. Den Rest jeder Sitzung zu erfassen bedeutet, jeden Coding-Agenten selbst zu instrumentieren und die Traces dann zur Analyse an eine Datenplattform zu exportieren.
Claude Code auf diese Traces anzusetzen, überlässt es dennoch Ihnen, die Untersuchung selbst zu entwerfen – ganz ohne Landkarte Ihres Unternehmens, wie sie die Genie-Ontologie bereitstellt. Insights führt die Untersuchung durch, die wir während des Rollouts von Coding-Agenten für Tausende von Databricks-Ingenieuren entwickelt haben. Es sampelt Sitzungen und gruppiert sie nach Art der Arbeit in Workstreams. Anschließend überprüft es jeden Workstream auf fehlerhafte MCP-Tools, aufgeblähten Kontext, Frontier-Modelle für einfache Aufgaben sowie wiederholte Workflows und sortiert die Funde nach den betroffenen Token. Dies setzt vier Dinge voraus, die ein eigenständiges Gateway nicht bieten kann:
Wenn Ihre Entwickler Coding-Agenten bereits über das Unity Gateway ausführen, können Sie Ihren ersten Bericht noch heute generieren:
(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag
Unity Gateway und Genie
Abonnieren Sie unseren Blog und erhalten Sie die neuesten Beiträge direkt in Ihren Posteingang.