Einführung von KI-Ausgabenkontrollen mit Unity AI Gateway

Heute kündigen wir KI-Ausgabenkontrollen in Unity AI Gateway an. Diese Version erweitert die bestehende Kostentransparenz von Unity AI Gateway um proaktive Budgetwarnungen, um Ihnen die volle Kontrolle über die KI-Ausgaben Ihres Unternehmens zu geben – von den Coding-Agenten, die Ihre Entwickler täglich nutzen, über die Produktionsagenten, die Ihre Kunden bedienen, bis hin zu den Batch-Jobs, die über Nacht laufen:

KI-Workloads liefern einen überproportionalen Wert – aber ihr Kostenprofil ist grundsätzlich schwieriger zu verwalten als Ihre traditionellen Cloud-Ausgaben:

• Ihr nächtlicher Batch-Job zur Übersetzung von Anrufprotokollen kann einen Monat lang perfekt laufen, dann auf halbem Weg fehlschlagen und eine Wiederholungslogik auslösen, die seine Kosten über Nacht verzehnfacht.
• Die Coding-Agenten Ihrer Engineering-Organisation sparen Tausende von Entwicklerstunden pro Woche – aber dieselben Agenten machen es einem Ingenieur leicht, am Freitagabend versehentlich ein Multi-Agenten-Experiment zu starten, das bis Sonntag das Monatsbudget des Teams aufbraucht.

Mitarbeiter aus den Bereichen Engineering, Support, Vertrieb und Betrieb steigen schneller in die KI ein als bei jeder anderen Technologie im letzten Jahrzehnt und erschließen Woche für Woche völlig neue Anwendungsfälle. Diese Einführung bringt jedoch eine Managementherausforderung mit sich: Die Nutzung von Basismodellen erstreckt sich nun über Dutzende von Teams, Hunderte von Benutzern und Tausende von Agenten mit einer wechselnden Mischung aus Anbietern und Modellstufen. Ausgabenkontrollen müssen einheitlich auf alle KI-Workloads angewendet werden, damit Ihr Unternehmen sich vertrauensvoll auf KI einlassen kann, ohne sich um unerwartete Rechnungen sorgen zu müssen.

Budgetwarnungen in jeder Granularität konfigurieren

Während Ausgabenkontrollen einheitlich angewendet werden müssen, benötigen verschiedene Teile Ihrer Organisation unterschiedliche Kostenkontrollen. Ein Plattformteam kümmert sich um die Gesamtsummen des gesamten Arbeitsbereichs. Ein FinOps-Leiter kümmert sich um die monatlichen Ausgaben auf Organisationsebene. Ein Engineering Manager kümmert sich um Experimentierbudgets pro Entwickler. KI-Ausgabenkontrollen ermöglichen es Ihnen, all dies von einem Ort aus einzustellen und sind tief integriert mit den bestehenden Budgets von Databricks:

• Pro Benutzer: Legen Sie Budgets für individuelle Experimente fest – zum Beispiel 2000 $ pro Benutzer pro Monat für die Engineering-Organisation. Fangen Sie den Entwickler ab, dessen Agent in einer Schleife feststeckt, bevor es sich in der Gewinn- und Verlustrechnung niederschlägt.
• Pro Anwendungsfall: Lassen Sie sich benachrichtigen, wenn die Ausgaben Ihrer Organisation für Coding-Agenten wie codex oder claude code 1000 $ pro Benutzer pro Monat übersteigen.
• Pro Arbeitsbereich: Jede Einheit hält sich an ihr eigenes Budget. Die Produktion erhält 50.000 $/Monat; die Sandbox erhält 5.000 $.
• Pro Konto: Legen Sie eine Obergrenze fest – zum Beispiel 200.000 $/Monat für jedes Modell, jeden Anbieter, jeden Arbeitsbereich – und lassen Sie sich lange vor dem Erreichen dieser Grenze benachrichtigen.

Starten Sie noch heute mit Unity AI Gateway Budgets

Um die KI-Ausgaben Ihrer Organisation zu verfolgen, befolgen Sie diese Schritte:

Erstellen Sie Ihr Unity AI Gateway Budget

• Öffnen Sie Ihre Kontoeinstellungen, navigieren Sie in der Seitenleiste zu Nutzung und öffnen Sie den Tab Budgets.
• Erstellen Sie ein Budget und wählen Sie „Unity AI Gateway“ als Ressourcentyp aus.
• Wenden Sie das Budget optional nur auf eine Untermenge von Arbeitsbereichen an.
• Wenden Sie optional „Ressourcen-Tags“ an, um Budgets für eine Untermenge Ihrer AI Gateway LLMs zu konfigurieren. Nur AI Gateway LLMs, deren Tags mit Ihren Budget-Tags übereinstimmen, werden auf das Budget angerechnet. Dies ist nützlich, um anwendungsfallspezifische Budgets zu konfigurieren.
• Konfigurieren Sie einen „Gemeinsamen Schwellenwert“, der das monatliche Ausgabenlimit global für alle Ressourcen in Ihren ausgewählten Arbeitsbereichen festlegt, die den Ressourcen-Tags entsprechen.
• Konfigurieren Sie einen „Pro-Benutzer-Schwellenwert“, der ein monatliches Ausgabenlimit pro Benutzer in Ihrem Konto festlegt.
• Konfigurieren Sie E-Mail-Adressen, die Benachrichtigungen erhalten, wenn die Schwellenwerte überschritten werden.

Nach der Erstellung achten Sie auf Budgetwarnungen

Wenn eines Ihrer Budgets überschritten wird, erhalten Sie eine Benachrichtigungs-E-Mail:

Analysieren Sie Ihre aktiven Budgets

Der Kosten-Bereich Ihrer Kontokonsole ermöglicht es Ihnen, auf Budgetwarnungs-E-Mails zu reagieren oder den Status Ihrer aktiven Budgets proaktiv zu überwachen. Auf der Budgets-Seite sehen Sie auf einen Blick, wie sich Ihre Budgets entwickeln:

Öffnen Sie ein beliebiges Budget, um zu sehen, wie sich Ihre KI-Ausgaben entwickeln:

Wenn Sie Budgetschwellenwerte auf Benutzerebene konfiguriert haben, zeigt die Budgetdetailseite, wie sich die individuellen KI-Ausgaben der Benutzer Ihrer Organisation entwickeln. Wenn Benutzer ihren individuellen Schwellenwert überschreiten, werden ihr Status und ihre Ausgaben deutlich angezeigt, sodass Sie schnell handeln können:

Um den Schwellenwert eines Budgets zu erhöhen, können Sie das Budget einfach bearbeiten und seine Ausgabenlimits ändern.

Analysieren Sie die KI-Ausgaben Ihrer Organisation im Detail

Unity AI Gateway Budgets bieten Ihnen einen Überblick über die Ausgaben pro Benutzer und pro Budget. Um genauer zu analysieren, welche Benutzer, Modelle oder Anwendungsfälle Ihre Ausgaben verursachen, können Sie die bestehenden Kostenverfolgungsfunktionen von Unity AI Gateway nutzen. Jede Anfrage wird in Unity Catalog Systemtabellen mit DBU-Kosten und nicht nur Token-Zählungen protokolliert. Bereitgestellter Durchsatz, Betriebszeit, Pay-per-Token-Nutzung und sogar die Token-Kosten externer Modell-Anbieter werden alle automatisch berechnet. Sie können die Daten so aufschlüsseln, wie Ihr Unternehmen die Ausgaben verfolgt:

• Identität: Aggregieren Sie nach Benutzer oder Dienstprinzipal – ordnen Sie die Ausgaben den Personen und Systemen zu, die sie verursachen.
• Arbeitsbereich, Endpunkt und Tags: Gruppieren Sie nach Team, Umgebung oder Kostenstelle.
• Modell und Anbieter: Sehen Sie, welche Modelle (Opus vs. Sonnet) und Anbieter (Anthropic vs. OpenAI vs. Open Source) die Kosten verursachen.
• Anfrage-Tags: Dynamische Zuordnung für SaaS-Plattformen, die als Proxy für Endkunden fungieren.

Greifen Sie auf das Kostenanalyse-Dashboard zu, indem Sie in Ihrem Databricks-Arbeitsbereich zur Unity AI Gateway-Seite navigieren und auf „Dashboard anzeigen“ klicken:

Dies öffnet ein Nutzungs- und Kostenanalyse-Dashboard, das Sie vollständig anpassen können:

Eine Plattform zur Verwaltung von Daten und KI

KI-Ausgabenkontrollen sind eine natürliche Erweiterung der Governance-Funktionen, die Sie bereits in Databricks nutzen:

• Unity AI Gateway ist das zentrale AI Gateway Ihrer Organisation zur Verwaltung und zum Zugriff auf LLMs und MCPs.
• Unity Catalog ist Ihr zentraler Katalog zur Registrierung und Entdeckung der Daten- und KI-Assets Ihrer Organisation. Zugriffsrechte, Audit-Logs und Nutzungsdaten befinden sich alle in Unity Catalog.

Databricks bietet Ihnen ein einziges, konsistentes System zur Steuerung dessen, was Ihre Agenten tun können, für wen sie es tun können und wie viel sie dabei ausgeben dürfen. Beginnen Sie noch heute!

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag