Wie Sie agentenbasierte Anwendungen skalieren, ohne KI-Wildwuchs zu verursachen

Einen Agenten zu erstellen, wird immer einfacher. Leistungsfähigere Modelle und Coding-Agenten beschleunigen die Entwicklung und Iteration. Der Betrieb vieler Agenten in einem gesamten Unternehmen ist jedoch eine ganz andere Herausforderung.

Da Agenten nicht mehr nur Fragen beantworten, sondern aktiv handeln, hängen sie zunehmend von einem komplexen Geflecht aus Modellen, Unternehmensdaten, Geschäftssemantik, Tools und Anwendungen ab. Ein einzelner Workflow ruft unter Umständen gouvernierte Daten ab, wählt ein Modell aus, nutzt mehrere Tools, übergibt die Arbeit an einen anderen Agenten und aktualisiert ein Geschäftssystem – und das alles mit den passenden Berechtigungen und unter Erstellung eines lückenlosen Traces, um die Abläufe nachvollziehbar zu machen.

Wenn jedes Team diese Teile unabhängig voneinander verknüpft, kann eine neue Art von AI-Wildwuchs entstehen: doppelte Integrationen, inkonsistente Richtlinien, steigende AI-Ausgaben, fragmentierter Kontext und Anwendungen, die sich mit zunehmender Anzahl von Agenten immer schwerer anpassen lassen.

Die Herausforderung besteht darin, diese Anwendungen zu skalieren, ohne die Infrastruktur für jede einzelne Anwendung vervielfachen zu müssen.

Wir haben vor Kurzem Databricks, OpenAI und Stellantis zusammengebracht, um zu beleuchten, was für die Skalierung von agentischen Anwendungen in der Produktion nötig ist. Ein zentrales Thema war, dass die Infrastruktur um die Agenten herum immer wichtiger wird, je leistungsfähiger und autonomer sie werden.

Auf Unternehmensebene muss diese Infrastruktur drei Dinge bieten: Auswahl, damit Teams im Zuge ihrer Weiterentwicklung die passenden Modelle, Tools und Frameworks nutzen können; Kontext, damit Agenten mit gouvernierten Unternehmensdaten und geschäftlicher Bedeutung arbeiten können; und Kontrolle, damit Berechtigungen, Richtlinien, Evaluierung, Observability und Kostenmanagement auch bei wachsenden Anwendungen konsistent bleiben.

Auf Databricks führt dieses Fundament Agent Bricks, Omnigent und Unity Gateway zusammen. Agent Bricks bietet die einheitliche Plattform für die Erstellung, Governance und Optimierung von Agenten-Flotten. Omnigent stellt Teams eine gemeinsame Ebene für die Arbeit über verschiedene Agent-Harnesses hinweg zur Verfügung, während Unity Gateway den Zugriff, die Kostenkontrolle und die Observability für alle von diesen Anwendungen genutzten Modelle, Agenten und Tools zentralisiert.

Da diese Funktionen anwendungsübergreifend genutzt werden, können Teams neue Agenten und Workflows hinzufügen, ohne dass jedes Mal ein separates Integrations- und Governance-Projekt entsteht.

Kontext sollte geteilt und nicht neu erstellt werden

Ein Enterprise-Agent benötigt mehr als nur Zugriff auf ein Modell. Er braucht die Daten, Geschäftsdefinitionen, Dokumente, Anwendungen und Tools, die erforderlich sind, um die jeweilige Aufgabe zu verstehen.

Dieser Kontext ist im Unternehmen oft schon vorhanden. Die Herausforderung besteht darin, ihn den Agenten in einer gouvernierten, wiederverwendbaren Form zur Verfügung zu stellen.

Stellen Sie sich zwei Agenten vor, die für unterschiedliche Teams arbeiten. Ein Vertriebs-Agent und ein Kundensupport-Agent müssen unter Umständen beide verstehen, wer als aktiver Kunde gilt, welche Produkte dieser Kunde besitzt und wie Kontohierarchien definiert sind. Wenn jede Anwendung diese Definitionen unabhängig voneinander neu erstellt, kann derselbe Geschäftsbegriff in verschiedenen Workflows unterschiedliche Bedeutungen haben.

Diese Fragmentierung führt auch zu einem höheren Wartungsaufwand für die Infrastruktur, da Teams ihre Agenten jeweils separat mit Kundendaten, Produktdefinitionen, Metriken und internen Dokumenten verbinden.

Agent Bricks greift auf eine gemeinsame Kontextebene zurück, die auf gouvernierten Unternehmensdaten und Geschäftssemantik aufbaut. Unity Catalog regelt den Zugriff auf Daten und AI-Assets, während die Genie Ontology Agenten ein gemeinsames Verständnis von Geschäftskonzepten und -beziehungen vermittelt. Funktionen wie Document Intelligence, AI Search und Agent Memory können diesen Kontext um Dokumentenverständnis, Retrieval und Verlauf für komplexere Workflows erweitern.

Teams können dann denselben gouvernierten Geschäftskontext anwendungsübergreifend wiederverwenden, anstatt ihn jedes Mal neu zu erstellen.

Auswahl sollte nicht zu Fragmentierung führen

Das beste Modell, Tool oder der beste Agent-Harness für eine Aufgabe bleibt selten dauerhaft gleich.

Verschiedene Schritte in einer agentischen Anwendung erfordern unter Umständen unterschiedliche Abwägungen zwischen Argumentationsqualität (Reasoning), Latenz und Kosten. Es entstehen ständig neue Modelle und Harnesses, und komplexe Workflows können mehrere davon gleichzeitig kombinieren.

Diese Flexibilität wird schwer zu verwalten, wenn jeder Harness seine eigene Schnittstelle, Sitzungen, Richtlinien und Ausführungsarten hat.

Omnigent fügt eine gemeinsame Ebene über den Agent-Harnesses hinzu, sodass Teams Agenten aus verschiedenen Harnesses zusammensetzen und mit weniger Aufwand zwischen ihnen wechseln können. Unity Gateway regelt die Auswahl auf Modell- und Harness-Ebene und bietet konsistenten Zugriff auf proprietäre und offene Modelle sowie Smart Routing, Kapazitäts- und Kostenkontrollen.

Zusammen ermöglichen es diese Ebenen den Teams, die Modelle und Agenten-Technologien hinter einer Anwendung zu ändern, während die umgebende Infrastruktur konsistent bleibt.

Kontrolle muss auf jede Aktion folgen

Der Bedarf an Kontrolle wächst, je mehr Agenten von der bloßen Generierung von Antworten zum aktiven Handeln übergehen.

Ein Agent könnte Unternehmensdaten lesen, ein Geschäftssystem aufrufen, Code ausführen, einen Workflow aktualisieren oder einen anderen Agenten aufrufen. Jede zusätzliche Funktion erweitert die Möglichkeiten der Anwendung und schafft mehr Interaktionen, die gouverniert werden müssen.

Stellen Sie sich einen Agenten vor, der eine Kundenrückerstattung bearbeitet. Der Mitarbeiter, der die Anfrage initiiert, hat möglicherweise umfassenden Zugriff auf das Kundenkonto. Gleichzeitig benötigt der Agent jedoch nur die Bestelldetails, die relevante Rückerstattungsrichtlinie und die Berechtigung zur Durchführung einer bestimmten Transaktion. Seine Befugnisse sollten genau der Aufgabe entsprechen, mit deren Erfüllung er beauftragt wurde.

Dies erfordert Kontrollen, die sich über die gesamte AI-Interaktion erstrecken.

Unity Gateway bietet eine zentrale Control Plane für Modelle, Agenten, MCP-Server, Tools und Skills. Teams können Zugriffsrichtlinien und Guardrails anwenden, Budgets und Ratenbegrenzungen verwalten, steuern, welche AI-Assets verfügbar sind, und Traces über diese Interaktionen hinweg aufbewahren. Zusammen mit Unity Catalog können diese Kontrollen die Identität, die Datenberechtigungen und den Kontext hinter einer Anfrage berücksichtigen.

Für Workloads, die Code oder Tools ausführen, Databricks Sandbox eine isolierte Ausführungsumgebung mit eingeschränktem Zugriff auf die Daten und Systeme, die der Agent benötigt.

Das Ergebnis ist eine klarere Abgrenzung dessen, worauf ein Agent zugreifen kann, welche Aktionen er ausführen darf und wie diese Entscheidungen bei wachsenden Anwendungen durchgesetzt werden.

Kontrolle erfordert auch Transparenz darüber, was passiert ist

Sobald eine Anwendung Kontext abrufen, Modelle auswählen, Tools aufrufen und mehrere Schritte koordinieren kann, erzählt ihre endgültige Antwort nur einen Teil der Geschichte.

Eine korrekt aussehende Antwort kann ein fehlgeschlagenes Retrieval, den Aufruf eines falschen Tools oder einen unerwarteten Ausführungspfad verbergen. Wenn etwas schiefgeht, müssen Teams in der Lage sein, zu rekonstruieren, wie die Anwendung zu ihrem Ergebnis gelangt ist: welche Informationen sie verwendet hat, welche Tools sie aufgerufen hat, welches Modell die Aufgabe bearbeitet hat, welche Richtlinien angewendet wurden und an welcher Stelle das Verhalten von den Erwartungen abgewichen ist.

Unity Gateway zentralisiert die Telemetrie über AI-Interaktionen hinweg, einschließlich Traces, Nutzung, Kosten und Tool-Aktivitäten. MLflow ergänzt diese operative Transparenz durch Tracing- und Evaluierungs-Workflows, mit denen Teams das Anwendungsverhalten untersuchen, repräsentative Interaktionen in Datensätzen erfassen und Änderungen an Prompts, Modellen, Tools oder der Orchestrierung bewerten können.

Dieses Feedback kann in die nächste Iteration der Anwendung einfließen. Teams können Änderungen vor einer breiteren Einführung vergleichen, Regressionen identifizieren und das Verhalten in der Produktion nutzen, um Qualität, Zuverlässigkeit und Kosten im Laufe der Zeit zu verbessern.

Gemeinsame Infrastruktur erleichtert die Komposition

Umfangreichere Geschäfts-Workflows umfassen oft mehr als einen Agenten, ein Modell oder ein Tool. Eine Komponente versteht vielleicht die Anfrage eines Benutzers, eine andere analysiert Daten und ein deterministisches System führt eine Berechnung durch oder aktualisiert einen Geschäftsprozess.

Die Fähigkeit, diese Teile zu kombinieren, wird noch wertvoller, wenn die Infrastruktur um sie herum bereits gemeinsam genutzt wird. Omnigent bietet eine einheitliche Schnittstelle für Agenten, die mit unterschiedlichen Harnesses erstellt wurden, während Agent Bricks die umfassendere Plattform für die Erstellung und den Betrieb der resultierenden Agenten-Flotte bereitstellt. Derselbe governed Kontext und dieselben Kontrollen können auf den gesamten Workflow übertragen werden.

Da Teams immer mehr Anwendungen erstellen, können Agenten, Tools, Skills und der Geschäftskontext zu wiederverwendbaren Bausteinen werden. Neue Workflows können auf eine vorhandene, gut governed und beobachtbare Infrastruktur zurückgreifen, anstatt einen weiteren isolierten Stack zu erstellen.

Entwickeln für Auswahl, Kontext und Kontrolle

Auswahl gibt Teams den Freiraum, neue Modelle, Harnesses und Tools zu übernehmen, wenn sich das Ökosystem verändert. 

Kontext verankert diese Anwendungen in governed Unternehmensdaten und der Geschäftssemantik. 

Kontrolle bietet eine konsistente Governance und konsistenten Betrieb über die gesamte resultierende Agenten-Flotte hinweg – von Berechtigungen und Richtlinien bis hin zu Budgets, Traces, Evaluierung und Kosten.

Agent Bricks führt diese Funktionen auf einer einheitlichen Plattform für die Erstellung, Governance und Optimierung von Agenten-Flotten im großen Stil zusammen. Dabei unterstützt Omnigent die Komposition über verschiedene Harnesses hinweg und Unity Gateway bietet eine gemeinsame Control Plane für alle AI-Interaktionen.

Die Modelle und Harnesses werden sich ständig weiterentwickeln. Unternehmen müssen sich nicht auf eines davon festlegen, um erfolgreich zu skalieren. Sie müssen die Infrastruktur um sie herum standardisieren – damit neue Agenten denselben Kontext, dieselben Kontrollen und dasselbe Betriebsmodell übernehmen können, ohne eine weitere Ebene von AI-Wildwuchs zu schaffen.

Mehr erfahren

Sehen Sie sich Agents at Work: Shipping Agentic Apps at Scale auf Abruf an, um eine tiefergehende Diskussion über die Infrastruktur, das Betriebsmodell und die Produktionsmuster hinter agentischen Anwendungen im Unternehmen zu verfolgen.

Erste Schritte

Mit dem Agent Bricks CLI ist der Einstieg ganz einfach. In nur wenigen Codezeilen können Sie einen Agenten entwickeln, der in alle Funktionen von Agent Bricks integriert ist, einschließlich Unity Gateway für Modellkapazität, einer auf der Databricks-Infrastruktur gehosteten Runtime und Agent-Tracing powered by MLflow.

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag