Ein Leitfaden zu den Menschen, Prozessen und Technologien, die für die Bereitstellung kontrollierter und zuverlässiger AI-Agenten auf Enterprise-Ebene erforderlich sind
von Pavithra Rao, Jeanne Choo, Kyra Wulffert und Alex Baur
AgentOps ist die Betriebsmethode für die Erstellung, Bereitstellung und Verbesserung von AI-Agenten in der Produktion. Sie führt Architektur, Evaluierung, Observability, Governance, Sicherheit und Kostenmanagement in einem Prozess zusammen, den Teams wiederholen können.
Ein AI-Agent ist mehr als nur ein Modell, das eine Antwort generiert. Agenten können zur Laufzeit Tools auswählen, Unternehmensdaten abrufen, APIs aufrufen und selbstständig eine mehrstufige Aufgabe abarbeiten. Jede dieser Funktionen birgt das Risiko, dass etwas schiefgeht – sei es ein fehlerhafter Tool-Aufruf, eine zu weit gefasste Berechtigung oder ein ungeplanter Kostenanstieg.
AgentOps sorgt dafür, dass diese Komplexität nicht zum Risiko wird. Richtig umgesetzt macht es ein System so zuverlässig, dass Anwender ihm vertrauen, und so einfach, dass ein Team es problemlos betreiben kann.
Generative AI hat den Weg aus der Experimentierphase in die Unternehmen schneller zurückgelegt als die meisten anderen Technologie-Wellen. Die nächste Herausforderung besteht darin, aus vielversprechenden Pilotprojekten Systeme zu machen, auf die sich Anwender verlassen können.
Die meisten Teams scheitern an denselben operativen Fragen:
Um diese Fragen zu beantworten, braucht es mehr als ein leistungsstärkeres Modell. Es erfordert ein Betriebsmodell für den Agenten selbst.
Das ist bekanntes Terrain. MLOps hat sich etabliert, als Teams Machine-Learning-Modelle aus Notebooks in die Produktion überführten. Es folgte LLMOps mit Best Practices für Prompt- und Modell-Versionierung, verteiltes Serving und Kostenkontrolle. AgentOps ist die nächste Stufe und weitet diese Disziplin auf Systeme aus, die logisch denken, Tools nutzen und eigenständig handeln können.
Ein produktiver Agent benötigt klare Grenzen für die Bereiche, auf die seine Tools zugreifen dürfen, ein nachvollziehbares Protokoll der mehrstufigen Ausführung, eine Methode zur Qualitätsmessung, einen Plan für den Fall eines Fehlers sowie eine ausreichende Abstimmung zwischen Engineering, Produkt, Sicherheit, Compliance und Finanzen, damit der Release für niemanden eine Überraschung darstellt.
Die Kundenerfahrung bestätigt dies. Der Text-to-Code-Wissensagent von FactSet entwickelte sich von einem einzelnen Foundation-Modell zu einem vollständigen Agentensystem und steigerte die Genauigkeit um 44 %. Lesen Sie die FactSet-Erfolgsgeschichte.
Das „Big Book of AgentOps“ kodifiziert die Best Practices, die Unternehmen bei diesem Übergang unterstützen: Architekturmuster, eine phasenweise Delivery-Pipeline, Evaluierungs- und Feedbackschleifen, Governance, Kostenmanagement und die Entscheidungen der Stakeholder, die darüber bestimmen, ob ein Agent tatsächlich in die Produktion geht.
Das Buch führt in sechs Kapiteln von den Konzepten bis zur Implementierung.
Agenten sind nicht dasselbe wie ein Prompt-and-Response-LLM-Aufruf.
Logging, Evaluierungs-Gates, Governance, Rollback und Monitoring sind alle wichtig, aber die Anforderungen verschieben sich je nach den vier Agenten-Architekturen. Wir stellen jede Architektur und die entsprechenden operativen Anforderungen als praktische Referenz vor.
Ebenso wichtig sind die Anti-Patterns, die verhindern, dass Pilotprojekte in Produktion gehen: der Start mit einem zu breit gefassten Anwendungsfall, der vorzeitige Einsatz von Multi-Agenten-Orchestrierung, unnötige Denkschleifen (Reasoning Loops) und das Aufschieben der Evaluierung. Wir teilen eine Liste häufiger Fehler, die wir beobachtet haben, damit Sie diese vermeiden können.
Bereitstellungsarchitekturen reichen von einfach bis komplex, je nach Anwendungsfall und den Anforderungen eines Unternehmens. Wir stellen vier Bereitstellungsmuster vor, die von der Bereitstellung aus einem einzelnen Databricks-Workspace bis hin zum komplexesten Setup reichen: einer Multi-Account- und Multi-Agenten-Unternehmenstopologie. Jedes Muster enthält Empfehlungen zur Auswahl und Weiterentwicklung der Muster bei sich ändernden Anforderungen. In jeder Phase bilden Unity Catalog, Unity Gateway und MLflow das Herzstück zur Unterstützung der Architektur.
Eine Roadmap in sieben Phasen, angefangen bei der Teambildung und der Auswahl des Anwendungsfalls bis hin zur Einrichtung der Dateninfrastruktur, Evaluierungsschleifen und Best Practices für die Governance.
Wir heben für jede Phase wichtige Aspekte hervor. Beispielsweise sind die Kosten ein wesentlicher Teil des Lebenszyklus. Eine einzige Benutzeranfrage kann mehrere Modellaufrufe auslösen, wenn Sub-Agenten, Wiederholungsversuche und Guardrail-Prüfungen berücksichtigt werden. Daher ist es entscheidend, die Nutzung zuzuordnen, Limits festzulegen und eine klare Verantwortung für die Ausgaben zu definieren.
Teams müssen schnell iterieren, um einen qualitativ hochwertigen Agenten zu entwickeln. Sie müssen den Agenten auch auf der Grundlage neuester Forschungsergebnisse und als Reaktion auf die sich ändernden Anforderungen ihres Unternehmens weiterentwickeln. Um dies zu adressieren, zeigen wir, wie die Prinzipien von Flow, Feedback und kontinuierlichem Lernen aus The DevOps Handbook eine nützliche Grundlage für den Betrieb von AI-Agentensystemen bieten.
Die Anwendung dieser Prinzipien auf Agentensysteme bedeutet, einen „Golden Dataset“ für die Evaluierung aus echten Traces zu erstellen, automatisierte Evaluatoren (Judges) mit dem Feedback von Fachexperten (SMEs) abzugleichen und die Evaluierungsergebnisse zu nutzen, um die nächsten Entwicklungsschritte zu steuern. Ein praktisches Beispiel für einen E-Mail-Kundenservice-Agenten zeigt, wie menschliche Überprüfung, modellbasierte Evaluatoren und regelbasierte Prüfungen zusammenarbeiten, ohne dass jeder Release zu einer manuellen Prüfung wird.
Ein sechsstufiger Planungsablauf hilft Teams, ihre Ressourcen dort einzusetzen, wo sie tatsächlich etwas bewirken: den menschlichen Workflow abbilden, ihn in eine technische Architektur übersetzen, die Observability-Anforderungen nach Persona definieren, Tracing im System verankern, Zugriffskontrollen für Daten und Tools zuweisen und wiederverwendbare Komponenten identifizieren.
Ein Kundenservice-Agent im Telekommunikationsbereich setzt diesen Ablauf in die Praxis um – bis hin zu den Datenschemata, den Tools, die einem Abrechnungs-Sub-Agenten zur Verfügung stehen, und den feingranularen Kontrollen, die verhindern, dass ein Kunde jemals die Daten eines anderen Kunden sieht.
Gutes Engineering ist keine Garantie dafür, dass ein Agent die Produktion erreicht. Viele technisch einwandfreie Projekte scheitern stattdessen an zwischenmenschlichen Problemen.
Die Produktionsreife hängt davon ab, dass die Stakeholder im gesamten Unternehmen an einem Strang ziehen – von den Executive Sponsors und Product Ownern bis hin zu SMEs, Sicherheit, Compliance und Finanzen. Dieser Abschnitt bietet eine praktische RACI-Matrix zur Klärung der Zuständigkeiten bei Entscheidungen, die am häufigsten ins Stocken geraten, sowie Vorschläge für Kommunikationsintervalle vor und nach dem Launch. Diese Teamprozesse sorgen für enge SME-Feedbackschleifen, einen reibungslosen Ablauf des operativen Monitorings und der Reviews nach dem Launch sowie für einen langfristigen Mehrwert der Projekte.
Wählen Sie einen klar definierten Anwendungsfall mit eindeutigen Erfolgsmetriken, bevor Sie eine Orchestrierung anstreben. Präsentieren Sie den Stakeholdern frühzeitig einen funktionierenden Prototyp. Lassen Sie Ihre Erkenntnisse – und nicht eine vordefinierte Roadmap – darüber entscheiden, was als Nächstes entwickelt wird.
DXC Technology ging diesen Weg beim Ausbau seines AI-Portfolios. Das Unternehmen betreibt nun drei AI-Agenten in der Produktion, hat acht weitere in der Pilotphase oder Entwicklung und konnte die Gesamtbetriebskosten der Plattform nach der Migration zu Databricks um 30 % senken. Lesen Sie die DXC Technology-Erfolgsgeschichte.
Die Evaluierung ermöglicht es einem Team, einen Agenten mit gutem Gefühl zu veröffentlichen und ihn danach sicher zu aktualisieren. Beginnen Sie damit, dass SMEs echte Traces überprüfen, anstatt nur eine Handvoll ausgewählter Chat-Prompts zu testen. Dieses menschliche Urteil deckt Fehlerquellen auf, baut ein repräsentatives Evaluierungs-Set auf und kalibriert die automatisierten Evaluatoren (Judges), die schließlich die Routineprüfungen übernehmen.
Databricks integriert dies direkt in die Plattform: Agenten-Evaluierung, AI-gestützte Evaluatoren (Judges) und Trace-basierte Analysen, mit denen Teams Produktionsprobleme finden, Ursachen erforschen und Fehlerbehebungen vor der erneuten Bereitstellung testen können.
Intercontinental Exchange (ICE) hat dies in einer kontrollierten Text-to-SQL-Anwendung umgesetzt, die geschäftliche Fragen mithilfe von Finanzdaten beantwortet. Dabei wurde eine syntaktische Genauigkeit von 77 % und eine Übereinstimmung bei der Ausführung von 96 % bei rund 50 Abfragen erzielt.
Kontrollen, die in einzelnen Anwendungen angesiedelt sind, lassen sich mit zunehmender Anzahl von Agenten immer schwerer prüfen. Ein Plattform-Ansatz bietet Teams einen zentralen Ort für die Verwaltung von Datenzugriffen, Modell- und Tool-Nutzung, Tracing, Evaluierung und Richtliniendurchsetzung, anstatt die Governance für jeden neuen Agenten neu zu erfinden.
Auf Databricks bilden MLflow für Evaluierung und Tracing, Unity Gateway für den Modell- und Tool-Traffic sowie Unity Catalog für kontrollierte Discovery, Berechtigungen, Lineage und Zugriffskontrolle über Daten- und AI-Assets hinweg das Fundament.
Block ist ein gutes Beispiel dafür, welchen Nutzen eine kontrollierte Grundlage bietet. Die Databricks-Umgebung des Unternehmens unterstützt sowohl AI- als auch operative Anwendungsfälle, wobei Unity Catalog den Datenzugriff über verschiedene Geschäftsbereiche hinweg verwaltet. Databricks berichtet von Produktivitätssteigerungen in Höhe von 10 Millionen US-Dollar durch das AI-Agenten-System von Block für den Verkäuferbetrieb.
Das „Big Book of AgentOps“ wurde für alle geschrieben, die dafür verantwortlich sind, einen AI-Agenten in die Produktion zu bringen oder ihn dort zu betreiben, sobald er live ist:
Jeder, dessen Nutzer auf das Verhalten des Agenten angewiesen sind, sollte dieses Buch auf dem Schreibtisch haben.
Lesen Sie das vollständige eBook, um tiefer einzusteigen und die Plattformfunktionen hinter AI-Agenten in der Produktion zu erkunden:
Es handelt sich um eine Reihe von Praktiken zur Erstellung, Evaluierung, Bereitstellung, Steuerung, Beobachtung und Verbesserung von AI-Agenten, sobald sie live sind, sowie um die operative Disziplin, die dafür sorgt, dass ein System zuverlässig logische Schlüsse zieht, Tools nutzt und Maßnahmen ergreift.
Weil zwischen dem Eingang einer Anfrage und der Ausgabe einer Antwort so viel passieren kann: Tool-Aufrufe, Datenabrufe, Berechtigungsprüfungen, Wiederholungsversuche und Orchestrierung. Jeder dieser Schritte wirkt sich auf Qualität, Risiko, Latenz oder Kosten aus, und keiner davon fällt auf, wenn Sie nur die endgültige Ausgabe des Modells betrachten.
Agenten-Landschaften und Anti-Patterns, Bereitstellungsarchitekturen, eine siebenphasige Projekt-Pipeline, Evaluierungs- und Feedbackschleifen, für nicht-deterministische Systeme angepasste DevOps-Praktiken, wirkungsvolle Planungsaktivitäten und Stakeholder-Management.
Wählen Sie einen eng umgrenzten Anwendungsfall mit messbaren Erfolgskriterien. Erstellen Sie ein Evaluierungsset aus realen Beispielen, verfolgen Sie, was der Agent tatsächlich tut, wenden Sie eine Governance mit minimalen Berechtigungen an und einigen Sie sich auf einen Betriebsrhythmus, bevor Sie zu einer komplexeren Orchestrierung übergehen.
(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag
Abonnieren Sie unseren Blog und erhalten Sie die neuesten Beiträge direkt in Ihren Posteingang.