von Louis Rottmeier, Maximilian Fest, Michael Boesl, Michael Weber, Martin Gindler und Kelly Albano
Mit der zunehmenden Verbreitung von KI entwickelten die Teams bei AUMOVIO verschiedene Wege, um auf große Sprachmodelle zuzugreifen. Heute bietet das Databricks Unity Gateway einen gemeinsamen Einstiegspunkt für unsere KI-Workloads. In diesem Blogbeitrag wird erläutert, wie wir diese Ansätze zusammengeführt haben.
Die Teams bei AUMOVIO entwickelten verschiedene Methoden für den Zugriff auf LLMs, einschließlich Anbieterintegrationen und Gateways, die für spezielle Anwendungsfälle entwickelt wurden. Diese Ansätze deckten echte Anforderungen ab, aber mit der zunehmenden Verbreitung von KI führte ihre Vielfalt zu mehr Komplexität beim Betrieb, bei der Kostenzuordnung und bei einer konsistenten Governance.
Die Hauptansatzpunkte für Verbesserungen waren:
Zusammengenommen verdeutlichten diese Ansätze den Wert eines gemeinsamen Betriebsmodells zur Verwaltung unserer KI-Workloads mit einer einzigen AI-Gateway-Lösung
Die funktionsübergreifende KI-Taskforce von AUMOVIO brachte Interessenvertreter aus den Bereichen Sicherheit, Datenschutz, Geschäftsbereiche und IT zusammen. Die Taskforce entschied sich für ein zentrales AI Gateway als gemeinsamen Pfad für den LLM-Zugriff und die Governance und legte damit eine gemeinsame Richtung für den Modellzugriff im gesamten Unternehmen fest.
Von da an bestand unsere Aufgabe darin, diesen zentralen Pfad für die Teams und ihre Anwendungen nutzbar zu machen.

Der Aufbau eines AI Gateways ist unkompliziert, aber der Betrieb als Enterprise-Service ist eine dauerhafte Verpflichtung: Anbieter-APIs ändern sich, Abhängigkeiten müssen gepatcht werden, die Sicherheitsanforderungen entwickeln sich weiter und Benutzer benötigen Support. Sobald Anwendungen davon abhängen, benötigt ein Gateway eine Roadmap, eine Rufbereitschaft und einen Support-Prozess. Wenn man dies gegen den Kauf eines weiteren AI Gateways abwägt, waren es fünf Argumente, warum Databricks Unity Gateway die richtige Lösung für uns war.
1. Databricks war bereits unsere Datenplattform. 1ADP, die One AUMOVIO Data Platform, läuft auf Databricks. Die Platzierung des Modellzugriffs direkt neben unseren abgesicherten Unternehmensdaten bedeutete keinen neuen Anbieter, keinen neuen zu prüfenden Netzwerkpfad und keinen isolierten Stack, der betrieben werden müsste.
2. Integration der Unternehmensidentität. Databricks ist in unseren Microsoft Entra ID-Mandanten im Unternehmen integriert, und andere AUMOVIO-Anwendungen authentifizieren sich gegen denselben Mandanten. Eine Anwendung präsentiert ihr Entra ID-Token und erhält über den Token-Austausch Zugriff auf das Unity Gateway – ohne separates Konto, ohne zu verteilende API-Schlüssel und ohne maßgeschneiderte Integration. Das Onboarding einer neuen KI-fähigen Anwendung erfordert eine Berechtigungsvergabe, und der Zugriff auf jedes Modell endet automatisch mit dem Ablauf der Unternehmensidentität.
3. Governance und Nutzungserfassung. Modellfreigaben, Zugriffsrichtlinien, Nutzungserfassung und Protokollierung befinden sich an einem Ort, anstatt für jede Anwendung neu implementiert zu werden. Die Protokollierung von Nutzdaten über Inferenztabellen ist standardmäßig deaktiviert und wird nur mit einer ausdrücklichen, genehmigten Begründung aktiviert, was den Anforderungen unserer Datenschutzvereinbarungen entspricht.
4. Wir blieben frei in der Wahl der Anbieter. Das war uns am wichtigsten. Wir veröffentlichen einen kuratierten Katalog von 1adp-*-Modellaliasen, und das Unity Gateway leitet jeden Alias an den jeweiligen Anbieter weiter, der ihn bereitstellt: von Databricks gehostete Foundation-Modelle, Google Vertex AI, Azure OpenAI, AWS Bedrock oder andere. Benutzer programmieren gegen einen stabilen, anbieterneutralen Namen, und wir können diesen Namen auf einen anderen Anbieter oder ein neueres Modell verweisen, ohne dass ein einziger Consumer eine Zeile Code ändern muss. Die Aliase bieten Teams einen konsistenten Weg zu genehmigten Modellen.
5. Das Setup erfolgt als Infrastructure as Code. Terraform bildet alles ab, was das Unity Gateway für uns tut: die Endpunkte hinter jedem 1adp-*-Alias, den Anbieter, an den jedes Modell weitergeleitet wird, die Fallback-Reihenfolge bei Leistungseinbußen eines Anbieters, Ratenlimits und die pro Endpunkt angewendeten Leitplanken. Das Hinzufügen eines Modells, das Umleiten eines Alias oder das Verschärfen einer Sicherheitskontrolle erfolgt über einen Pull Request, der geprüft, mit einer Version versehen und über Umgebungsgrenzen hinweg reproduzierbar ist. Wenn die Produktion nicht wie gewünscht funktioniert, zeigt unsere Versionskontrolle genau die Konfiguration, die dies verursacht hat. Da wir den Rest von 1ADP auf dieselbe Weise bereitstellen, ist das Gateway ein weiteres Modul für die Ingenieure, die die Plattform bereits betreiben.
Die Zentralisierung des Modellzugriffs war der erste Schritt. Wir haben dann drei Funktionen auf dem Unity Gateway aufgebaut, um zu unterstützen, wie unsere Teams KI verwalten, darauf zugreifen und sie nutzen:
Kostenzuordnung und Chargeback. Das Unity Gateway berichtet, wie viele Token verbraucht wurden, und jeder Benutzer weist seinen Verbrauch einer persönlichen Kostenstelle oder einem der Projekte zu, an denen er arbeitet. Pipelines verknüpfen diese Zuordnung mit Databricks-Systemtabellen und belasten die Nutzung der jeweiligen Kostenstelle. Wir veröffentlichen das Ergebnis in Form von Dashboards: welche Modelle verwendet werden, von wem, wie sich der Verbrauch entwickelt und was er kostet. Budgetverantwortliche können ihre Ausgaben einsehen und Veränderungen im Verbrauch erkennen.
Ein kuratierter Modellkatalog. Ein standardisierter Zugriff macht Modelle nicht austauschbar. Der Katalog ist die zentrale Informationsquelle für die Frage, welche Modelle genehmigt sind, worauf sie abgebildet werden und in welcher Verbrauchs-Tier sie laufen. Teams testen ihre Anwendung nach wie vor mit dem von ihnen gewählten Modell, müssen dafür jedoch keine eigene Infrastruktur mehr bereitstellen.
Eine Benutzeroberfläche für Mitarbeiter. Die 1ADP AI App läuft in der Produktion auf demselben Gateway und bietet Mitarbeitern eine geregelte Möglichkeit, KI ohne Programmieraufwand zu nutzen. Entwickler erhalten einen OpenAI-kompatiblen Endpunkt und können kompatible Tools für das agentenbasierte Programmieren auf die zentralen Modelle ausrichten. Dieselbe Infrastruktur, zwei Zielgruppen: Wir standardisieren den Modellzugriff und lassen die Wahl der Entwicklungsoberfläche offen.
Das Unity Gateway bietet einen gemeinsamen Pfad für den LLM-Zugriff. Die 1adp-*-Aliase verbinden Anwendungen mit Modellen, Leitplanken greifen zentral, und die Nutzung wird fast in Echtzeit Kostenstellen zugeordnet.
Die nächste Phase führt höher im AI-Platform-Stack: das Teilen von Agenten innerhalb von 1ADP-Projektumgebungen und das Verknüpfen von Wissensquellen, Websuche und anderen Tools über verwaltete und Bring-Your-Own MCP-Verbindungen (Model Context Protocol). Der Modellzugriff bleibt zentralisiert; was sich ändert, ist das Spektrum der Tools, die ein Agent erreichen kann. Das wirft Fragen auf bezüglich dessen, was ein Agent abrufen darf, welche Tools er aufrufen darf und unter wessen Berechtigungen er agiert. Genau deshalb haben wir uns überhaupt konsolidiert – um ein einziges Framework für diese Antworten zu haben.
Wenn Sie verschiedene Ansätze für den Modellzugriff zusammenführen, beziehen Sie Sicherheit, Datenschutz, die Geschäftsbereiche und die IT in das Betriebsmodell ein. Sorgen Sie dann dafür, dass der gemeinsame Service für die Teams nützlich ist, die ihn verwenden sollen.
Wenn Sie Eigenbau und Kauf vergleichen, kalkulieren Sie für das gesamte Jahrzehnt und nicht nur für den Prototypen. Fragen Sie, wer die Anbieterintegration patcht, wer das Support-Ticket beantwortet, wer den Vorfall bearbeitet und wer das im nächsten Jahr wieder tut.
Entscheiden Sie dann, was Sie tatsächlich selbst bauen müssen. Das Gateway gehörte nicht dazu. Kostenzuordnung, der Modellkatalog und die für Mitarbeiter gedachte AI App hingegen schon, da sie abbilden, wie AUMOVIO arbeitet, und kein Anbieter uns diese abnehmen konnte.
Wir tragen weiterhin die Verantwortung für unsere Architektur, unsere Sicherheitsentscheidungen und die Qualität unserer Anwendungen. Unity Gateway stellt den gemeinsamen Modellzugriffsdienst bereit, während Teams weiterhin frei wählen können, welche Anwendungen sie entwickeln.
AUMOVIO hat sich für Databricks Unity Gateway entschieden, um den Zugriff auf KI-Modelle zu zentralisieren, ohne den laufenden Wartungsaufwand, die Sicherheitsupdates und den operativen Aufwand für die Entwicklung eines eigenen Gateways tragen zu müssen. Da Databricks bereits die Unternehmensdatenplattform antrieb, konnte AUMOVIO bestehende Infrastrukturen, die Microsoft Entra ID-Integration und Governance-Kontrollen weiterverwenden. Dadurch konnten sich die Teams auf die Entwicklung unternehmensspezifischer Funktionen konzentrieren, wie Kostenverteilung, einen kuratierten Modellkatalog und eine KI-Anwendung für die Mitarbeitenden.
Databricks Unity Gateway bietet einen einzigen, kontrollierten Einstiegspunkt für den Zugriff auf KI-Modelle von Anbietern wie Azure OpenAI, Google Vertex AI, AWS Bedrock und von Databricks gehosteten Modellen. AUMOVIO nutzt zentralisierte Modellfreigaben, Zugriffsrichtlinien, Protokollierung und Schutzmaßnahmen, um eine einheitliche Governance für Anwendungen sicherzustellen. Die kuratierten Modellaliase ermöglichen es Administratoren zudem, das zugrunde liegende Modell oder den Anbieter zu wechseln, ohne den Anwendungscode anpassen zu müssen.
Unity Gateway stellt Token-Nutzungsdaten bereit, mit denen Unternehmen den KI-Verbrauch über verschiedene Modelle und Benutzer hinweg nachverfolgen können. AUMOVIO kombiniert diese Daten aus Databricks-Systemtabellen mit Projekt- und Kostenstellenzuordnungen, um die KI-Ausgaben den entsprechenden Verantwortlichen im Geschäftsbereich zuzuordnen. Dashboards bieten Einblick in Echtzeitnähe zu Modellnutzung, Verbrauchstrends und Kosten und unterstützen so die interne Weiterverrechnung und Budgetüberwachung.
Databricks Unity Gateway bietet zentralisierten Modellzugriff über einen OpenAI-kompatiblen Endpunkt, wodurch Entwickler weniger separate Anbieterintegrationen verwalten müssen. Bei AUMOVIO authentifizieren sich Anwendungen über den Austausch von Microsoft Entra ID-Token, sodass keine einzelnen API-Keys verteilt werden müssen. Entwickler können freigegebene Modelle über kompatible Coding-Agenten und Anwendungen nutzen, während die IT-Abteilung Berechtigungen und Anbieterverbindungen zentral verwaltet.
Ein zentralisiertes KI-Gateway vereinfacht den Zugriff auf mehrere Modelle und bündelt gleichzeitig Governance, Kostentransparenz und Betriebsmanagement in einem gemeinsamen Dienst. AUMOVIO nutzt Unity Gateway, um sowohl KI-Anwendungen für Mitarbeitende als auch Entwicklertools über dieselbe Infrastruktur zu unterstützen. In der nächsten Phase wird dieser Ansatz auf gemeinsame KI-Agenten und MCP-Verbindungen ausgeweitet, wobei der Schwerpunkt auf der Steuerung von Tool-Zugriffen und Berechtigungen liegt.
(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag
Abonnieren Sie unseren Blog und erhalten Sie die neuesten Beiträge direkt in Ihren Posteingang.