Metas Spark Muse 1.1 ist jetzt auf Databricks verfügbar, vollständig verwaltet durch Unity AI Gateway

Jedes neue Modell-Release verspricht besseres Reasoning, geringere Kosten oder neue Funktionen – und Entwickler wollen sofort am ersten Tag Zugriff darauf. Doch jeder Anbieter bringt auch neue API-Schlüssel, eine weitere Integration und eine zusätzliche Governance-Oberfläche mit sich, die von den Plattform-Teams verwaltet werden muss. Ohne eine zentrale Methode zur Governance aller Modellanbieter wird der Zugriff fragmentiert, API-Schlüssel verbreiten sich unkontrolliert und die Transparenz über Nutzung und Ausgaben geht verloren.

Heute kündigen wir die Unterstützung für Metas neues Muse Spark 1.1 auf Databricks über die neuen Model Provider Services (MPS) im Unity AI Gateway an. Mit MPS können Sie Modellanbieter wie OpenAI, Anthropic, Amazon Bedrock und neu veröffentlichte Modelle wie Muse Spark 1.1 über Unity Catalog verbinden und steuern. Jetzt können Sie Modelle einmalig registrieren, den Zugriff über die vertrauten Unity Catalog-Berechtigungen steuern und jedem Team erlauben, Abfragen über das Unity AI Gateway mit vollständiger Governance und Observability durchzuführen.

In diesem Beitrag zeigen wir am Beispiel von Muse Spark 1.1, wie Unternehmen ein neu veröffentlichtes Modell vom ersten Tag an einführen können, ohne Kompromisse bei Governance oder Sicherheit einzugehen.

Die KI-Governance-Lücke bei der Einführung neuer Modelle

Angenommen, Ihr Team möchte Muse Spark 1.1 direkt am Tag der Veröffentlichung nutzen. Ein Team erstellt ein Anbieterkonto und beginnt mit der Entwicklung. Ein anderes Team fordert einen eigenen API-Schlüssel an. Schon bald sind mehrere Kopien desselben Schlüssels über Notebooks, Anwendungen und CI/CD-Pipelines verteilt und werden jeweils unabhängig voneinander verwaltet. Die Zugriffskontrolle ist ebenso fragmentiert, da es keine einheitliche Möglichkeit gibt festzulegen: „Diese drei Teams dürfen das Premium-Modell nutzen, alle anderen das Standardmodell.“

Aufseiten der Plattform-Administratoren gibt es weder eine einheitliche Sicht auf die Ausgaben noch eine Zuordnung auf Token-Ebene, keine Aufzeichnung darüber, welche Prompts das Unternehmen verlassen haben, und keine Stelle, an der Regeln durchgesetzt werden können, bevor eine Anfrage den Modellanbieter erreicht. Wenn die Finanzabteilung fragt, warum sich die Meta-Rechnung verdreifacht hat, sehen Sie zwar den Gesamtbetrag in der Meta-Konsole, aber in keinem einzigen zentralen Bericht, welches Team oder welcher Workspace dafür verantwortlich war.

Dieses Muster gilt nicht nur für Muse Spark – es ist dieselbe Herausforderung, vor der Unternehmen jedes Mal stehen, wenn sie ein neues Modell einführen.

Die Lösung: Model Provider Services im Unity AI Gateway

Ein Model Provider Service ist ein geschütztes Unity Catalog-Sicherheitsobjekt (Securable), das einen externen Anbieter repräsentiert. Es befindet sich in einem Katalog und Schema und enthält die Verbindungskonfiguration sowie den API-Schlüssel des Anbieters. Aufrufer referenzieren den Dienst über seinen Namen und authentifizieren sich mit ihren eigenen Databricks-Anmeldedaten. Das Gateway fügt den API-Schlüssel des Anbieters zum Zeitpunkt der Anfrage hinzu. Der API-Schlüssel wird über eine Unity Catalog-Verbindung gespeichert, mit einem plattformseitig oder vom Kunden verwalteten Schlüssel verschlüsselt und niemals direkt an die Client-Konsumenten weitergegeben.

Sobald ein Model Provider Service in Unity Catalog registriert ist, profitiert Ihr Unternehmen von drei Vorteilen: Flexibilität (Choice), Kontrolle (Control) und Transparenz (Clarity).

• Flexibilität – jedes Modell nutzen und frei wechseln: Definieren Sie einen Anbieter und seinen API-Schlüssel einmalig und stellen Sie ihn jedem Team in jedem Workspace zur Verfügung. Greifen Sie vom ersten Tag an auf neu eingeführte Modelle zu und wechseln Sie flexibel zwischen den Modellen eines Anbieters. Wechseln Sie für Evaluierungs- und Produktions-Use-Cases schnell zwischen OpenAI-kompatiblen Modellen verschiedener Anbieter.
• Kontrolle – Zugriff an einem zentralen Ort steuern: Der Dienst ist ein First-Class-Objekt, sodass Sie Berechtigungen mit den Standardbefehlen GRANT und REVOKE verwalten können: EXECUTE für Abfragen, READ_METADATA zum Anzeigen und MANAGE zum Aktualisieren des Dienstes. Verknüpfen Sie Ratenbegrenzungen (Rate Limits) und Dienstrichtlinien mit dem Model Provider Service, sodass Throttling und Guardrails für jede Modellanfrage gelten.
• Transparenz – jede Anfrage erfassen und abrechnen: Die Nachverfolgung von Nutzung und Ausgaben ist standardmäßig aktiviert. Jede Anfrage wird mit Token-Anzahl, Latenz und Statuscodes erfasst, um eine genaue Kostenzuordnung pro Benutzer, Team oder App zu ermöglichen. Verknüpfen Sie Inference-Tabellen, um die vollständigen Anfrage- und Antwort-Payloads in einer kontrollierten Delta-Tabelle für die Fehlerbehebung oder Audits zu protokollieren.

Figure 1. Registrieren Sie einen Anbieter einmal in Unity Catalog; jedes Team und jeder Anbieter wird über ein einziges Gateway verwaltet.

So funktioniert es

Registrieren wir das extern gehostete Modell Muse Spark 1.1 als Model Provider Service, schränken wir den Zugriff ein, aktivieren wir das Monitoring und fragen wir es End-to-End ab.

Registrieren des Anbieters

Um Muse Spark 1.1 auf Databricks nutzen zu können, müssen Sie es zuerst in Unity Catalog registrieren. Rufen Sie Ihren Muse Spark-API-Schlüssel von Metas Modell-API ab, die sich derzeit in der Public Preview befindet. Da Muse Spark mit der OpenAI-Responses-API kompatibel ist, können Sie es über den OpenAI-Anbietertyp registrieren, um eine direkte Verbindung zur API von Meta herzustellen.

Registrieren Sie es in der Unity Catalog-Benutzeroberfläche (UI): Catalog Explorer → Create → Create a service → Model provider service, wählen Sie OpenAI, fügen Sie den Meta-Schlüssel als API key ein, https://api.meta.ai/v1 als Base URL, fügen Sie muse-spark-1.1 als Modell hinzu und legen Sie den API-Typ des Modells auf /openai/v1/responses fest.

Sobald der Anbieter registriert ist, greifen zwei wichtige Sicherheitskontrollen. Erstens wird der API-Schlüssel verschlüsselt in Unity Catalog gespeichert. Zweitens definiert die Modellliste strikt, welche Modelle und API-Oberflächen freigegeben sind, sodass jede Anfrage für ein nicht gelistetes Modell am Gateway abgefangen und abgewiesen wird, noch bevor sie Meta erreicht.

Zugriff gewähren

Der Dienst ist ein Unity Catalog-Sicherheitsobjekt (Securable), sodass Sie ihn nach denselben Prinzipien verwalten wie jedes andere Objekt. Um ihn abzufragen, benötigt ein Aufrufer EXECUTE für den Dienst sowie USE CATALOG und USE SCHEMA für das übergeordnete Objekt. Der Ersteller des Dienstes oder Administratoren mit der Berechtigung MANAGE für den Dienst können diese Rechte gewähren.

Zugriff gewähren:

1. Öffnen Sie im Catalog Explorer den Model Provider Service.
2. Klicken Sie auf der Registerkarte Permissions auf Grant.
3. Wählen Sie die Benutzer oder Gruppen aus, denen Sie Zugriff gewähren möchten, wählen Sie das EXECUTE-Privileg aus und klicken Sie auf Grant.

Das Modell abfragen

Figure 2. Eine einzelne Anfrage: Das Gateway prüft den Zugriff, wendet Ratenbegrenzungen und Richtlinien an, leitet an Muse Spark weiter und protokolliert die Nutzung.

Da Muse Spark die OpenAI-Responses-API unterstützt, können Sie jeden OpenAI-kompatiblen Client auf das Gateway ausrichten und einen Header für die Abfrage festlegen:

Der zusätzliche Header ermöglicht es dem Unity AI Gateway, den Model Provider Service zu identifizieren und die Berechtigungen des Aufrufers zu validieren. Sobald die Berechtigungen validiert sind, löst das Gateway die Konfiguration auf und leitet die Anfrage an das externe Modell weiter.

Protokollieren, überwachen und absichern

Das Unity AI Gateway erfasst jede über den Dienst geleitete Anfrage. Jede Nutzung wird in system.ai_gateway.usage mit der Anzahl der Input-/Output-Token, der Latenz und den Statuscodes gemeldet. Ausgabeninformationen werden in system.ai_gateway.external_model_spend aufgezeichnet. Fügen Sie einen Databricks-Ai-Gateway-Request-Tags-Header hinzu, um die Ausgaben nach Projekt aufzuschlüsseln, und verknüpfen Sie Inference-Tabellen, um die vollständigen Anfrage- und Antwort-Payloads in einer kontrollierten Delta-Tabelle für Audits zu protokollieren.

Verknüpfen Sie eine Richtlinie mit dem Dienst, um Guardrails für jede Anfrage durchzusetzen. Dazu gehören Standard-Guardrails für häufige Risiken wie PII, Prompt-Injection und unsichere Inhalte sowie die Möglichkeit, benutzerdefinierte Richtlinien für Ihre eigenen Regeln hinzuzufügen. Guardrails werden zentral am Gateway ausgeführt, sodass jeder unsichere Prompt abgefangen wird, bevor er Muse Spark erreicht – unabhängig davon, wer ihn gesendet hat. Dienstspezifische Rate Limits begrenzen Kapazität und Kosten.

Erste Schritte

Model Provider Services sind auf AWS, Azure und GCP verfügbar. Konto-Administratoren können die Preview auf der Seite Previews der Kontokonsole aktivieren.

Weitere Informationen finden Sie in der Dokumentation zu Model Provider Services, zur Zugriffssteuerung und zum Abfragen über das Gateway.

Unity AI Gateway bietet Flexibilität, Kontrolle und Transparenz, sodass Ihr Team jedes gewünschte Modell verwenden kann. Aktivieren Sie die Preview und testen Sie Model Provider Services noch heute!

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag