Spark Muse 1.1 de Meta est désormais disponible sur Databricks, entièrement gouverné par Unity AI Gateway

Chaque nouvelle version de modèle promet un meilleur raisonnement, des coûts réduits ou de nouvelles capacités, et les développeurs veulent y accéder dès le premier jour. Mais chaque fournisseur introduit également un nouvel ensemble de clés API, une autre intégration et une autre surface de gouvernance à gérer pour les équipes de plateforme. Sans un moyen centralisé de gouverner tous les fournisseurs de modèles, l'accès devient fragmenté, les clés API se multiplient et la visibilité sur l'utilisation et les dépenses disparaît.

Aujourd'hui, nous annonçons la prise en charge de la nouvelle version Muse Spark 1.1 de Meta sur Databricks via les nouveaux Model Provider Services (MPS) dans Unity AI Gateway. MPS vous permet de connecter et de gouverner les fournisseurs de modèles, y compris OpenAI, Anthropic, Amazon Bedrock et les modèles récemment publiés comme Muse Spark 1.1, via Unity Catalog. Vous pouvez désormais enregistrer les modèles une seule fois, contrôler l'accès à l'aide des autorisations familières de Unity Catalog et permettre à chaque équipe d'effectuer des requêtes via Unity AI Gateway avec une gouvernance et une observabilité complètes en place.

Dans cet article, nous utiliserons Muse Spark 1.1 pour montrer comment les organisations peuvent adopter un modèle récemment publié dès le premier jour sans compromettre la gouvernance ni la sécurité.

Le déficit de gouvernance de l'IA lors du lancement de nouveaux modèles

Imaginons que votre équipe souhaite utiliser Muse Spark 1.1 le jour de sa sortie. Une équipe crée un compte fournisseur et commence à développer avec. Une autre équipe demande sa propre clé API. Rapidement, plusieurs copies de la même clé se retrouvent dispersées dans des notebooks, des applications et des pipelines CI/CD, chacune étant gérée indépendamment. Le contrôle d'accès est tout aussi fragmenté car il n'existe pas de moyen cohérent de dire « ces trois équipes peuvent utiliser le modèle premium, tous les autres utilisent le modèle standard ».

Du côté de l'administrateur de la plateforme, il n'y a pas de vue unifiée des dépenses, pas d'attribution au niveau du jeton, pas d'historique des prompts qui ont quitté l'entreprise, et aucun endroit pour appliquer une règle avant qu'une requête n'atteigne un fournisseur de modèles. Lorsque le service financier demande pourquoi la facture Meta a triplé, vous pouvez voir le total dans la console de Meta, mais pas quelle équipe ou quel espace de travail en est à l'origine dans un rapport centralisé unique.

Ce schéma ne s'applique pas uniquement à Muse Spark, car c'est le même défi auquel les organisations sont confrontées chaque fois qu'elles adoptent un nouveau modèle.

La solution : Model Provider Services dans Unity AI Gateway

Un Model Provider Service est un objet sécurisable gouverné de Unity Catalog qui représente un fournisseur externe. Il réside dans un catalogue et un schéma, et contient la configuration de connexion et la clé API du fournisseur. Les appelants référencent le service par son nom et s'authentifient avec leurs propres identifiants Databricks ; la passerelle joint la clé API du fournisseur au moment de la requête. La clé API est stockée via une connexion Unity Catalog, chiffrée avec une clé gérée par la plateforme ou par le client, et n'est jamais exposée directement aux clients consommateurs.

Une fois qu'un service de fournisseur de modèles est enregistré dans Unity Catalog, votre organisation bénéficie de trois avantages : le choix, le contrôle et la clarté.

• Le choix — adoptez n'importe quel modèle, puis changez librement : Définissez un fournisseur et sa clé API une seule fois et mettez-les à la disposition de chaque équipe dans chaque espace de travail. Accédez aux modèles nouvellement lancés dès le premier jour et passez d'un modèle à l'autre au sein d'un même fournisseur. Basculez rapidement entre les modèles compatibles OpenAI d'un fournisseur à l'autre pour les cas d'usage d'évaluation et de production.
• Le contrôle — gouvernez l'accès en un seul endroit : Le service est de premier ordre, vous gouvernez donc les autorisations avec les commandes standards GRANT et REVOKE : EXECUTE pour interroger, READ_METADATA pour afficher et MANAGE pour mettre à jour le service. Associez des limites de débit et des politiques de service au service de fournisseur de modèles, afin que la régulation et les garde-fous s'appliquent à chaque requête de modèle.
• La clarté — visualisez et comptabilisez chaque requête : Le suivi de l'utilisation et des dépenses est activé par défaut, de sorte que chaque requête est mesurée avec le nombre de jetons, la latence et les codes d'état pour une attribution précise des coûts par utilisateur, équipe ou application. Associez des tables d'inférence pour consigner l'intégralité des charges utiles de requête et de réponse dans une table Delta gouvernée à des fins de dépannage ou d'audit.

Figure 1. Enregistrez un fournisseur une seule fois dans Unity Catalog ; chaque équipe et fournisseur est gouverné via une passerelle unique.

Comment ça marche

Enregistrons le modèle Muse Spark 1.1 hébergé en externe en tant que Model Provider Service, verrouillons les personnes autorisées à l'utiliser, activons la surveillance et interrogeons-le de bout en bout.

Enregistrer le fournisseur

Pour utiliser Muse Spark 1.1 sur Databricks, vous devez d'abord l'enregistrer dans Unity Catalog. Obtenez votre clé API Muse Spark à partir de l'API Model de Meta, actuellement en Public Preview. Comme Muse Spark est compatible avec l'API OpenAI Responses, vous pouvez l'enregistrer en utilisant le type de fournisseur OpenAI pour vous connecter directement à l'API de Meta.

Enregistrez-le dans l'interface utilisateur de Unity Catalog : Catalog Explorer → Créer → Créer un service → Service de fournisseur de modèles, choisissez OpenAI, collez la clé Meta en tant que clé API, https://api.meta.ai/v1 comme URL de base, ajoutez muse-spark-1.1 comme modèle et définissez le type d'API du modèle sur /openai/v1/responses.

Une fois le fournisseur enregistré, deux contrôles de sécurité clés sont appliqués. Premièrement, la clé API est stockée de manière chiffrée dans Unity Catalog. Deuxièmement, la liste des modèles définit strictement quels modèles et surfaces d'API sont exposés, so toute requête pour un modèle non répertorié est interceptée et rejetée au niveau de la passerelle avant d'atteindre Meta.

Accorder l'accès

Le service est un objet sécurisable de Unity Catalog, vous le gouvernez donc en utilisant les mêmes principes que vous appliquez à tout autre objet. Pour l'interroger, un appelant a besoin du privilège EXECUTE sur le service ainsi que de USE CATALOG et USE SCHEMA sur son parent. Le créateur du service ou les administrateurs disposant de l'autorisation MANAGE sur le service peuvent accorder ces privilèges.

Pour accorder l'accès :

1. Dans Catalog Explorer, ouvrez le service de fournisseur de modèles.
2. Dans l'onglet Permissions, cliquez sur Grant.
3. Sélectionnez les utilisateurs ou les groupes auxquels accorder l'accès, sélectionnez le privilège EXECUTE, puis cliquez sur Grant.

Interroger le modèle

Figure 2. Une seule requête : la passerelle vérifie l'accès, applique les limites de débit et les politiques, oriente vers Muse Spark et enregistre l'utilisation.

Comme Muse Spark utilise l'API OpenAI Responses, pointez n'importe quel client compatible OpenAI vers la passerelle et définissez un en-tête pour la requête :

L'en-tête supplémentaire permet à Unity AI Gateway d'identifier le service de fournisseur de modèles et de valider les privilèges de l'appelant. Une fois les privilèges validés, la passerelle résoudra la configuration et acheminera la requête vers le modèle externe.

Journaliser, surveiller et encadrer

Unity AI Gateway mesure chaque requête acheminée via le service. Chaque utilisation est signalée dans system.ai_gateway.usage avec le nombre de jetons d'entrée/sortie, la latence et les codes d'état. Les informations sur les dépenses sont enregistrées dans system.ai_gateway.external_model_spend. Ajoutez un en-tête Databricks-Ai-Gateway-Request-Tags pour ventiler les dépenses par projet, et associez des tables d'inférence pour consigner l'intégralité des charges utiles de requête et de réponse dans une table Delta gouvernée à des fins d'audit.

Associez une politique au service pour appliquer des garde-fous à chaque requête, y compris des garde-fous par défaut pour les risques courants tels que les PII, l'injection de prompt et les contenus non sécurisés, ainsi que la possibilité d'ajouter des politiques personnalisées pour vos propres règles. Les garde-fous s'exécutent de manière centralisée au niveau de la passerelle, de sorte que tout prompt non sécurisé est intercepté avant d'atteindre Muse Spark, peu importe qui l'a envoyé. Les limites de débit par service plafonnent la capacité et les coûts.

Prise en main

Les Model Provider Services sont disponibles sur AWS, Azure et GCP. Les administrateurs de compte peuvent activer la version préliminaire sur la page Previews de la console de compte.

Pour aller plus loin, consultez la documentation sur les Model Provider Services, la gouvernance des accès et les requêtes via la passerelle.

Unity AI Gateway apporte du choix, du contrôle et de la clarté pour que votre équipe puisse utiliser le modèle de son choix. Activez la version préliminaire et essayez les Model Provider Services dès aujourd'hui !

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original