par Louis Rottmeier, Maximilian Fest, Michael Boesl, Michael Weber, Martin Gindler et Kelly Albano
À mesure que l'adoption de l'IA progressait, les équipes d'AUMOVIO ont développé différentes façons d'accéder aux grands modèles de langage. Aujourd'hui, Databricks Unity Gateway fournit un point d'entrée partagé pour nos charges de travail d'IA. Cet article de blog explique comment nous avons unifié ces approches.
Les équipes d'AUMOVIO ont développé différentes méthodes pour accéder aux LLM, notamment des intégrations de fournisseurs et des passerelles conçues pour des cas d'usage spécifiques. Toutes ces approches répondaient à des besoins réels, mais avec l'essor de l'IA, leur diversité a complexifié les opérations, l'imputation des coûts et la gouvernance globale.
Les principales opportunités d'amélioration étaient les suivantes :
Ensemble, ces approches ont mis en évidence la valeur d'un modèle opérationnel partagé pour gérer nos charges de travail d'IA avec une solution de passerelle d'IA unique
L'équipe de crise pluridisciplinaire dédiée à l'IA d'AUMOVIO a rassemblé des parties prenantes issues de la sécurité, de la protection des données, des métiers et de l'informatique. Elle a opté pour une passerelle d'IA centrale comme point d'accès et de gouvernance partagé pour les LLM, établissant ainsi une orientation commune pour l'accès aux modèles dans toute l'entreprise.
À partir de là, notre mission consistait à rendre ce chemin central utile pour les équipes et leurs applications.

Créer une passerelle d'IA est assez simple, mais en assurer l'exploitation en tant que service d'entreprise représente un engagement permanent : les API des fournisseurs changent, les dépendances doivent être corrigées, les exigences de sécurité évoluent et les utilisateurs ont besoin d'assistance. Dès lors que des applications en dépendent, une passerelle nécessite une feuille de route, une astreinte et un processus de support. En comparant cela à l'achat d'une énième passerelle d'IA, cinq arguments ont fini par nous convaincre que Databricks Unity Gateway était la bonne solution pour nous.
1. Databricks était déjà notre plateforme de données. 1ADP, la plateforme de données unique d'AUMOVIO, fonctionne sur Databricks. Placer l'accès aux modèles à côté de nos données d'entreprise gouvernées signifiait l'absence de nouveau fournisseur, aucun nouveau chemin réseau à auditer et aucune pile isolée à exploiter.
2. Intégration de l'identité d'entreprise. Databricks est intégré à notre locataire Microsoft Entra ID d'entreprise, et les autres applications AUMOVIO s'authentifient auprès de ce même locataire. Une application présente son jeton Entra ID et accède à Unity Gateway par échange de jetons, sans compte distinct, sans clé API à distribuer et sans intégration sur mesure. Intégrer une nouvelle application compatible avec l'IA ne requiert qu'une attribution de permissions, et l'accès à chaque modèle se coupe automatiquement dès que l'identité d'entreprise expire.
3. Gouvernance et suivi de l'utilisation. Les approbations de modèles, les politiques d'accès, le suivi de l'utilisation et la journalisation sont centralisés au même endroit au lieu d'être réimplémentés pour chaque application. La journalisation des charges utiles via des tables d'inférence est désactivée par défaut et activée uniquement sur justification explicite et approuvée, ce qui correspond à la posture exigée par nos accords de protection des données.
4. Nous sommes restés libres de choisir nos fournisseurs. C'est le point le plus important. Nous publions un catalogue organisé d'alias de modèles 1adp-*, et Unity Gateway achemine chaque alias vers le fournisseur qui le prend en charge : modèles de fondation hébergés par Databricks, Google Vertex AI, Azure OpenAI, AWS Bedrock ou d'autres. Les utilisateurs codent en utilisant un nom stable et neutre vis-à-vis du fournisseur, et nous pouvons réorienter ce nom vers un autre fournisseur ou un modèle plus récent sans qu'un seul consommateur n'ait à modifier une ligne de code. Les alias offrent aux équipes un moyen cohérent d'accéder aux modèles approuvés.
5. La configuration repose sur l'infrastructure en tant que code. Terraform exprime tout ce que Unity Gateway fait pour nous : les points de terminaison associés à chaque alias 1adp-*, le fournisseur vers lequel chaque modèle est acheminé, l'ordre de basculement en cas de dégradation d'un fournisseur, les limites de débit et les garde-fous appliqués par point de terminaison. Ajouter un modèle, réorienter un alias ou renforcer un contrôle de sécurité se fait via une pull request, qui est examinée, versionnée et reproductible d'un environnement à l'autre. En cas de dysfonctionnement en production, notre gestion des versions explique quelle configuration en est la cause. Comme nous provisionnons le reste d'1ADP de la même manière, la passerelle constitue simplement un module supplémentaire pour les ingénieurs qui gèrent déjà la plateforme.
Centraliser l'accès aux modèles constituait la première étape. Nous avons ensuite développé trois fonctionnalités au-dessus d'Unity Gateway pour accompagner nos équipes dans la gestion, l'accès et l'utilisation de l'IA :
Imputation des coûts et refacturation. Unity Gateway indique le nombre de jetons consommés, et chaque utilisateur associe sa consommation à un centre de coûts personnel ou à l'un des projets sur lesquels il travaille. Des pipelines associent cette affectation aux tables système de Databricks et imputent l'utilisation au bon centre de coûts. Nous publions le résultat sous forme de tableaux de bord : quels modèles sont utilisés, par qui, comment évolue la consommation et combien cela coûte. Les responsables de budget peuvent ainsi suivre leurs dépenses et identifier les variations de consommation.
Un catalogue de modèles organisé. Un accès standardisé ne rend pas les modèles interchangeables. Le catalogue sert de source unique de vérité pour identifier les modèles approuvés, leur correspondance et le niveau de consommation dans lequel ils s'exécutent. Les équipes testent toujours leur application avec le modèle de leur choix, mais elles n'ont plus besoin de construire d'infrastructure pour y accéder.
Une interface pour les employés. L'application d'IA 1ADP s'exécute en production sur la même passerelle et offre aux employés un moyen gouverné d'utiliser l'IA sans écrire de code. Les développeurs disposent d'un point de terminaison compatible avec OpenAI et peuvent pointer des outils de codage d'agents compatibles vers les modèles centraux. Même infrastructure, deux publics : nous standardisons l'accès aux modèles tout en laissant le choix de l'interface de développement ouvert.
Unity Gateway fournit une voie d'accès partagée aux LLM. Les alias 1adp-* connectent les applications aux modèles, les garde-fous s'appliquent de manière centralisée et l'utilisation est imputée aux centres de coûts presque en temps réel.
La phase suivante consiste à s'élever dans la pile de la plateforme d'IA : le partage d'agents au sein des projets 1ADP et la connexion de sources de connaissances, de recherches sur le web et d'autres outils via des connexions MCP (Model Context Protocol) gérées et personnalisées. L'accès aux modèles reste centralisé ; ce qui change, c'est la gamme d'outils qu'un agent peut atteindre. Cela soulève des questions quant aux éléments qu'un agent est autorisé à récupérer, aux outils qu'il peut appeler et sous les permissions de qui il agit. Avoir un cadre unique pour y répondre est précisément la raison pour laquelle nous avons procédé à cette consolidation.
Si vous rassemblez différentes approches d'accès aux modèles, impliquez la sécurité, la protection des données, les métiers et l'informatique dans le modèle opérationnel. Veillez ensuite à ce que le service partagé soit utile aux équipes censées l'utiliser.
Lorsque vous comparez la création à l'achat, évaluez le coût sur la décennie plutôt que sur le prototype. Demandez-vous qui corrige l'intégration du fournisseur, qui répond au ticket de support, qui gère l'incident et qui recommencera l'année prochaine.
Déterminez ensuite ce qu'il est légitimement pertinent de développer vous-même. La passerelle ne l'était pas. L'imputation des coûts, le catalogue de modèles et l'application d'IA destinée aux employés l'étaient, car ils traduisent la manière dont AUMOVIO fonctionne et aucun fournisseur n'allait nous les fournir clés en main.
Nous restons responsables de notre architecture, de nos décisions de sécurité et de la qualité de nos applications. Unity Gateway fournit le service d'accès aux modèles partagés, tandis que les équipes peuvent continuer à choisir les applications qu'elles développent.
AUMOVIO a choisi Databricks Unity Gateway pour centraliser l'accès aux modèles d'IA sans avoir à gérer la maintenance, les mises à jour de sécurité et la charge opérationnelle liées à la création de sa propre passerelle. Comme Databricks alimentait déjà sa plateforme de données d'entreprise, AUMOVIO a pu réutiliser son infrastructure existante, l'intégration Microsoft Entra ID et les contrôles de gouvernance. Cela a permis à ses équipes de se concentrer sur le développement de fonctionnalités spécifiques à l'entreprise, telles que l'attribution des coûts, un catalogue de modèles sélectionnés et une application d'IA destinée aux employés.
Databricks Unity Gateway offre un point d'entrée unique et régi pour accéder aux modèles d'IA de différents fournisseurs tels que Azure OpenAI, Google Vertex AI, AWS Bedrock et les modèles hébergés sur Databricks. AUMOVIO utilise des approbations de modèles centralisées, des politiques d'accès, la journalisation et des garde-fous pour appliquer une gouvernance cohérente dans toutes les applications. Ses alias de modèles sélectionnés permettent également aux administrateurs de modifier le modèle ou le fournisseur sous-jacent sans avoir à modifier le code de l'application.
Unity Gateway fournit des données sur l'utilisation des jetons que les entreprises peuvent utiliser pour suivre la consommation d'IA selon les modèles et les utilisateurs. AUMOVIO associe ces données provenant des tables système de Databricks à des attributions de projets et de centres de coûts pour imputer les dépenses d'IA aux propriétaires d'entreprise appropriés. Des tableaux de bord offrent une visibilité en quasi-temps réel sur l'utilisation des modèles, les tendances de consommation et les coûts, prenant en charge la refacturation interne et le contrôle du budget.
Databricks Unity Gateway offre un accès centralisé aux modèles via un point de terminaison compatible avec OpenAI, ce qui évite aux développeurs d'avoir à gérer des intégrations de fournisseurs distinctes. Chez AUMOVIO, les applications s'authentifient par échange de jetons Microsoft Entra ID, éliminant ainsi le besoin de distribuer des clés API individuelles. Les développeurs peuvent utiliser des modèles approuvés via des agents de codage et des applications compatibles, tandis que l'informatique gère les autorisations et les connexions aux fournisseurs de manière centralisée.
Une passerelle d'IA centralisée simplifie l'accès à plusieurs modèles tout en regroupant la gouvernance, la visibilité des coûts et la gestion opérationnelle au sein d'un même service partagé. AUMOVIO utilise Unity Gateway pour prendre en charge à la fois les applications d'IA destinées aux employés et les outils de développement via la même infrastructure. Sa prochaine phase étendra cette approche aux agents d'IA partagés et aux connexions MCP, en mettant l'accent sur la gouvernance de l'accès aux outils et des autorisations.
(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original
Abonnez-vous à notre blog et recevez les derniers articles directement dans votre boîte mail.