Découvrez automatiquement les inefficacités de votre utilisation de l'IA
par Adam Gurary, Alkis Polyzotis et Vishnu Kannan
Lorsqu'il s'agit de réduire les coûts liés à l'IA, les équipes commencent souvent par les budgets ou les modèles open-source. Mais les traces des agents peuvent révéler d'autres opportunités d'économies. Chez Databricks, l'analyse des traces en a mis plusieurs en évidence : les relectures hors ligne n'ont montré aucun gain de performance en passant d'Opus 4.8 à Opus 5, nous sommes donc restés sur la version 4.8, plus économique ; la correction des erreurs MCP courantes a permis de récupérer environ 1,2 million de dollars de coûts par an ; et les traces ont montré que des prompts simples étaient envoyés à des modèles coûteux, ce qui nous a poussés à adopter Smart Routing.
Aujourd'hui, nous présentons Unity Gateway Insights, qui utilise automatiquement Genie pour analyser des millions de traces d'agents ainsi que vos données d'entreprise et votre ontologie. Il met en évidence le gaspillage de tokens : des erreurs MCP récurrentes, des tâches simples exécutées sur des modèles de pointe coûteux, et des flux de travail répétés qui méritent d'être transformés en compétences partagées, le tout dans le contexte de votre entreprise et sous la même gouvernance que vos autres données.

Si vous avez déjà du trafic qui transite par Unity Gateway, ouvrez AI Gateway > Observability > Insights et générez un rapport pour le dernier jour, les 7 derniers jours ou les 30 derniers jours. Insights rédige ensuite un rapport sur la tokenomique du déploiement de vos agents de code qui répond aux questions suivantes :

Chaque résultat renvoie à des exemples de sessions, ce qui vous permet d'ouvrir les traces sous-jacentes.

Vous pouvez ajouter jusqu'à 10 questions personnelles à un rapport, par exemple pour savoir si le modèle le plus récent en vaut la peine pour le travail de votre équipe. Pour aller plus loin, poursuivez la conversation avec Genie. Demandez quel serveur MCP a gaspillé le plus de tokens ce mois-ci et à qui il appartient, et vous obtiendrez un rapport de bogue prêt à être envoyé.

Voici ce qui se cache derrière chaque type de gaspillage signalé par Insights :
Identifier ce type de gaspillage nécessite un enregistrement complet de chaque étape de chaque session d'agent : entrées et sorties, appels d'outils, sous-agents, étapes intermédiaires, latence et coût des tokens. Une passerelle autonome enregistre uniquement les requêtes qui la traversent. Capturer le reste de chaque session implique d'instrumenter vous-même chaque agent de code, puis d'exporter les traces vers une plateforme de données pour les analyser.
Diriger Claude Code vers ces traces vous laisse tout de même concevoir l'investigation vous-même, sans carte de votre entreprise telle que celle fournie par Genie Ontology. Insights exécute l'investigation que nous avons mise au point lors du déploiement d'agents de code auprès de milliers d'ingénieurs Databricks. Il échantillonne les sessions et les regroupe par flux de travail en fonction du type de travail. Il vérifie ensuite chaque flux de travail à la recherche d'outils MCP défectueux, de contextes surchargés, de modèles de pointe sur des tâches simples et de flux de travail répétés, et classe ses découvertes en fonction des tokens en jeu. Cela repose sur quatre éléments impossibles à obtenir avec une passerelle autonome :
Si vos développeurs exécutent déjà des agents de code via Unity Gateway, vous pouvez générer votre premier rapport dès aujourd'hui :
(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original
Abonnez-vous à notre blog et recevez les derniers articles directement dans votre boîte mail.