Revenir au contenu principal
Plateforme

Découvrez Unity Gateway Insights

Découvrez automatiquement les inefficacités de votre utilisation de l'IA

par Adam Gurary, Alkis Polyzotis et Vishnu Kannan

Lorsqu'il s'agit de réduire les coûts liés à l'IA, les équipes commencent souvent par les budgets ou les modèles open-source. Mais les traces des agents peuvent révéler d'autres opportunités d'économies. Chez Databricks, l'analyse des traces en a mis plusieurs en évidence : les relectures hors ligne n'ont montré aucun gain de performance en passant d'Opus 4.8 à Opus 5, nous sommes donc restés sur la version 4.8, plus économique ; la correction des erreurs MCP courantes a permis de récupérer environ 1,2 million de dollars de coûts par an ; et les traces ont montré que des prompts simples étaient envoyés à des modèles coûteux, ce qui nous a poussés à adopter Smart Routing. 

Aujourd'hui, nous présentons Unity Gateway Insights, qui utilise automatiquement Genie pour analyser des millions de traces d'agents ainsi que vos données d'entreprise et votre ontologie. Il met en évidence le gaspillage de tokens : des erreurs MCP récurrentes, des tâches simples exécutées sur des modèles de pointe coûteux, et des flux de travail répétés qui méritent d'être transformés en compétences partagées, le tout dans le contexte de votre entreprise et sous la même gouvernance que vos autres données.

Comment fonctionne Insights

Si vous avez déjà du trafic qui transite par Unity Gateway, ouvrez AI Gateway > Observability > Insights et générez un rapport pour le dernier jour, les 7 derniers jours ou les 30 derniers jours. Insights rédige ensuite un rapport sur la tokenomique du déploiement de vos agents de code qui répond aux questions suivantes :

  • Sur quoi les équipes travaillent-elles ? Insights compare la part des sessions de chaque flux de travail avec sa part de tokens. Un flux de travail représentant 10 % des sessions et 35 % des tokens est le premier endroit à examiner.
  • Où puis-je faire des économies ? Insights montre où vont les tokens et classe chaque type de gaspillage par coût. Pour chaque flux de travail répété, Insights rédige un prompt que vous pouvez copier pour transformer ce flux de travail en compétence partagée.

Chaque résultat renvoie à des exemples de sessions, ce qui vous permet d'ouvrir les traces sous-jacentes.

Vous pouvez ajouter jusqu'à 10 questions personnelles à un rapport, par exemple pour savoir si le modèle le plus récent en vaut la peine pour le travail de votre équipe. Pour aller plus loin, poursuivez la conversation avec Genie. Demandez quel serveur MCP a gaspillé le plus de tokens ce mois-ci et à qui il appartient, et vous obtiendrez un rapport de bogue prêt à être envoyé.

Ce qu'Insights détecte dans vos traces

Voici ce qui se cache derrière chaque type de gaspillage signalé par Insights :

  • Erreurs MCP et gaspillage : Lorsqu'un appel d'outil échoue, les agents réessayent ou contournent le problème jusqu'à ce que la tâche soit accomplie. La session a donc l'air d'avoir fonctionné alors que vous payez chaque tentative. Les 1,2 million de dollars que nous avons trouvés provenaient de seulement sept petits bogues dans nos serveurs MCP : 499 000 dollars de tokens gaspillés plus 12 000 heures d'ingénieurs à attendre les agents. La correction des sept bogues a pris environ une heure.
  • Utilisation inefficace des modèles : Insights évalue la complexité de la tâche dans chaque session utilisant un modèle de pointe et compte les sessions rapides et de routine, ainsi que les tokens qu'elles ont utilisés. Ce sont ces sessions que Smart Routing peut envoyer vers un modèle moins cher tout en conservant les modèles de pointe pour le travail qui en a besoin.
  • Flux de travail courants à coder : Un flux de travail est pris en compte lorsqu'il se répète dans au moins trois sessions ou auprès de deux ingénieurs. Une compétence partagée donne d'emblée ces étapes aux agents, ce qui vous évite de payer pour qu'ils refassent ces étapes à chaque session.

Le plan de contrôle de l'IA sur votre plateforme de données

Identifier ce type de gaspillage nécessite un enregistrement complet de chaque étape de chaque session d'agent : entrées et sorties, appels d'outils, sous-agents, étapes intermédiaires, latence et coût des tokens. Une passerelle autonome enregistre uniquement les requêtes qui la traversent. Capturer le reste de chaque session implique d'instrumenter vous-même chaque agent de code, puis d'exporter les traces vers une plateforme de données pour les analyser.

Diriger Claude Code vers ces traces vous laisse tout de même concevoir l'investigation vous-même, sans carte de votre entreprise telle que celle fournie par Genie Ontology. Insights exécute l'investigation que nous avons mise au point lors du déploiement d'agents de code auprès de milliers d'ingénieurs Databricks. Il échantillonne les sessions et les regroupe par flux de travail en fonction du type de travail. Il vérifie ensuite chaque flux de travail à la recherche d'outils MCP défectueux, de contextes surchargés, de modèles de pointe sur des tâches simples et de flux de travail répétés, et classe ses découvertes en fonction des tokens en jeu. Cela repose sur quatre éléments impossibles à obtenir avec une passerelle autonome :

  • Traçage automatique de tous les agents. Unity Gateway est le plan de contrôle par lequel transitent les requêtes de vos agents de code. Lorsque les ingénieurs lancent Claude Code, Codex ou GitHub Copilot avec le ug CLI, ug active automatiquement le propre traçage OpenTelemetry de chaque agent, de sorte que vos équipes n'ont rien à instrumenter. Les traces atterrissent dans la unified trace table, une table Delta gouvernée dans Unity Catalog qui vous appartient, dans un format ouvert lisible par n'importe quel outil.
  • Genie connaît votre entreprise. Genie rédige le SQL et lit les sessions. Avec Genie Ontology, ses réponses utilisent les noms de vos propres projets et les subtilités de votre entreprise.
  • Mise à l'échelle pour des millions de traces. Databricks SQL interroge l'ensemble de votre historique de traces avec la même échelle et les mêmes performances que pour vos tables les plus volumineuses.
  • Sécurisé par défaut. Les traces contiennent des prompts, du code et des sorties d'outils. Par conséquent, seul le propriétaire de la table peut l'interroger tant que les administrateurs n'ont pas accordé l'accès à l'aide de règles Unity Catalog et de filtres de lignes. Insights lit la table sur place, de sorte que vous n'avez jamais à exporter vos données les plus sensibles pour les analyser.

Bien démarrer

Si vos développeurs exécutent déjà des agents de code via Unity Gateway, vous pouvez générer votre premier rapport dès aujourd'hui :

  1. Configurez la unified trace table pour que Unity Gateway enregistre les traces.
  2. Demandez à vos équipes de lancer leurs agents de code avec le ug CLI.
  3. Dans votre espace de travail, ouvrez AI Gateway > Observability > Insights et générez un rapport. Consultez la documentation Insights pour en savoir plus.

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original

Tags associés:

Unity Gateway et Genie

Recevez les derniers articles dans votre boîte mail

Abonnez-vous à notre blog et recevez les derniers articles directement dans votre boîte mail.