Descubra automáticamente las ineficiencias en su uso de IA
A la hora de reducir los costos de IA, los equipos suelen empezar por los presupuestos o los modelos de código abierto. Sin embargo, las trazas de los agentes pueden revelar otras oportunidades de ahorro. En Databricks, el análisis de trazas sacó a la luz varias: las reproducciones sin conexión no mostraron ninguna mejora en el rendimiento al actualizar de Opus 4.8 a Opus 5, por lo que nos quedamos con la versión 4.8, que es más económica; la corrección de errores comunes de MCP permitió recuperar un estimado de $1.2M en costos al año; y las trazas mostraron que se estaban enviando prompts sencillos a modelos costosos, lo que nos impulsó a adoptar Smart Routing.
Hoy presentamos Unity Gateway Insights, que utiliza autom áticamente Genie para analizar millones de trazas de agentes junto con los datos y la ontología de su negocio. Revela dónde se están desperdiciando tokens: errores de MCP recurrentes, tareas sencillas ejecutadas en modelos de frontera costosos y flujos de trabajo repetidos que vale la pena convertir en habilidades compartidas, todo en el contexto de su negocio y bajo la misma gobernanza que el resto de sus datos.

Si ya tiene tráfico fluyendo a través de Unity Gateway, abra AI Gateway > Observability > Insights y genere un informe del último día, de los últimos 7 días o de los últimos 30 días. A continuación, Insights redacta un informe sobre la tokenómica de la implementación de sus agentes de codificación que responde a las siguientes preguntas:

Cada hallazgo incluye enlaces a sesiones de ejemplo, para que pueda abrir las trazas que hay detrás.

Puede agregar hasta 10 preguntas propias a un informe, como por ejemplo si el modelo más nuevo vale la pena para el trabajo de su equipo. Para profundizar más, continúe la conversación con Genie. Pregunte qué servidor MCP desperdició más tokens este mes y quién es su propietario, y tendrá un informe de errores listo para enviar.

Esto es lo que hay detrás de cada tipo de desperdicio que reporta Insights:
Encontrar este tipo de desperdicio requiere un registro completo de cada paso de cada sesión de agente: entradas y salidas, llamadas a herramientas, subagentes, pasos intermedios, latencia y costo de tokens. Una pasarela independiente solo registra las solicitudes que pasan a través de ella. Capturar el resto de cada sesión significa instrumentar cada agente de codificación por su cuenta y, a continuación, exportar las trazas a una plataforma de datos para analizarlas.
Apuntar Claude Code a esas trazas aún le deja la tarea de diseñar la investigación por su cuenta, sin un mapa de su negocio como el que proporciona Genie Ontology. Insights ejecuta la investigación que desarrollamos al implementar agentes de codificación para miles de ingenieros de Databricks. Toma muestras de las sesiones y las agrupa en flujos de trabajo según el tipo de labor. Luego, revisa cada flujo de trabajo en busca de herramientas MCP fallidas, contexto sobredimensionado, modelos de frontera en tareas sencillas y flujos de trabajo repetidos, y clasifica los hallazgos según los tokens en juego. Depende de cuatro cosas que una pasarela independiente no puede tener:
Si sus desarrolladores ya ejecutan agentes de codificación a través de Unity Gateway, puede generar su primer informe hoy mismo:
(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original
Suscríbete a nuestro blog y recibe las últimas publicaciones directamente en tu bandeja de entrada.