Ir al contenido principal
Plataforma

Presentación de Unity Gateway Insights

Descubra automáticamente las ineficiencias en su uso de IA

por Adam Gurary, Alkis Polyzotis y Vishnu Kannan

A la hora de reducir los costos de IA, los equipos suelen empezar por los presupuestos o los modelos de código abierto. Sin embargo, las trazas de los agentes pueden revelar otras oportunidades de ahorro. En Databricks, el análisis de trazas sacó a la luz varias: las reproducciones sin conexión no mostraron ninguna mejora en el rendimiento al actualizar de Opus 4.8 a Opus 5, por lo que nos quedamos con la versión 4.8, que es más económica; la corrección de errores comunes de MCP permitió recuperar un estimado de $1.2M en costos al año; y las trazas mostraron que se estaban enviando prompts sencillos a modelos costosos, lo que nos impulsó a adoptar Smart Routing. 

Hoy presentamos Unity Gateway Insights, que utiliza automáticamente Genie para analizar millones de trazas de agentes junto con los datos y la ontología de su negocio. Revela dónde se están desperdiciando tokens: errores de MCP recurrentes, tareas sencillas ejecutadas en modelos de frontera costosos y flujos de trabajo repetidos que vale la pena convertir en habilidades compartidas, todo en el contexto de su negocio y bajo la misma gobernanza que el resto de sus datos.

Cómo funciona Insights

Si ya tiene tráfico fluyendo a través de Unity Gateway, abra AI Gateway > Observability > Insights y genere un informe del último día, de los últimos 7 días o de los últimos 30 días. A continuación, Insights redacta un informe sobre la tokenómica de la implementación de sus agentes de codificación que responde a las siguientes preguntas:

  • ¿En qué está trabajando la gente? Insights compara la proporción de sesiones de cada flujo de trabajo con su proporción de tokens. Un flujo de trabajo con el 10% de las sesiones y el 35% de los tokens es el primer lugar que debe revisar.
  • ¿Dónde puedo ahorrar dinero? Insights muestra a dónde van a parar los tokens y clasifica cada tipo de desperdicio según su costo. Para cada flujo de trabajo repetido, Insights redacta un prompt que puede copiar para convertir ese flujo de trabajo en una habilidad compartida.

Cada hallazgo incluye enlaces a sesiones de ejemplo, para que pueda abrir las trazas que hay detrás.

Puede agregar hasta 10 preguntas propias a un informe, como por ejemplo si el modelo más nuevo vale la pena para el trabajo de su equipo. Para profundizar más, continúe la conversación con Genie. Pregunte qué servidor MCP desperdició más tokens este mes y quién es su propietario, y tendrá un informe de errores listo para enviar.

Qué encuentra Insights en sus trazas

Esto es lo que hay detrás de cada tipo de desperdicio que reporta Insights:

  • Errores y desperdicios de MCP: Cuando una llamada a una herramienta falla, los agentes reintentan o buscan alternativas hasta que se completa la tarea, por lo que la sesión parece haber funcionado mientras usted paga por cada reintento. Los $1.2M que encontramos provinieron de solo siete pequeños errores en nuestros servidores MCP: $499K en tokens desperdiciados más 12,000 horas de ingenieros esperando a los agentes. Solucionar los siete tomó aproximadamente una hora.
  • Uso ineficiente de modelos: Insights califica la complejidad de la tarea en cada sesión de modelo de frontera y cuenta las rápidas y rutinarias, junto con los tokens que utilizaron. Esas son las sesiones que Smart Routing puede enviar a un modelo más económico mientras reserva los modelos de frontera para el trabajo que realmente los necesita.
  • Flujos de trabajo comunes para codificar: Un flujo de trabajo cuenta cuando se repite en al menos tres sesiones o entre dos ingenieros. Una habilidad compartida proporciona a los agentes esos pasos por adelantado, por lo que deja de pagar para que vuelvan a resolver los pasos en cada sesión.

El plano de control de IA en su plataforma de datos

Encontrar este tipo de desperdicio requiere un registro completo de cada paso de cada sesión de agente: entradas y salidas, llamadas a herramientas, subagentes, pasos intermedios, latencia y costo de tokens. Una pasarela independiente solo registra las solicitudes que pasan a través de ella. Capturar el resto de cada sesión significa instrumentar cada agente de codificación por su cuenta y, a continuación, exportar las trazas a una plataforma de datos para analizarlas.

Apuntar Claude Code a esas trazas aún le deja la tarea de diseñar la investigación por su cuenta, sin un mapa de su negocio como el que proporciona Genie Ontology. Insights ejecuta la investigación que desarrollamos al implementar agentes de codificación para miles de ingenieros de Databricks. Toma muestras de las sesiones y las agrupa en flujos de trabajo según el tipo de labor. Luego, revisa cada flujo de trabajo en busca de herramientas MCP fallidas, contexto sobredimensionado, modelos de frontera en tareas sencillas y flujos de trabajo repetidos, y clasifica los hallazgos según los tokens en juego. Depende de cuatro cosas que una pasarela independiente no puede tener:

  • Cada agente rastreado automáticamente. Unity Gateway es el plano de control por el que pasan las solicitudes de sus agentes de codificación. Cuando los ingenieros inician Claude Code, Codex o GitHub Copilot con la ug CLI, ug activa automáticamente el propio rastreo de OpenTelemetry de cada agente, por lo que sus equipos no tienen nada que instrumentar. Las trazas llegan a la tabla de trazas unificada, una tabla Delta gobernada en Unity Catalog de su propiedad, en un formato abierto que cualquier herramienta puede leer.
  • Genie que conoce su negocio. Genie escribe el código SQL y lee las sesiones. Con Genie Ontology, sus respuestas utilizan los nombres de sus propios proyectos y los matices de su negocio.
  • Escalabilidad para millones de trazas. Databricks SQL consulta todo su historial de trazas con la misma escala y rendimiento que ofrece para sus tablas más grandes.
  • Protegido por defecto. Las trazas contienen prompts, código y resultados de herramientas, por lo que solo el propietario de la tabla puede consultarla hasta que los administradores otorguen acceso mediante permisos de Unity Catalog y filtros de filas. Insights lee la tabla en su lugar, por lo que nunca exportará sus datos más sensibles para analizarlos.

Comenzar

Si sus desarrolladores ya ejecutan agentes de codificación a través de Unity Gateway, puede generar su primer informe hoy mismo:

  1. Configure la tabla de trazas unificada para que Unity Gateway registre las trazas.
  2. Haga que sus equipos inicien sus agentes de codificación con la ug CLI.
  3. En su espacio de trabajo, abra AI Gateway > Observability > Insights y genere un informe. Consulte la documentación de Insights para obtener más detalles.

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original

Etiquetas relacionadas:

Unity Gateway y Genie

Recibe las últimas publicaciones en tu bandeja de entrada

Suscríbete a nuestro blog y recibe las últimas publicaciones directamente en tu bandeja de entrada.