Cómo Zepto utiliza Databricks y MLflow para crear agentes de AI orientados a la evaluación que gestionan más del 80% de los tickets de soporte, reducen los costos de soporte en un 65% y ofrecen un retorno de inversión en menos de un mes
Zepto es una de las plataformas de comercio rápido (quick-commerce) de más rápido crecimiento en la India, con miles de productos, presencia en más de 60 ciudades y plazos de entrega medidos en minutos. En un negocio donde la velocidad es el producto, el soporte al cliente debe moverse igual de rápido.
Para cumplir con esa expectativa, Zepto gestiona el soporte al cliente mediante un sistema de AI multiagente que procesa más de cien mil tickets al día. Al principio, el equipo podía desarrollar e implementar agentes rápidamente. La pregunta más difícil era cómo mantener la confiabilidad de esos agentes a medida que crecía el volumen, se expandían las categorías y el comportamiento de los clientes seguía cambiando. Zepto se asoció con Databricks para responder a esa pregunta, no implementando más agentes, sino haciendo de la evaluación la forma principal en que se crean, prueban y operan los agentes.
Este blog recorre ese camino: la arquitectura del sistema, el marco de evaluación en Databricks y MLflow, las historias de producción donde demostró su valor, y los resultados y lecciones que surgieron de ello.
En un negocio de alta velocidad, "simplemente lanzar el agente" funciona justo hasta que falla a gran escala. Con más de 100,000 tickets de agentes de AI al día, incluso una tasa de error del 1% genera miles de malos resultados y una pérdida real de ingresos cada día.
La presión llegaba en oleadas desiguales. Los eventos climáticos, el Diwali y el inicio del verano provocaron fuertes picos en el volumen de tickets. La expansión desde productos de alimentación hacia ropa, electrónica y belleza introdujo nuevos procesos de reembolso, cambio y devolución. Mientras tanto, una base de clientes más diversa y multilingüe trajo una gama más amplia de solicitudes de soporte, y surgían nuevos modos de fallo cada pocas semanas.
El problema de fondo es la brecha de garantía. Los sistemas basados en agentes operan como flujos de trabajo de varios pasos (clasificación de la intención, recuperación de conocimiento, análisis de entradas, razonamiento de decisiones, llamada a herramientas transaccionales y generación de respuestas), por lo que los fallos pueden surgir en cualquier punto del camino, no solo en la respuesta final.
Esta brecha de garantía se tradujo en problemas concretos:
El objetivo quedó claro: diseñar un marco de evaluación en Databricks y MLflow para que funcione como la infraestructura central de AI sobre la cual se crean y operan los agentes.
Un marco de evaluación sólido afecta directamente a cinco ejes de la preparación para producción:
Con Databricks + MLflow como base de evaluación y una arquitectura de agentes centrada en la evaluación, Zepto logró
Costo y eficiencia
Calidad y reputación
Rendimiento y operaciones
En el núcleo de este enfoque se encuentra el modelo de doble bucle: un bucle de desarrollo y un bucle de producción, conectados por una puerta de calidad. Esta sección describe cómo funcionan estos bucles en conjunto.

Juntos, estos dos bucles garantizan que los agentes se creen y operen bajo control. Cualquier fallo se captura, se retroalimenta y se corrige automáticamente. Como resultado, los agentes se desarrollan con confianza, se ejecutan con control y mejoran continuamente para gestionar mejor los fallos de producción a lo largo del tiempo. El doble bucle se encuentra en el núcleo de nuestro marco de trabajo.
Cada invocación del agente emite una traza de ejecución detallada que captura prompts, completados, documentos recuperados, llamadas a herramientas, latencias y rutas de decisión, de modo que todo el flujo de trabajo es observable a un nivel granular en lugar de limitarse a una entrada y una salida final.
Habilitamos esto con un enfoque híbrido utilizando MLflow. Una sola línea, mlflow.<library>.autolog(), activa el rastreo automático, y el decorador @mlflow.trace añade spans personalizados dondequiera que necesitemos más detalles. Las trazas se emiten en tiempo real como spans de OpenTelemetry con IDs únicos para que sigan siendo combinables, y la integración de MLflow con Unity Catalog centraliza el registro en tablas Delta.
Con el rastreo habilitado, el siguiente paso es capturar, desde la perspectiva de cada parte interesada, “¿Qué significa el éxito de este agente para usted?”. Formalizamos esto como pilares de evaluación, cada uno con puertas de control específicas.

Esto convierte un debate entre múltiples partes interesadas en un contrato compartido y medible. Los agentes se evalúan según las dimensiones que realmente importan para cada parte interesada. Los pilares típicos incluyen la experiencia del cliente, la eficiencia operativa, el riesgo y cumplimiento, y el impacto financiero; cada pilar tiene umbrales numéricos claros que deben cumplirse antes de la implementación.
El conjunto de datos de referencia (golden dataset) es la única fuente de verdad para evaluar el comportamiento de los agentes en el bucle de desarrollo. Debe:
Todos los interesados colaboran para dar forma al conjunto de datos; por ejemplo, el equipo de seguridad aporta ejemplos de patrones adversarios como la inyección de prompts, ataques de identidad e intentos de filtración de datos. Esto garantiza que la confiabilidad se mida tanto en escenarios del mundo real como en el uso habitual.

Los conjuntos de datos son un activo vivo y su calidad se acumula con el tiempo. La brecha de precisión entre el desarrollo y la producción es, en sí misma, una señal de la calidad del conjunto de datos. Zepto invirtió de forma constante en conjuntos de datos de evaluación de MLflow durante seis meses, pasando de 500 ejemplos y una brecha de precisión de 8 puntos entre desarrollo y producción, a 2,000 ejemplos y una brecha de 2 puntos, y finalmente a 5,247 ejemplos y una brecha de 0.4 puntos. Cada hora dedicada a la calidad del conjunto de datos ahorra aproximadamente diez horas de depuración en producción, por lo que el golden dataset se convierte en un multiplicador de 10x: cada fallo en producción añade trazas de error al golden dataset y hace que el sistema sea más robusto para todas las versiones futuras.
En lugar de escribir los prompts a mano, convertimos la ingeniería de prompts en un proceso automatizado y basado en datos. El diseño de prompts es la fase crítica en la que los ingenieros pasan la mayor parte de su tiempo, y la calidad de los prompts tiene un impacto desproporcionado en la calidad y el rendimiento de los resultados de los agentes.
Mediante la optimización de prompts de MLflow, registramos un prompt inicial, generamos y optimizamos variantes frente a los mismos evaluadores que controlan la implementación, ejecutamos evaluaciones A/B de forma automática y desplegamos el mejor resultado. El optimizador reflexiona con un modelo potente y califica a los candidatos en producción con uno más económico, de modo que la propia búsqueda siga controlando los costos en producción. Esto redujo la experimentación manual de prompts, mejoró la precisión y garantizó que las mejoras de los prompts se midieran siempre con respecto al golden dataset antes de llegar a producción.

Con las trazas fluyendo en el bucle de producción, necesitamos evaluarlas según las dimensiones que importan para la calidad del agente (dimensiones de evaluación). Piense en esto como un jurado de IA, donde cada evaluador aprovecha sus puntos fuertes. MLflow ofrece tres opciones para crear evaluadores.
Utilizamos evaluadores basados en LLM solo cuando es necesario un juicio similar al humano y recurrimos a reglas sencillas cuando la lógica determinista es suficiente. Calibramos los jueces con etiquetas humanas para alcanzar un acuerdo del 80-90% y utilizamos varios jueces para decisiones de gran importancia.

La opcionalidad de modelos es un componente crítico que permite al entorno de trabajo cambiar entre múltiples modelos propietarios y de código abierto simplemente modificando los nombres de los modelos en Databricks. Esto significa que el bucle de desarrollo puede buscar continuamente una mejor combinación para encontrar el equilibrio óptimo entre costo, rendimiento y calidad.

Automatizamos la evaluación de regresión para crear un bucle de desarrollo repetible, configurable y escalable. Cualquier cambio activa la autorregresión y, cuando se garantiza la confiabilidad, el autodespliegue.

Al unir todas las piezas, un cambio típico sigue este camino:
Evaluar el 100% del tráfico es costoso, pero un muestreo uniforme e ingenuo del 10% pasa por alto la mayoría de los casos extremos. Implementamos un muestreo estratificado donde las tasas de muestreo de evaluación dependen de clientes de alto valor, nuevas funciones o flujos modificados recientemente, sentimiento negativo o alto riesgo de escalación, e interacciones basadas en imágenes o propensas al fraude. Esto genera una muestra de evaluación efectiva del 18-20% (~14,400 trazas al día) a un costo manejable, al tiempo que captura entre el 45% y el 60% de los casos extremos y detecta problemas en un plazo de 4 a 6 minutos.
La lógica financiera es contundente: en comparación con un enfoque de muestreo uniforme, la metodología estratificada logró una reducción del 86% en el costo de revisión por problema identificado, al tiempo que ofreció una mejora de 9 veces en la detección de casos extremos, lo que hace que el proceso de control de calidad sea significativamente más eficiente y escalable.
Los resultados de la evaluación se escriben en tablas Delta y se muestran a través de paneles y reglas de alerta en Databricks. Las alertas críticas (que se revisan cada 5 minutos) monitorean caídas en la precisión de la intención, violaciones de fundamentación (groundedness), alto riesgo de escalación e infracciones de latencia P95. Las alertas altas/medias realizan un seguimiento de la degradación de la empatía, picos de costos, tasas de fallo de herramientas, tendencias de CSAT, tasa de detección de fraudes y latencia multimodal. Esto permite operaciones similares a SRE para agentes de IA: detección rápida, clasificación y mitigación.
Un buen entorno de evaluación funciona mucho mejor cuando la arquitectura del agente está diseñada para ser observable y descomponible desde el principio. La pila de soporte de Zepto se basa en esa idea.
La consulta de un cliente, ya sea en forma de chat o de imagen, pasa primero por un enrutador y orquestador de agentes. El enrutador puede transferir la consulta a un humano en cualquier momento. Por debajo de este, el sistema se divide en dos tipos de agentes.
Los agentes verticales son especialistas, y cada uno se encarga de una única familia de intenciones bien definida:
Los agentes horizontales actúan como capas de supervisión que abarcan diversos casos de uso:

Esta separación rinde frutos por partida doble. Las métricas se pueden calcular por agente vertical, como la F1 de intención de WIMO o la precisión de OCR de vencimiento, y los agentes horizontales se pueden evaluar en aspectos transversales como la precisión de fraude, la reutilización de imágenes y la detección de manipulación. Cada pieza se puede medir de forma aislada y en combinación.
Cuando lanzas por primera vez un agente de AI a producción, se siente como enviar a un pasante brillante pero impredecible a representar a tu empresa. Le das instrucciones y esperas lo mejor, pero hasta que no está bajo presión, básicamente estás volando a ciegas.
Al principio, nos dimos cuenta de que el monitoreo de software tradicional es completamente útil para la AI. Un agente puede tener un tiempo de actividad del servidor perfecto y cero errores mientras repite exactamente la misma respuesta incorrecta a un cliente frustrado. Para los ingenieros, el panel de control se ve verde. Para el cliente, es un desastre.
Sabíamos que no podíamos escalar nuestra AI basándonos solo en la esperanza. Necesitábamos un framework de evaluación que no solo rastreara si la AI estaba hablando, sino que realmente entendiera lo que decía y dónde estaba fallando. Las siguientes historias son los momentos en que ese framework demostró su valor, probando que un buen sistema de evaluación desbloquea características de producto completamente nuevas.
Un problema de producción dejó a los repartidores atrapados en el tráfico mientras el agente seguía respondiendo "llegando en 10 min" en un bucle, porque estaba leyendo datos almacenados en caché. El cliente preguntó dónde estaba su pedido, recibió la misma respuesta, volvió a preguntar y recibió la misma respuesta otra vez.
El contador de tokens (que monitorea el uso de tokens) y los evaluadores de advertencias detectaron la repetición y el alto riesgo de escalación en menos de 5 minutos, mostrando trazas de repartidores estacionarios con ETAs sin cambios. Eso activó un cambio de regla. Si un repartidor permanece estacionario durante más de 10 minutos, el agente ahora ofrece una actualización honesta y propone proactivamente la cancelación para un reembolso completo, en lugar de repetir una promesa obsoleta.
Un hallazgo, detectado por la evaluación en línea, se convirtió en toda una línea de funciones: cancelación por retraso, una propuesta proactiva para cancelar durante la escasez de repartidores, cancelación automática si no se asigna ningún repartidor dentro de un plazo establecido y cancelación sin preguntas para clientes de alto valor.

Cuando Zepto agregó la gestión de cancelaciones al agente WIMO, el modelo comenzó a confundir tres intenciones muy diferentes: "dónde está mi pedido", "quiero cancelar" y "¿se canceló mi pedido?".
La evaluación de MLflow en la fase de desarrollo lo detectó de inmediato. La precisión general de la intención cayó de aproximadamente el 92.1 por ciento al 87.4 por ciento, con un F1 deficiente en las nuevas intenciones WIMO_CANCEL y WIMO_CANCEL_STATUS. Debido a que la regresión apareció frente al conjunto de datos de referencia (golden dataset), ningún cliente llegó a verla. La optimización de prompts y las actualizaciones del conjunto de datos restauraron la precisión general a aproximadamente el 94.2 por ciento, mejor que la línea base original, con un F1 de llamada a herramientas casi perfecto en las APIs de cancelación. La función se lanzó en vivo con cero rollbacks.
La calidad de los productos frescos es realmente difícil de calificar y los humanos no siempre están de acuerdo. La misma imagen de champiñones podría obtener un 2 de 5 de un evaluador y un 3 de 5 de otro. Medimos ese desacuerdo con el Kappa de Cohen y lo tratamos como nuestro límite máximo de confiabilidad, ya que ningún modelo puede ser más consistente que los humanos de los que aprende.
También descubrimos que la AI iba a lo seguro. Por sí sola, acumulaba puntuaciones en 3 para evitar tomar una decisión difícil, mientras que las puntuaciones humanas alcanzaban su punto máximo en 4 y 5. Así que no solo minimizamos el error frente al promedio, sino que igualamos la forma de la distribución de las puntuaciones humanas. La evaluación en línea también reveló casos para los que el sistema no estaba diseñado, como la leche cortada que se almacena como un producto envasado pero debe juzgarse como un producto fresco, y las quejas de sabor u olor que una foto simplemente no puede mostrar, las cuales se redirigieron a una ruta separada.
Esta línea base calibrada nos permite decidir qué modelos usar por tipo de producto, cómo iterar los prompts frente al juicio humano y cómo ajustar la política de reembolsos por segmento de clientes en función del rendimiento real del agente.

Los intentos de abuso de reembolsos utilizaban imágenes de catálogo, fotos editadas e imágenes reutilizadas en diferentes reclamaciones. El pipeline de evaluación multimodal pasaba las imágenes por controles de preprocesamiento de desenfoque, brillo y resolución, las validaba con OCR y luego utilizaba un jurado de tres modelos de visión con reglas de consenso para decidir entre la aprobación automática y la revisión humana. Por encima de esto, se aplicaron capas de detección de desenfoque, detección de capturas de pantalla, detección de duplicados, coincidencia de imagen contra SKU, verificaciones de imagen contra el motivo declarado y validación de prueba de entrega.
Operar este framework a escala nos enseñó algunos principios que se generalizan más allá del comercio rápido (quick commerce).
Para las organizaciones que crean sistemas basados en agentes en Databricks, la experiencia de Zepto sugiere la siguiente hoja de ruta:
En la transición de demostraciones experimentales a infraestructura de misión crítica, la restricción principal ha pasado de la capacidad bruta del modelo a la garantía del sistema. El trayecto de Zepto demuestra que, al establecer la evaluación como la primitiva de desarrollo fundamental, las organizaciones pueden escalar agentes de manera confiable para gestionar decenas de miles de interacciones diarias complejas a través de entradas multimodales, respaldadas por rigurosas garantías de calidad, costo y mitigación de riesgos.
Databricks y MLflow sirven como el sustrato esencial para esta evolución, proporcionando una infraestructura de datos centrada en trazas en Unity Catalog y Delta, junto con una evaluación escalable, optimización automatizada de prompts e integración fluida de CI/CD. Esta pila componible, combinada con la opcionalidad de modelos, permite a los equipos ajustar con precisión el equilibrio entre el rendimiento y el gasto para cada tarea específica.
En última instancia, la ventaja competitiva radica en la decisión estratégica de tratar la evaluación no como una comprobación final, sino como infraestructura de AI central. El plan para operar agentes a escala de producción ya no es un misterio; Zepto y Databricks han proporcionado la respuesta. El desafío ahora es la velocidad de adopción. En el panorama de la AI en rápida evolución, los líderes no serán quienes esperen una certeza absoluta, sino quienes diseñen para la confiabilidad desde el primer día.
Para los desarrolladores que crean agentes que deben ganarse la confianza en entornos de producción, estos mismos componentes fundamentales ya están listos en Databricks y MLflow 3. Las organizaciones que definan la próxima frontera serán aquellas que comiencen hoy mismo su viaje dando prioridad a la evaluación.
Crear agentes en Databricks
Comience con la evaluación y el monitoreo de MLflow
(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original
Suscríbete a nuestro blog y recibe las últimas publicaciones directamente en tu bandeja de entrada.