Pronósticos a la velocidad del comercio minorista moderno

El pronóstico de la demanda siempre ha estado en el centro de la planificación de retail y CPG. Modela las decisiones de inventario, informa los programas de producción, impulsa la inversión en promociones comerciales y establece las condiciones para cada conversación de S&OP posterior. Cuando el pronóstico es incorrecto, los costos se acumulan rápidamente, lo que provoca roturas de stock, exceso de inventario, erosión de márgenes y disrupciones en cadena que afectan tanto a la cadena de suministro como a los equipos comerciales.

Lo que ha cambiado en los últimos años no es la importancia del pronóstico, sino el grado de dificultad.

El problema de la complejidad ha superado a las herramientas

Hace una década, un planificador de la demanda que trabajaba con unos pocos miles de SKU en un puñado de canales podía gestionar la calidad del pronóstico con una combinación de modelos estadísticos, hojas de cálculo y un conocimiento institucional adquirido con esfuerzo. Ese mundo ya no existe para la mayoría de las organizaciones de Retail y CPG. La proliferación de SKU, el crecimiento explosivo de los canales de comercio electrónico, la fragmentación regional y el aumento de SKU promocionales de ciclo de vida corto han creado entornos de pronóstico que la mayoría de las herramientas heredadas nunca se diseñaron para manejar.

Donde antes un planificador gestionaba cientos de series temporales, los problemas de pronóstico empresarial de hoy en día involucran habitualmente cientos de miles, a veces mucho más. Cada serie temporal tiene su propio perfil de estacionalidad, sus propias características de relación señal-ruido y su propia sensibilidad a variables externas como promociones, el clima y las condiciones macroeconómicas. Las técnicas estadísticas que funcionaban bien a menor escala simplemente no se generalizan de manera confiable con este volumen y variedad. La precisión se degrada. La gestión de excepciones se vuelve insostenible. El pronóstico pierde su autoridad como insumo de planificación.

La respuesta en la que han convergido los equipos de pronóstico más sofisticados es un enfoque multimodelo: en lugar de seleccionar una única técnica y aplicarla de manera uniforme, se evalúa una variedad de modelos con los datos reales y se deja que los resultados determinen cuál funciona mejor para cada serie temporal. En la práctica, esto produce una precisión notablemente mejor, pero también crea un nuevo desafío.

La brecha de talento es real y cada vez más difícil de cerrar

Ejecutar una evaluación rigurosa de pronósticos multimodelo a escala empresarial no es una tarea que se pueda confiar a un analista de negocios o a un científico de datos recién contratado. Requiere una profunda familiaridad con los métodos de pronóstico estadístico, los enfoques modernos de machine learning y deep learning y, cada vez más, la clase de modelos fundacionales basados en arquitecturas de transformadores que han surgido en los últimos años como una herramienta prometedora para la predicción de series temporales. También requiere la capacidad de configurar y operar una infraestructura de computación distribuida a la escala necesaria para procesar millones de series temporales dentro de un ciclo de planificación.

Esta experiencia es escasa. Las funciones de planificación de la demanda compiten con todas las demás áreas de la empresa por el talento en ciencia de datos, y la combinación específica de conocimiento del dominio de pronóstico y fluidez en sistemas distribuidos que exige este trabajo es realmente poco común. Los equipos que la tienen son productivos. Los equipos que carecen de ella se encuentran atrapados en enfoques heredados que rinden menos que las alternativas modernas, o bien dependen de un único experto cuya partida genera un riesgo organizativo real.

Incluso para las organizaciones que cuentan con el talento, configurar un experimento de pronóstico adecuado (configurar recursos de computación, preparar y limpiar datos, seleccionar parámetros de evaluación, ejecutar backtests, interpretar resultados) puede extenderse durante días o semanas antes de completar una sola comparación de modelos. En un entorno de planificación donde la cadencia se mide en semanas, ese tiempo de ciclo suele ser simplemente demasiado lento.

Many Model Forecasting: el motor diseñado para este problema

En 2024, Databricks lanzó Many Model Forecasting (MMF), un framework de código abierto diseñado para el pronóstico de series temporales multimodelo a gran escala. MMF integra más de 35 modelos de pronóstico extraídos de las principales librerías de código abierto, incluidos enfoques estadísticos de statsforecast y sktime, modelos de deep learning de neuralforecast y modelos fundacionales de series temporales de Chronos y TimesFM. En lugar de comprometerse con una sola técnica, MMF permite a los equipos evaluar todas las técnicas simultáneamente con sus propios datos, seleccionando automáticamente el modelo con mejor rendimiento para cada serie temporal.

El framework se ejecuta de forma nativa en Databricks, utilizando computación distribuida para procesar el volumen que exigen los problemas de pronóstico de Retail y CPG empresariales. Decenas de empresas ejecutan actualmente pipelines de producción en MMF para tomar decisiones de planificación que afectan directamente a los ingresos y a la inversión en inventario. Las mejoras en la precisión y la reducción del esfuerzo de pronóstico manual han sido hallazgos constantes en esas implementaciones.

Pero MMF seguía siendo una herramienta para expertos. La barrera nunca fue el framework en sí. Era la profundidad de conocimientos necesarios para configurarlo correctamente, tomar decisiones acertadas sobre la configuración de la computación, la preparación de datos y el diseño de la evaluación, e interpretar los resultados de manera que realmente pudieran fundamentar las decisiones de planificación. MMF hizo que el pronóstico a nivel de experto fuera más rápido. Pero aún no lo hacía accesible.

MMF Agent: pronóstico guiado para el resto de la empresa

MMF Agent aborda esa brecha. Basado en Genie Code, el asistente de codificación con AI de Databricks, MMF Agent envuelve el framework MMF en un flujo de trabajo interactivo y guiado que lleva a los equipos a través de todo el pipeline de pronóstico, desde los datos brutos hasta el pronóstico implementado, sin requerir una profunda experiencia técnica para operar.

El agente trabaja en cinco etapas. Comienza examinando los datos de entrada, identificando problemas de calidad, manejando valores faltantes y anomalías, y asegurándose de que todo esté estructurado correctamente para el motor de pronóstico. Luego perfila y clasifica las series temporales del conjunto de datos, separando las series pronosticables de aquellas con señal insuficiente. Este paso es fácil de omitir cuando se ejecuta MMF manualmente, pero mejora constantemente tanto la precisión como la eficiencia computacional al dirigir los recursos hacia donde tendrán el mayor impacto. A partir de ahí, el agente configura la infraestructura de computación adecuada para los modelos que se están evaluando, ejecuta los trabajos de pronóstico y realiza el posprocesamiento y la selección de modelos, presentando los resultados en términos que se conectan con los resultados de negocio que realmente le importan al equipo de planificación. La breve demostración a continuación muestra a un planificador de la demanda avanzando por cada una de estas etapas con MMF Agent en Genie Code.

Lo que diferencia a esto de la simple automatización de un flujo de trabajo es que el agente es interactivo. Se apoya en la integración de Genie Code con Unity Catalog para comprender todo el entorno de datos de la organización, lo que le permite hacer recomendaciones informadas sobre qué conjuntos de datos utilizar, cómo enriquecer los datos de entrenamiento con variables externas relevantes y cómo interpretar las métricas de precisión del pronóstico en términos de negocio. Un líder de planificación que comprende su negocio pero no es científico de datos puede interactuar con MMF Agent en el lenguaje de la planificación de la demanda (promociones, estacionalidad, combinación de canales, horizontes de planificación) y recibir orientación basada tanto en las mejores prácticas de pronóstico como en las particularidades de sus datos.

Qué significa esto para los equipos de planificación de la demanda

El beneficio más inmediato es la velocidad. El trabajo de configuración y experimentación que antes requería días de esfuerzo especializado en ciencia de datos ahora se puede completar en horas. Esa reducción de tiempo es importante en un entorno de planificación porque significa que los equipos pueden ejecutar más experimentos, probar más configuraciones de modelos y responder más rápidamente cuando cambian las condiciones del mercado. Esto es fundamental cuando los patrones históricos dejan de ser guías confiables.

La precisión del pronóstico también tiende a mejorar. Los pasos de preparación de datos y clasificación de series por los que MMF Agent guía a los equipos producen datos de entrenamiento más limpios y una selección de modelos mejor orientada de lo que suelen lograr los enfoques manuales.

Sin embargo, quizás el cambio más trascendental sea el alcance. Los equipos de planificación de la demanda que carecen de científicos de datos dedicados al pronóstico ahora pueden operar con un nivel de rigor metodológico que antes estaba fuera de su alcance. La barrera de la experiencia que mantenía el pronóstico multimodelo limitado a organizaciones con talento especializado ya no es lo que era, lo que abre este enfoque a una gama mucho más amplia de organizaciones de Retail y CPG del mercado medio.

Para los equipos que sí cuentan con una sólida base técnica, MMF Agent también hace que el framework sea más fácil de personalizar. MMF siempre ha sido de código abierto, pero en la práctica, solo un puñado de equipos ha tenido la experiencia para modificarlo. Cuando el agente tiene acceso tanto al código fuente como a las habilidades de guía, puede guiar a los ingenieros a través de los cambios en un lenguaje sencillo: agregar una nueva clase de modelo, ajustar la lógica de backtesting e integrar una métrica de precisión específica del negocio. Las modificaciones que antes requerían un conocimiento profundo del framework ahora son accesibles para una gama mucho más amplia de ingenieros.

Primeros pasos

MMF y MMF Agent ya están disponibles. Las habilidades de MMF Agent están disponibles en el repositorio de GitHub de Many Model Forecasting, junto con la documentación y los notebooks de ejemplo que cubren todo el flujo de trabajo. Instala las habilidades en Genie Code o en un entorno de agente local, y tu asistente se encargará del resto.

Para los líderes de planificación de la demanda que desean mejores pronósticos con el equipo y las herramientas que ya tienen, vale la pena dedicar una hora de su tiempo a explorar esto.

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original