Prévisions à la vitesse du commerce de détail moderne

La prévision de la demande a toujours été au cœur de la planification du commerce de détail et des CPG. Elle oriente les décisions relatives aux stocks, éclaire les calendriers de production, stimule les investissements dans les promotions commerciales et définit les conditions de chaque discussion S&OP qui s'ensuit. Lorsque les prévisions sont erronées, les coûts s'accumulent rapidement, entraînant des ruptures de stock, des excédents de stocks, une érosion des marges et des perturbations en aval qui se répercutent sur la chaîne d'approvisionnement et les équipes commerciales.

Ce qui a changé ces dernières années, ce n'est pas l'importance des prévisions. C'est leur niveau de difficulté.

Le problème de la complexité a dépassé les capacités des outils

Il y a dix ans, un planificateur de la demande travaillant avec quelques milliers de SKU sur une poignée de canaux pouvait gérer la qualité des prévisions grâce à une combinaison de modèles statistiques, de feuilles de calcul et d'une solide expérience interne. Ce monde n'existe plus pour la plupart des entreprises du commerce de détail et des CPG. La prolifération des SKU, la croissance explosive des canaux d'e-commerce, la fragmentation régionale et l'essor des SKU promotionnels à cycle de vie court ont créé des environnements de prévision que la plupart des outils existants n'ont jamais été conçus pour gérer.

Là où un planificateur gérait autrefois des centaines de séries temporelles, les problèmes de prévision des entreprises d'aujourd'hui en impliquent couramment des centaines de milliers, voire beaucoup plus. Chaque série temporelle a son propre profil de saisonnalité, ses propres caractéristiques de signal sur bruit et sa propre sensibilité à des variables externes telles que les promotions, la météo et les conditions macroéconomiques. Les techniques statistiques qui fonctionnaient bien à plus petite échelle ne se généralisent tout simplement pas de manière fiable à ce volume et à cette variété. La précision se dégrade. La gestion des exceptions devient insoutenable. Les prévisions perdent leur autorité en tant que données d'entrée pour la planification.

La solution vers laquelle convergent la plupart des équipes de prévision les plus avancées est une approche multi-modèle : plutôt que de sélectionner une seule technique et de l'appliquer uniformément, vous évaluez une gamme de modèles par rapport à vos données réelles et laissez les résultats déterminer celui qui est le plus performant pour chaque série temporelle. En pratique, cela permet d'obtenir une précision nettement supérieure, mais cela crée également un nouveau défi.

La pénurie de talents est réelle et de plus en plus difficile à combler

Réaliser une évaluation rigoureuse de prévisions multi-modèles à l'échelle de l'entreprise n'est pas une tâche que l'on peut confier à un analyste commercial ou à un data scientist fraîchement recruté. Cela nécessite une connaissance approfondie des méthodes de prévision statistique, des approches modernes de machine learning et de deep learning, et de plus en plus, de la catégorie des modèles de fondation basés sur des architectures de transformers qui sont apparus ces dernières années comme un outil prometteur pour la prédiction de séries temporelles. Cela exige également la capacité de configurer et d'exploiter une infrastructure d'informatique distribuée à l'échelle requise pour traiter des millions de séries temporelles au cours d'un cycle de planification.

Cette expertise est rare. Les fonctions de planification de la demande sont en concurrence avec toutes les autres entités de l'entreprise pour attirer les talents en data science, et la combinaison spécifique de connaissances du domaine des prévisions et de maîtrise des systèmes distribués que ce travail exige est véritablement rare. Les équipes qui en disposent sont productives. Celles qui en manquent se retrouvent soit bloquées dans des approches existantes moins performantes que les alternatives modernes, soit dépendantes d'un seul expert dont le départ crée un véritable risque organisationnel.

Même pour les entreprises qui disposent de ces talents, la mise en place d'une véritable expérience de prévision (configuration des ressources de calcul, préparation et nettoyage des données, sélection des paramètres d'évaluation, exécution de backtests, interprétation des résultats) peut prendre des jours ou des semaines avant qu'une seule comparaison de modèles ne soit finalisée. Dans un environnement de planification où le rythme se mesure en semaines, ce temps de cycle est souvent tout simplement trop lent.

Many Model Forecasting : le moteur conçu pour ce problème

En 2024, Databricks a lancé Many Model Forecasting (MMF), un framework open source conçu pour la prévision de séries temporelles multi-modèles à grande échelle. MMF intègre plus de 35 modèles de prévision issus de bibliothèques open source de premier plan, notamment des approches statistiques de statsforecast et sktime, des modèles de deep learning de neuralforecast, et des modèles de fondation de séries temporelles de Chronos et TimesFM. Plutôt que de s'engager sur une seule technique, MMF permet aux équipes d'évaluer toutes les techniques simultanément par rapport à leurs propres données, le modèle le plus performant étant automatiquement sélectionné pour chaque série temporelle.

Le framework s'exécute nativement sur Databricks, en utilisant le calcul distribué pour traiter le volume requis par les problèmes de prévision des entreprises du commerce de détail et des CPG. Des dizaines d'entreprises exécutent désormais des pipelines de production sur MMF pour des décisions de planification qui affectent directement le chiffre d'affaires et les investissements en stocks. L'amélioration de la précision et la réduction des efforts de prévision manuelle ont été des résultats constants dans l'ensemble de ces déploiements.

Mais MMF restait un outil pour les experts. L'obstacle n'a jamais été le framework lui-même. C'était le niveau de connaissances requis pour le configurer correctement, prendre des décisions judicieuses concernant la configuration du calcul, la préparation des données et la conception de l'évaluation, et interpréter les résultats d'une manière qui puisse réellement éclairer les décisions de planification. MMF a accéléré les prévisions de niveau expert. Il ne les a pas encore rendues accessibles.

MMF Agent : la prévision guidée pour le reste de l'entreprise

MMF Agent comble cette lacune. Conçu sur Genie Code, l'assistant de codage IA de Databricks, MMF Agent enveloppe le framework MMF dans un workflow interactif et guidé qui accompagne les équipes tout au long du pipeline de prévision, des données brutes au déploiement des prévisions, sans nécessiter d'expertise technique approfondie pour fonctionner.

L'agent fonctionne en cinq étapes. Il commence par examiner les données d'entrée, identifier les problèmes de qualité, gérer les valeurs manquantes et les anomalies, et s'assurer que tout est correctement structuré pour le moteur de prévision. Il profile et classifie ensuite les séries temporelles du jeu de données, en séparant les séries prévisibles de celles dont le signal est insuffisant. Cette étape est facile à ignorer lors de l'exécution manuelle de MMF, mais elle améliore systématiquement la précision et l'efficacité du calcul en orientant les ressources là où elles auront le plus d'impact. À partir de là, l'agent configure l'infrastructure de calcul appropriée pour les modèles évalués, exécute les tâches de prévision, effectue le post-traitement et la sélection des modèles, puis présente les résultats en des termes liés aux objectifs commerciaux qui intéressent réellement l'équipe de planification. La courte démonstration ci-dessous montre un planificateur de la demande franchissant chacune de ces étapes avec MMF Agent dans Genie Code.

Ce qui différencie cette approche d'une simple automatisation de workflow, c'est que l'agent est interactif. Il s'appuie sur l'intégration de Genie Code avec Unity Catalog pour comprendre l'ensemble de l'environnement de données de l'entreprise, ce qui lui permet de formuler des recommandations éclairées sur les jeux de données à utiliser, sur la manière d'enrichir les données d'entraînement avec des variables externes pertinentes et sur la façon d'interpréter les métriques de précision des prévisions en termes commerciaux. Un responsable de la planification qui comprend son activité mais n'est pas data scientist peut interagir avec MMF Agent dans le langage de la planification de la demande (promotions, saisonnalité, mix de canaux, horizons de planification) et recevoir des conseils basés à la fois sur les meilleures pratiques de prévision et sur les spécificités de ses données.

Ce que cela signifie pour les équipes de planification de la demande

Le principal avantage immédiat est la rapidité. Les travaux de configuration et d'expérimentation qui nécessitaient auparavant des jours d'efforts de la part de data scientists qualifiés peuvent désormais être réalisés en quelques heures. Ce gain de temps est crucial dans un environnement de planification, car il permet aux équipes de mener davantage d'expériences, de tester plus de configurations de modèles et de réagir plus rapidement en cas d'évolution des conditions du marché. C'est essentiel lorsque les modèles historiques cessent d'être des guides fiables.

La précision des prévisions a également tendance à s'améliorer. Les étapes de préparation des données et de classification des séries pour lesquelles MMF Agent guide les équipes permettent d'obtenir des données d'entraînement plus propres et une sélection de modèles mieux ciblée que ce que permettent généralement les approches manuelles.

Le changement le plus important est peut-être la portée. Les équipes de planification de la demande qui ne disposent pas de data scientists dédiés aux prévisions peuvent désormais opérer avec un niveau de rigueur méthodologique qui était auparavant hors de portée. La barrière de l'expertise qui limitait la prévision multi-modèles aux entreprises disposant de talents spécialisés n'est plus ce qu'elle était, ouvrant cette approche à un éventail beaucoup plus large d'entreprises de taille intermédiaire du commerce de détail et des CPG.

Pour les équipes disposant de solides compétences techniques, MMF Agent facilite également la personnalisation du framework. MMF a toujours été open source, mais en pratique, seule une poignée d'équipes disposait de l'expertise nécessaire pour le modifier. Lorsque l'agent a accès à la fois au code source et aux compétences de guidage, il peut accompagner les ingénieurs dans les modifications en langage clair : ajout d'une nouvelle classe de modèle, ajustement de la logique de backtesting et intégration d'une métrique de précision spécifique à l'activité. Des modifications qui nécessitaient autrefois une connaissance approfondie du framework deviennent accessibles à un éventail beaucoup plus large d'ingénieurs.

Pour commencer

MMF et MMF Agent sont disponibles dès aujourd'hui. Les compétences de MMF Agent sont disponibles dans le dépôt GitHub Many Model Forecasting, ainsi que la documentation et des exemples de notebooks couvrant l'intégralité du workflow. Installez les compétences dans Genie Code ou dans un environnement d'agent local, et votre assistant s'occupera du reste.

Pour les responsables de la planification de la demande qui souhaitent obtenir de meilleures prévisions avec l'équipe et les outils dont ils disposent déjà, cela vaut bien une heure de votre temps pour le découvrir.

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original