Apresentando o MMF Agent para equipes de planejamento de demanda
por Ryuta Yoshimatsu , Puneet Jain, Lourdes Angélica Martinez Medina, Lucas Bruand e Dael Williamson
*A previsão de demanda corporativa tornou-se complexa demais para as ferramentas legadas — milhões de séries temporais, a proliferação de SKUs e ciclos de planejamento apertados superaram tanto a tecnologia quanto os talentos disponíveis para executá-la
*O MMF Agent é um fluxo de trabalho de AI guiado, construído no Genie Code, que torna o framework de previsão de múltiplos modelos da Databricks acessível sem a necessidade de conhecimento profundo em ciência de dados
*As equipes que usam o MMF Agent reduzem dias de configuração para horas, geram dados de treinamento mais limpos e alcançam melhorias de precisão de múltiplos modelos que antes eram limitadas a organizações com talentos especializados em previsão
A previsão de demanda sempre esteve no centro do planejamento de varejo e CPG. Ela molda as decisões de inventário, informa os cronogramas de produção, direciona o investimento em promoção comercial e define as condições para cada conversa de S&OP subsequente. Quando a previsão falha, os custos se acumulam rapidamente, levando à ruptura de estoque, excesso de inventário, erosão de margem e interrupções downstream que afetam tanto a cadeia de suprimentos quanto as equipes comerciais.
O que mudou nos últimos anos não foi a importância da previsão, mas sim o grau de dificuldade.
Há uma década, um planejador de demanda trabalhando com alguns milhares de SKUs em um punhado de canais conseguia gerenciar a qualidade da previsão com uma combinação de modelos estatísticos, planilhas e conhecimento institucional duramente adquirido. Esse mundo não existe mais para a maioria das organizações de varejo e CPG. A proliferação de SKUs, o crescimento explosivo dos canais de e-commerce, a fragmentação regional e o surgimento de SKUs promocionais de ciclo de vida curto criaram ambientes de previsão que a maioria das ferramentas legadas nunca foi projetada para lidar.
Onde antes um planejador gerenciava centenas de séries temporais, os problemas de previsão empresarial de hoje envolvem rotineiramente centenas de milhares, às vezes muito mais. Cada série temporal tem seu próprio perfil de sazonalidade, suas próprias características de sinal-ruído e sua própria sensibilidade a variáveis externas, como promoções, clima e condições macroeconômicas. As técnicas estatísticas que funcionavam bem em escalas menores simplesmente não se generalizam de forma confiável com esse volume e variedade. A precisão cai. O gerenciamento de exceções se torna insustentável. A previsão perde sua autoridade como insumo de planejamento.
A resposta que as equipes de previsão mais sofisticadas adotaram é uma abordagem multimodelo: em vez de selecionar uma única técnica e aplicá-la uniformemente, você avalia uma variedade de modelos em relação aos seus dados reais e deixa que os resultados determinem qual deles tem o melhor desempenho para cada série temporal. Na prática, isso gera uma precisão visivelmente melhor, mas também cria um novo desafio.
Executar uma avaliação rigorosa de previsão multimodelo em escala empresarial não é uma tarefa que possa ser entregue a um analista de negócios ou a um cientista de dados recém-contratado. Isso exige profunda familiaridade com métodos estatísticos de previsão, abordagens modernas de machine learning e deep learning e, cada vez mais, com a classe de modelos de fundação baseados em arquiteturas de transformadores que surgiram nos últimos anos como uma ferramenta promissora para previsão de séries temporais. Também requer a capacidade de configurar e operar uma infraestrutura de computação distribuída na escala necessária para processar milhões de séries temporais dentro de um ciclo de planejamento.
Essa especialização é escassa. As funções de planejamento de demanda competem com todas as outras áreas da empresa por talentos em ciência de dados, e a combinação específica de conhecimento do domínio de previsão e fluência em sistemas distribuídos que esse trabalho exige é genuinamente rara. As equipes que a possuem são produtivas. As equipes que não a têm encontram-se presas a abordagens legadas com desempenho inferior ao das alternativas modernas ou dependentes de um único especialista cuja saída cria um risco organizacional real.
Mesmo para organizações que contam com esses talentos, configurar um experimento de previsão adequado (configurar recursos de computação, preparar e limpar dados, selecionar parâmetros de avaliação, executar backtests, interpretar resultados) pode levar dias ou semanas antes que uma única comparação de modelos seja concluída. Em um ambiente de planejamento onde o ritmo é medido em semanas, esse tempo de ciclo costuma ser simplesmente lento demais.
Em 2024, a Databricks lançou o Many Model Forecasting (MMF), um framework de código aberto criado para previsão de séries temporais multimodelo em grande escala. O MMF integra mais de 35 modelos de previsão extraídos das principais bibliotecas de código aberto, incluindo abordagens estatísticas do statsforecast e sktime, modelos de deep learning do neuralforecast e modelos de fundação de séries temporais do Chronos e TimesFM. Em vez de se comprometer com uma única técnica, o MMF permite que as equipes avaliem todas as técnicas simultaneamente em relação aos seus próprios dados, com o modelo de melhor desempenho selecionado automaticamente para cada série temporal.
O framework roda nativamente na Databricks, usando computação distribuída para processar o volume que os problemas de previsão de varejo e CPG das empresas exigem. Dezenas de empresas agora executam pipelines de produção no MMF para decisões de planejamento que afetam diretamente a receita e o investimento em inventário. Melhorias na precisão e reduções no esforço de previsão manual têm sido resultados consistentes nessas implementações.
Mas o MMF continuou sendo uma ferramenta para especialistas. A barreira nunca foi o framework em si. Era a profundidade do conhecimento necessário para configurá-lo corretamente, tomar decisões acertadas sobre a configuração de computação, preparação de dados e design de avaliação, e interpretar os resultados de uma forma que pudesse realmente informar as decisões de planejamento. O MMF tornou a previsão de nível especialista mais rápida. Mas ainda não a tornou acessível.
O MMF Agent resolve essa lacuna. Desenvolvido no Genie Code, o assistente de codificação com AI da Databricks, o MMF Agent envolve o framework MMF em um fluxo de trabalho interativo e guiado que conduz as equipes por todo o pipeline de previsão, desde os dados brutos até a previsão implantada, sem exigir profunda experiência técnica para operar.
O agente opera em cinco etapas. Ele começa examinando os dados de entrada, identificando problemas de qualidade, tratando valores ausentes e anomalias e garantindo que tudo esteja estruturado corretamente para o motor de previsão. Em seguida, ele traça o perfil e classifica as séries temporais no conjunto de dados, separando as séries previsíveis daquelas com sinal insuficiente. Essa etapa é fácil de ignorar ao executar o MMF manualmente, mas melhora consistentemente tanto a precisão quanto a eficiência computacional, direcionando os recursos para onde eles terão maior impacto. A partir daí, o agente configura a infraestrutura de computação apropriada para os modelos que estão sendo avaliados, executa os jobs de previsão e realiza o pós-processamento e a seleção de modelos, apresentando os resultados em termos que se conectam aos resultados de negócios com os quais a equipe de planejamento realmente se importa. A breve demonstração abaixo mostra um planejador de demanda passando por cada uma dessas etapas com o MMF Agent no Genie Code.
O que diferencia isso da simples automação de um fluxo de trabalho é que o agente é interativo. Ele aproveita a integração do Genie Code com o Unity Catalog para entender todo o ambiente de dados da organização, permitindo fazer recomendações informadas sobre quais conjuntos de dados usar, como enriquecer os dados de treinamento com variáveis externas relevantes e como interpretar as métricas de precisão de previsão em termos de negócios. Um líder de planejamento que entende do seu negócio, mas não é um cientista de dados, pode interagir com o MMF Agent na linguagem do planejamento de demanda (promoções, sazonalidade, mix de canais, horizontes de planejamento) e receber orientações baseadas tanto nas melhores práticas de previsão quanto nas especificidades de seus dados.
O benefício mais imediato é a velocidade. O trabalho de configuração e experimentação que antes exigia dias de esforço especializado em ciência de dados pode ser concluído em horas. Essa redução de tempo é importante em um ambiente de planejamento porque significa que as equipes podem executar mais experimentos, testar mais configurações de modelos e responder mais rapidamente quando as condições do mercado mudarem. Isso é fundamental quando os padrões históricos deixam de ser guias confiáveis.
A precisão da previsão também tende a melhorar. As etapas de preparação de dados e classificação de séries pelas quais o MMF Agent guia as equipes produzem dados de treinamento mais limpos e uma seleção de modelos direcionada de forma mais eficaz do que as abordagens manuais costumam alcançar.
No entanto, talvez a mudança mais consequente seja o alcance. As equipes de planejamento de demanda que não contam com cientistas de dados dedicados à previsão agora podem operar com um nível de rigor metodológico que antes estava fora de alcance. A barreira de especialização que mantinha a previsão multimodelo restrita a organizações com talentos especializados já não é a mesma, abrindo essa abordagem para uma gama muito mais ampla de organizações de varejo e CPG de médio porte.
Para equipes que possuem forte profundidade técnica, o MMF Agent também facilita a personalização do framework. O MMF sempre foi de código aberto, mas, na prática, apenas algumas equipes tinham a experiência necessária para modificá-lo. Quando o agente tem acesso tanto ao código-fonte quanto às habilidades de orientação, ele pode guiar os engenheiros pelas alterações em linguagem simples: adicionar uma nova classe de modelo, ajustar a lógica de backtesting e integrar uma métrica de precisão específica do negócio. Modificações que antes exigiam um conhecimento profundo do framework tornam-se acessíveis para uma gama muito mais ampla de engenheiros.
O MMF e o MMF Agent já estão disponíveis. As habilidades do MMF Agent estão disponíveis no repositório do GitHub Many Model Forecasting, junto com a documentação e notebooks de exemplo que cobrem todo o fluxo de trabalho. Instale as habilidades no Genie Code ou em um ambiente de agente local, e seu assistente cuidará do resto.
Para líderes de planejamento de demanda que desejam previsões melhores com a equipe e as ferramentas que já possuem, vale a pena dedicar uma hora do seu tempo para explorar esta solução.
(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original
Assine nosso blog e receba os posts mais recentes diretamente na sua caixa de entrada.