Teste de Estresse em Redes de Cadeia de Suprimentos em Escala no Databricks

Introdução

Na recente guerra comercial, governos têm armado o comércio através de ciclos de tarifas retaliatórias, cotas e proibições de exportação. As ondas de choque se espalharam pelas redes de cadeia de suprimentos e forçaram as empresas a redirecionar a origem, repatriar a produção e estocar insumos críticos - medidas que prolongam os prazos de entrega e corroem as operações enxutas e just-in-time. Cada desvio tem um custo: aumento dos preços de entrada, aumento das despesas de logística e excesso de estoque amarrando o capital de giro. Como resultado, as margens de lucro diminuem, a volatilidade do fluxo de caixa aumenta e os riscos do balanço se intensificam.

A guerra comercial foi um evento singular que pegou as cadeias de suprimentos globais de surpresa? Talvez em seus detalhes específicos, mas a magnitude da interrupção estava longe de ser inédita. No espaço de apenas alguns anos, a pandemia de COVID-19, o bloqueio do Canal de Suez em 2021 e a contínua guerra Russo-Ucraniana cada um entregou grandes choques, ocorrendo aproximadamente um ano de intervalo. Esses eventos, difíceis de prever, causaram uma interrupção substancial nas cadeias de suprimentos globais. 

O que pode ser feito para se preparar para tais eventos disruptivos? Em vez de reagir em pânico a mudanças de última hora, as empresas podem tomar decisões informadas e tomar medidas proativas antes que uma crise se desenrole? Um artigo bem citado do professor do MIT David Simchi-Levi oferece uma abordagem convincente e baseada em dados para este desafio. No cerne de seu método está a criação de um gêmeo digital - um modelo baseado em gráfico onde os nós representam locais e instalações na cadeia de suprimentos, e as arestas representam o fluxo de materiais entre eles. Uma ampla gama de cenários de interrupção é então aplicada à rede, e suas respostas são medidas. Por meio desse processo, as empresas podem avaliar impactos potenciais, descobrir vulnerabilidades ocultas e identificar investimentos redundantes.

Este processo, conhecido como teste de estresse, tem sido amplamente adotado em várias indústrias. Ford Motor Company, por exemplo, aplicou esta abordagem em suas operações e rede de fornecimento, que inclui mais de 4.400 locais de fornecedores diretos, centenas de milhares de fornecedores de níveis inferiores, mais de 50 instalações próprias da Ford, 130.000 peças únicas e mais de $80 bilhões em compras externas anuais. Sua análise revelou que aproximadamente 61% dos locais de fornecedores, se interrompidos, não teriam impacto nos lucros - enquanto cerca de 2% teriam um impacto significativo. Essas percepções reformularam fundamentalmente sua abordagem para gerenciamento de risco da cadeia de suprimentos.

O restante deste post de blog fornece uma visão geral de alto nível de como implementar tal solução e realizar uma análise abrangente no Databricks. Os notebooks de suporte são de código aberto e estão disponíveis aqui.

Teste de Estresse em Redes de Cadeia de Suprimentos no Databricks

Imagine um cenário em que estamos trabalhando para um varejista global ou uma empresa de bens de consumo e temos a tarefa de melhorar a resiliência da cadeia de suprimentos. Isso significa especificamente garantir que nossa rede de cadeia de suprimentos possa atender à demanda do cliente durante futuros eventos disruptivos na maior extensão possível. Para alcançar isso, devemos identificar locais e instalações vulneráveis dentro da rede que poderiam causar danos desproporcionais se falhassem e reavaliar nossos investimentos para mitigar os riscos associados. Identificar locais de alto risco também nos ajuda a reconhecer os de baixo risco. Se descobrirmos áreas onde estamos investindo demais, podemos realocar esses recursos para equilibrar a exposição ao risco ou reduzir custos desnecessários.

O primeiro passo para alcançar nosso objetivo é construir um gêmeo digital de nossa rede de cadeia de suprimentos. Neste modelo, locais de fornecedores, instalações de produção, armazéns e centros de distribuição podem ser representados como nós em um gráfico, enquanto as arestas entre eles capturam o fluxo de materiais em toda a rede. A criação deste modelo requer dados operacionais como níveis de estoque, capacidades de produção, listas de materiais e demanda do produto. Ao usar esses dados como entradas para um programa de otimização linear - projetado para otimizar uma métrica chave, como lucro ou custo - podemos determinar a configuração ótima da rede para esse objetivo específico. Isso nos permite identificar quanto material deve ser obtido de cada subfornecedor, onde ele deve ser transportado e como ele deve se mover até os locais de produção para otimizar a métrica selecionada - uma abordagem de otimização da cadeia de suprimentos amplamente adotada por muitas organizações. O teste de estresse vai um passo além - introduzindo os conceitos de tempo para recuperação (TTR) e tempo para sobreviver (TTS).

Tempo para Recuperar (TTR)

TTR é uma das principais entradas para a rede. Isso indica quanto tempo um nó - ou um grupo de nós - leva para se recuperar ao seu estado normal após uma interrupção. Por exemplo, se um dos locais de produção do seu fornecedor sofre um incêndio e fica inoperante, o TTR representa o tempo necessário para que esse local retome o fornecimento em sua capacidade anterior. TTR é normalmente obtido diretamente dos fornecedores ou através de avaliações internas.

Com o TTR em mãos, começamos a simular cenários disruptivos. Por trás disso, envolve a remoção ou limitação da capacidade de um nó - ou um conjunto de nós - afetados pela interrupção e permitindo que a rede reotimize sua configuração para maximizar o lucro ou minimizar o custo em todos os produtos sob as restrições dadas. Em seguida, avaliamos a perda financeira de operar sob essa nova configuração e calculamos o impacto cumulativo durante a duração do TTR. Isso nos dá o impacto estimado da interrupção específica. Repetimos esse processo para milhares de cenários em paralelo usando as capacidades de computação distribuída do Databricks.

Abaixo está um exemplo de uma análise realizada em uma rede de vários níveis que produz 200 produtos acabados, com materiais provenientes de 500 fornecedores de primeiro nível e 1000 fornecedores de segundo nível. Os dados operacionais foram gerados aleatoriamente dentro de restrições razoáveis. Para os cenários disruptivos, cada nó de fornecedor foi removido individualmente do gráfico e atribuído um TTR aleatório. O gráfico de dispersão abaixo mostra o gasto total em locais de fornecedores para mitigação de risco no eixo vertical e lucro perdido no eixo horizontal. Esta visualização nos permite identificar rapidamente áreas onde o investimento em mitigação de risco é subdimensionado em relação ao potencial dano de uma falha de nó (caixa vermelha), bem como áreas onde o investimento é superdimensionado em comparação com o risco (caixa verde). Ambas as regiões apresentam oportunidades para revisitar e otimizar nossa estratégia de investimento - seja para aumentar a resiliência da rede ou para reduzir custos desnecessários.

Tempo-para-sobreviver (TTS)

TTS oferece outra perspectiva sobre o risco associado à falha do nó. Ao contrário do TTR, o TTS não é uma entrada, mas uma saída - uma variável de decisão. Quando uma interrupção ocorre e impacta um nó ou um grupo de nós, o TTS indica quanto tempo a rede reconfigurada pode continuar atendendo à demanda do cliente sem qualquer perda. O risco se torna mais pronunciado quando o TTR é significativamente mais longo que o TTS. 

Abaixo está outra análise realizada na mesma rede. O histograma mostra a distribuição das diferenças entre TTR e TTS para cada nó. Nós com um TTR - TTS negativo geralmente não são uma preocupação - assumindo que os valores de TTR fornecidos são precisos. No entanto, nós com um TTR - TTS positivo podem incorrer em perda financeira, especialmente aqueles com uma grande lacuna. Para melhorar a resiliência da rede, devemos reavaliar e potencialmente reduzir o TTR renegociando termos com fornecedores, aumentar o TTS construindo buffers de estoque, ou diversificar a estratégia de sourcing.

Ao combinar a análise TTR e TTS, podemos obter uma compreensão mais profunda da resiliência da rede de cadeia de suprimentos. Este exercício pode ser realizado estrategicamente em uma base anual ou trimestral para informar decisões de fornecimento, ou mais taticamente em uma base semanal ou diária para monitorar os níveis de risco flutuantes em toda a rede - ajudando a garantir operações de cadeia de suprimentos suaves e responsivas.

Em um cluster leve de quatro nós, as análises TTR e TTS foram concluídas em 5 e 40 minutos respectivamente na rede descrita acima (1.700 nós) - tudo por menos de $10 em gastos na nuvem. Isso destaca a impressionante velocidade e custo-benefício da solução. No entanto, à medida que a complexidade da cadeia de suprimentos e os requisitos de negócios crescem - com maior variabilidade, interdependências e casos extremos - a solução pode exigir maior poder computacional e mais simulações para manter a confiança nos resultados.

Por que escolher Databricks?

Toda solução baseada em dados depende da qualidade e completude do conjunto de dados de entrada - e o teste de estresse não é exceção. As empresas precisam de dados operacionais de alta qualidade de seus fornecedores e subfornecedores, incluindo informações sobre listas de materiais, estoque, capacidades de produção, demanda, TTR e mais. Coletar e curar esses dados não é trivial. Além disso, construir um framework de teste de estresse transparente e flexível que reflita os aspectos únicos de seu negócio requer acesso a uma ampla gama de ferramentas de código aberto e de terceiros - e a capacidade de selecionar a combinação certa. Em particular, isso inclui solucionadores LP e frameworks de modelagem. Finalmente, a eficácia do teste de estresse depende da amplitude dos cenários de interrupção considerados. Executar um conjunto tão abrangente de simulações exige acesso a recursos de computação altamente escaláveis.

Databricks é a plataforma ideal para construir este tipo de solução. Embora existam muitos motivos, os mais importantes incluem:

1. Delta Sharing: O acesso a dados operacionais atualizados é essencial para desenvolver uma solução de cadeia de suprimentos resiliente. Delta Sharing é uma poderosa capacidade que permite a troca de dados sem problemas entre empresas e seus fornecedores - mesmo quando uma das partes não está usando a plataforma Databricks. Uma vez que os dados estão disponíveis no Databricks, analistas de negócios, engenheiros de dados, cientistas de dados, estatísticos e gerentes podem colaborar na solução dentro de uma plataforma unificada e inteligente para dados.
2. Padrões Abertos: O Databricks integra-se perfeitamente com uma ampla gama de tecnologias de código aberto e de terceiros, permitindo que as equipes aproveitem ferramentas e bibliotecas familiares com o mínimo de atrito. Os usuários têm a flexibilidade de definir e modelar seus próprios problemas de negócios, adaptando soluções às necessidades operacionais específicas. As ferramentas de código aberto fornecem total transparência em seus internos - crucial para a auditabilidade, validação e melhoria contínua - enquanto as ferramentas proprietárias podem oferecer vantagens de desempenho. No Databricks, você tem a liberdade de escolher as ferramentas que melhor atendem às suas necessidades.
3. Escalaridade: Resolver problemas de otimização em redes com milhares de nós é computacionalmente intensivo. O teste de estresse requer a execução de simulações em dezenas de milhares de cenários de interrupção - seja para planejamento estratégico (anual/trimestral) ou tático (semanal/diário) - o que exige uma plataforma altamente escalável. Databricks se destaca nesta área, oferecendo escalabilidade horizontal para lidar eficientemente com cargas de trabalho complexas, alimentado por forte integração com frameworks de computação distribuída como Ray e Spark.

Resumo

As cadeias de suprimentos globais muitas vezes carecem de visibilidade sobre as vulnerabilidades da rede e lutam para prever quais locais de fornecedores ou instalações causariam o maior dano durante as interrupções - levando a um gerenciamento de crise reativo. Neste artigo, apresentamos uma abordagem para construir um gêmeo digital da rede de cadeia de suprimentos, aproveitando os dados operacionais e executando simulações de teste de estresse que avaliam as métricas de Tempo para Recuperar (TTR) e Tempo para Sobreviver (TTS) em milhares de cenários de interrupção na plataforma escalável do Databricks. Este método permite que as empresas otimizem os investimentos em mitigação de riscos identificando nós de alto impacto e vulneráveis - semelhante à descoberta da Ford de que apenas uma pequena fração dos locais de fornecedores afeta significativamente os lucros - enquanto evita o superinvestimento em áreas de baixo risco. O resultado é a preservação das margens de lucro e a redução dos custos da cadeia de suprimentos.

Databricks é idealmente adequado para esta abordagem, graças à sua arquitetura escalável, Delta Sharing para troca de dados em tempo real, e integração perfeita com ferramentas de código aberto e de terceiros para modelagem transparente, flexível, eficiente e econômica da cadeia de suprimentos. Baixe os notebooks para explorar como o teste de estresse das redes de cadeia de suprimentos em escala pode ser implementado no Databricks.

(This blog post has been translated using AI-powered tools) Original Post