A equipe central de infraestrutura de dados da Panasonic EUA tem uma missão ambiciosa: servir como base fundamental de dados para múltiplas unidades de negócios, abrangendo vendas, cadeia de suprimentos, RH e muito mais. Ao ter que lidar com pipelines de ETL legados e data warehouses fragmentados que desaceleravam a produção diária de relatórios, por vezes com janelas de ingestão de várias horas e falhas imprevisíveis, a equipe tomou a decisão estratégica de modernizar os sistemas do zero. Ao padronizar a utilização da Databricks Platform e do Lakeflow, a equipe transformou uma infraestrutura frágil e isolada em uma base confiável para toda a empresa. Processos que antes levavam horas agora são concluídos em poucos minutos; os analistas têm acesso direto a dados que antes estavam fora de alcance; e a equipe já está de olho na próxima inovação: a IA.
Pipelines legados fragmentados interrompem operações empresariais multifuncionais
A equipe central de infraestrutura de dados e TI da Panasonic gerencia a estratégia geral de dados para diversas empresas e unidades de negócios internas. Para garantir as operações diárias, a previsão de vendas e a gestão da cadeia de suprimentos, os líderes de negócios dependem fortemente de sistemas empresariais como SAP S/4HANA, Workday e sistemas globais de ponto de venda (POS). No entanto, a pilha de dados legada da Panasonic, composta por ferramentas ETL desconectadas e data warehouses complexos, tinha dificuldades para lidar com o volume e as complicações desses dados, gerando problemas significativos de desempenho e resiliência.
O gargalo mais crítico era a ingestão de dados do SAP. Ao reconhecer as limitações dos processos legados de captura de dados de alterações (CDC), a equipe de engenharia buscou uma abordagem mais confiável, mas a arquitetura existente os obrigou a executar atualizações completas de dados em mais de 100 tabelas todos os dias. Tabelas transacionais massivas com centenas de milhões de linhas exigiam partições complexas e frequentemente causavam falhas em pipelines legados. Essas cargas pesadas levavam de cinco a seis horas para serem concluídas e falhavam aproximadamente 10 vezes por ano, exigindo horas ou dias inteiros de trabalho para solucionar o problema, e envolvia diversas equipes de TI. Para uma dessas unidades de negócios internas, que seguia rígidos prazos de entrega de relatórios no início da manhã, essas interrupções causavam atrasos dispendiosos. A diretoria ficava sem os relatórios diários de vendas, de estoque e de logística necessários para tomar decisões críticas de negócios, o que acabava interrompendo as operações diárias. Além disso, dados valiosos ficavam trancados em silos de bancos de dados legados, criando barreiras de visibilidade para analistas de Business Intelligence (BI) downstream que precisavam de acesso a dados brutos para executar previsões precisas.
A padronização da ingestão empresarial com o Lakeflow Connect
Para estabelecer um base de dados centralizada e resiliente, a Panasonic migrou para a Databricks Platform e passou a usar o Lakeflow Connect ativamente para padronizar a ingestão de dados nas principais fontes de dados da empresa.
A prioridade mais urgente adotar o SAP S/4HANA. Ao se integrar ao SAP Datasphere para armazenar arquivos no Azure Data Lake Storage (ADLS), a Panasonic implantou o Auto Loader (parte do Lakeflow Connect) para gerenciar de forma contínua a ingestão incremental em um de seus pipelines mais sujeitos a falhas. Essa arquitetura moderna forneceu uma base estável e automatizada, por uma fração do custo operacional. Os resultados foram sentidos imediatamente.
A partir daí, a equipe aplicou a mesma abordagem a outros sistemas críticos. Dados de RH e força de trabalho que antes eram difíceis de acompanhar historicamente agora são ingeridos pelo conector Workday em tabelas estruturadas e relacionais que capturam mudanças como transições de gestores e recontratações de funcionários ao longo do tempo. Além disso, o conector SFTP coleta continuamente dados globais da cadeia de suprimentos, incluindo dados de ponto de venda, métricas de envio e registros de fabricação da sede da Panasonic no Japão. Esses dados, sensíveis ao tempo e formatados em arquivos CSV e Excel, são disponibilizados para analítica da cadeia de suprimentos em tempo quase real.
Além dos dados estruturados e semiestruturados, a Panasonic agora está lidando com o desafio de repositórios não estruturados de documentos PDF. Ao conectar o SharePoint ao ambiente Databricks, a equipe automatizou o processamento de milhares de documentos complexos, jurídicos e de fornecedores. Usando o Databricks Document Intelligence (ai_parse_document e ai_query), a equipe conseguiu processar e extrair dezenas de campos-chave com alta precisão em resultados estruturados, transformando documentos estáticos em dados dinâmicos e consultáveis.
"Processar 10 mil contratos de fornecedores e acordos mestre de serviços costumava ser um trabalho manual de duas semanas usando nossa pilha legada. Com o conector Databricks SharePoint, o compute serverless e o Databricks Document Intelligence, reduzimos todo esse fluxo de trabalho, da ingestão à extração de datas de validade críticas, para apenas duas a três horas." – Shingo Sakamoto, arquiteto de dados principal de TI, Panasonic
Por trás de tudo isso, há uma camada unificada de governança via Unity Catalog, que permite à equipe compartilhar dados de forma segura entre unidades de negócios, sem duplicação. Em todas essas fontes, a equipe usa o compute serverless da Databricks para executar notebooks ETL de alto desempenho muito mais rapidamente.
"Em nosso ambiente legado, as enormes tabelas SAP exigiam de cinco a seis horas para serem carregadas, e falhavam com frequência. Ao padronizar com a Databricks e usar o Auto Loader, a ingestão da nossa maior tabela caiu de muitas horas para apenas dois minutos. Nossos pipelines estão completamente estáveis agora, garantindo a entrega de relatórios em tempo hábil à nossa diretoria." — Yuka Kato, engenheira líder de dados, Panasonic
Dados confiáveis, impacto em toda a empresa
Hoje, os líderes de negócios da Panasonic começam todas as manhãs com os materiais de que precisam: relatórios precisos e pontuais que abrangem vendas diárias, faturamento e estoque, entregues dentro do prazo. O processamento de dados de ponta a ponta para todas as tabelas Silver é concluído em aproximadamente 30 minutos, e a confiabilidade que antes parecia impossível simplesmente se tornou o novo padrão.
O impacto vai além do desempenho. Ao desativar licenças custosas de data warehouse, ETL e BI legadas, a equipe obteve uma redução significativa no custo total de propriedade (TCO). Como resultado, isso liberou o orçamento e recursos, permitindo que as equipes focassem em trabalhos de maior valor agregado. E com uma base de dados confiável implementada, o acesso foi ampliado para toda a organização. Analistas de BI agora podem explorar os dados diretamente, reduzindo os tempos de carregamento e atualização em aproximadamente 50%. Os representantes de vendas e gerentes regionais estão criando suas próprias visualizações e modelos de previsão.
"A Databricks deu mais autonomia aos nossos analistas de dados, permitindo explorar dados brutos diretamente, colaborar em notebooks compartilhados e trabalhar mais rápido do que nunca. Como resultado dessa eficiência operacional, nossa pequena equipe de ciência de dados consegue oferecer soluções em escala empresarial." – Jerry Deng, Diretor de BI, Panasonic
Com uma base de dados estável e unificada, essa mesma estratégia de acesso está transformando as ambições da Panasonic em IA. A equipe está implementando um workspace Genie para dar à equipe não técnica de orçamentos acesso de autoatendimento ao histórico de preços e às percepções preditivas.
"Nossa equipe de orçamentos não pensa em SQL; eles pensam em clientes e produtos. O Genie fornece tudo o que precisam, transformando perguntas sobre preços em respostas instantâneas e permitindo que uma pequena equipe de dados gere impacto em toda a empresa." - Elena Gusakova, Cientista de Dados Sênior, Panasonic
