Il team centrale che gestisce l’infrastruttura dati di Panasonic US ha una missione ambiziosa: fungere da backbone dati per numerose business unit che spaziano dalle vendite alla supply chain, fino alle risorse umane e oltre. Quando pipeline ETL legacy e data warehouse frammentati hanno iniziato a rallentare la reportistica quotidiana con finestre di ingestione di diverse ore e guasti imprevedibili, il team ha preso la decisione strategica di modernizzare l'intera architettura partendo dalle fondamenta. Standardizzando sulla piattaforma Databricks e Lakeflow, Panasonic ha trasformato uno stack fragile e frammentato in una base dati affidabile e condivisa a livello aziendale. Processi che prima richiedevano ore vengono ora completati in pochi minuti, gli analisti possono accedere direttamente a dati che prima erano irraggiungibili e il team sta già lavorando alla prossima frontiera: l'AI.
Pipeline legacy frammentate ostacolano le operazioni aziendali interfunzionali
Il team centrale Data e IT Infrastructure di Panasonic guida la strategia dati complessiva per diverse società interne e business unit. Per supportare le attività operative quotidiane, le previsioni di vendita e la gestione della supply chain, i leader aziendali fanno forte affidamento su sistemi enterprise come SAP S/4HANA, Workday e sistemi POS (point-of-sale) globali. Tuttavia, lo stack dati legacy di Panasonic, composto da strumenti ETL scollegati tra loro e data warehouse complessi, faticava a gestire il volume e la complessità di questi dati, causando gravi problemi di prestazioni e resilienza.
Il collo di bottiglia più critico era rappresentato dall'ingestione dei dati SAP. Riconoscendo i limiti dei tradizionali processi di Change Data Capture (CDC), il team di engineering ha cercato un approccio più affidabile, ma l'architettura esistente li costringeva a eseguire ogni giorno aggiornamenti completi dei dati su oltre 100 tabelle. Le enormi tabelle transazionali con centinaia di milioni di righe richiedevano partizionamenti complessi e causavano frequenti errori nelle pipeline legacy. Questi carichi di lavoro pesanti richiedevano dalle cinque alle sei ore per essere completati e andavano in errore circa 10 volte l'anno, rendendo necessarie ore, o addirittura intere giornate, di troubleshooting intensivo tra più team IT. Per una di queste business unit interne, soggetta a rigide scadenze per la reportistica nelle prime ore del mattino, queste interruzioni causavano ritardi costosi. Il management si ritrovava spesso senza i report giornalieri su vendite, inventario e logistica necessari per prendere decisioni aziendali critiche, con un impatto diretto sulle operazioni quotidiane. Inoltre, dati preziosi rimanevano confinati nei silos dei database legacy, creando ostacoli alla visibilità per gli analisti di Business Intelligence (BI) a valle che avevano bisogno di accedere ai dati grezzi per produrre previsioni accurate.
Standardizzazione dell'acquisizione dei dati a livello aziendale con Lakeflow Connect
Per creare una solida infrastruttura dati centralizzata, Panasonic ha effettuato la migrazione alla piattaforma Databricks, utilizzando attivamente Lakeflow Connect per standardizzare l'ingestione dalle principali sorgenti di dati aziendali.
La priorità più urgente era SAP S/4HANA. Integrandosi con SAP Datasphere per trasferire i file in Azure Data Lake Storage (ADLS), Panasonic ha implementato Auto Loader (parte di Lakeflow Connect) per gestire senza soluzione di continuità l'ingestione incrementale di una delle pipeline più soggette a errori. Questa moderna architettura ha fornito una soluzione stabile e automatizzata che richiedeva una frazione dei costi operativi precedenti. I risultati sono stati immediati.
Da lì, il team ha esteso lo stesso approccio ad altri sistemi critici. I dati relativi a risorse umane e forza lavoro, che in precedenza erano difficili da tracciare a livello storico, vengono ora acquisiti tramite il connettore Workday in tabelle relazionali strutturate che registrano cambiamenti nel tempo come passaggi di manager o riassunzioni di dipendenti. Inoltre, il connettore SFTP acquisisce continuamente dati globali della supply chain, inclusi dati di point-of-sale, metriche di spedizione e registri di produzione provenienti dalla sede giapponese di Panasonic. Questi dati sensibili al fattore tempo, formattati in file CSV ed Excel, vengono resi disponibili per analisi della supply chain quasi in tempo reale.
Oltre ai dati strutturati e semi-strutturati, Panasonic sta ora affrontando la sfida degli archivi documentali PDF non strutturati. Collegando SharePoint all'ambiente Databricks, il team ha automatizzato l'elaborazione di migliaia di complessi documenti legali e documenti dei fornitori. Utilizzando Databricks Document Intelligence (ai_parse_document e ai_query), hanno potuto elaborare ed estrarre con elevata precisione decine di campi chiave in output strutturati, trasformando documenti statici in dati dinamici interrogabili.
"Sulla nostra infrastruttura legacy, elaborare 10.000 contratti con fornitori e MSA richiedeva due settimane di lavoro manuale. Sfruttando il connettore SharePoint di Databricks, il compute serverless e Databricks Document Intelligence, abbiamo compresso l'intero flusso di lavoro, dall'acquisizione all'estrazione delle date di scadenza critiche, in appena due o tre ore." – Shingo Sakamoto, IT Principal Data Architect, Panasonic
Alla base di tutto c'è un livello di governance unificato tramite Unity Catalog, che consente al team di condividere i dati in sicurezza tra le diverse business unit senza duplicazioni. Per tutte queste fonti, il team sfrutta il compute serverless di Databricks per eseguire notebook ETL ad alte prestazioni in una frazione del tempo richiesto in precedenza.
"Nel nostro ambiente legacy, il caricamento delle enormi tabelle SAP richiedeva da cinque a sei ore e falliva frequentemente. Grazie alla standardizzazione su Databricks e all'utilizzo di Auto Loader, il tempo di ingestione della nostra tabella più grande è passato da due ore ad appena due minuti. Le nostre pipeline sono ora completamente stabili e garantiscono al management report sempre puntuali." – Yuka Kato, Lead Data Engineer, Panasonic
Dati affidabili, impatto a livello aziendale
Oggi i responsabili aziendali di Panasonic iniziano ogni giornata con ciò di cui hanno bisogno: report accurati e puntuali su vendite giornaliere, fatturazione e inventario, forniti senza interruzioni. L'elaborazione end-to-end dei dati per tutte le tabelle silver viene completata in circa 30 minuti e quell'affidabilità che un tempo sembrava irraggiungibile è ormai diventata il nuovo standard.
L'impatto va oltre le prestazioni. Eliminando costose licenze legacy per data warehouse, ETL e BI, il team ha ottenuto una significativa riduzione del TCO. Questo ha liberato budget e risorse, permettendo ai team di concentrarsi su attività a maggior valore aggiunto. Inoltre, grazie a un'infrastruttura dati affidabile, l'accesso ai dati si è ampliato in tutta l'organizzazione. Gli analisti BI possono ora esplorare i dati direttamente, riducendo di circa il 50% i tempi di caricamento e aggiornamento. Rappresentanti di vendita e responsabili regionali sono in grado di creare autonomamente viste personalizzate e modelli previsionali.
"Databricks ha permesso ai nostri analisti di dati di fare molto di più: possono esplorare i dati grezzi direttamente, collaborare tramite notebook condivisi e muoversi più velocemente che mai. Grazie a questa efficienza operativa, il nostro piccolo team di data science riesce ad affrontare progetti su scala enterprise." – Jerry Deng, BI Director, Panasonic
Con una base dati stabile e unificata ormai consolidata, lo stesso approccio orientato all'accessibilità sta guidando anche le ambizioni di Panasonic in ambito AI. Il team sta implementando un workspace Genie per fornire al team Quoting accesso self-service alla cronologia dei prezzi e a insight predittivi.
"Il nostro team Quoting non "ragiona" in SQL, bensì in termini di clienti e prodotti. Genie va incontro alle loro esigenze, trasformando le domande sui prezzi in risposte immediate e consentendo a un piccolo team dati di generare impatto a livello aziendale." - Elena Gusakova, Senior Data Scientist, Panasonic
