L'équipe de l'infrastructure de données centrale de Panasonic US a une mission stratégique : fournir à différentes divisions – ventes, chaîne d'approvisionnement, RH, etc. – une véritable colonne vertébrale de données. Constatant que les pipelines ETL traditionnels et les data warehouses fragmentés ralentissaient les rapports quotidiens, avec des fenêtres d'ingestion pouvant atteindre plusieurs heures et des pannes imprévisibles, l'équipe a pris la décision stratégique de moderniser l'intégralité de son infrastructure. En choisissant la Databricks Platform et Lakeflow comme base de normalisation, elle a transformé une pile fragile et cloisonnée en socle de données fiable couvrant l'ensemble de l'entreprise. Les processus qui prenaient autrefois des heures s'achèvent désormais en quelques minutes, les analystes ont un accès direct à des données jusque-là hors de portée, et l'équipe s'attelle déjà à repousser la prochaine frontière : l'IA.
Les pipelines traditionnels fragmentés perturbent les opérations métier interfonctionnelles.
L'équipe de l'infrastructure centrale de données et IT de Panasonic pilote la stratégie de données globale d'une multiplicité d'entreprises et de divisions internes. Pour soutenir les opérations quotidiennes, les prévisions de ventes et la gestion de la chaîne d'approvisionnement, les responsables métier s'appuient principalement sur des systèmes d'entreprise comme SAP S/4HANA, Workday et des systèmes de point de vente (POS) mondiaux. Pourtant, la pile de données de Panasonic, composée d'outils ETL déconnectés et de data warehouse complexes, peinait à prendre en charge le volume et la complexité de ces données, avec de lourdes conséquences sur les plans de la performance et de la résilience.
Le goulot d'étranglement le plus urgent : l'acquisition des données SAP. Consciente des limites de ses processus CDC (Change Data Capture) datés, l'équipe d'ingénierie était en quête d'une approche plus fiable, mais l'architecture en place l'obligeait à actualiser chaque jour l'intégralité des données de plus de 100 tables. Ces immenses tables transactionnelles contenant des centaines de millions de lignes nécessitaient des partitions complexes qui provoquaient des pannes fréquentes dans les pipelines hérités. L'exécution de ces lourdes charges prenait cinq à six heures. Une dizaine de fois par an, des pannes imprévues demandaient des heures, voire des journées entières de dépannage intensif mobilisant plusieurs équipes. Pour l'une des unités commerciales internes, soumise à des obligations très strictes de reporting matinal, ces pannes se traduisaient par des retards coûteux. Quant à l'équipe de direction, elle était régulièrement privée de rapports quotidiens sur les ventes, les stocks et la logistique – autant d'informations indispensables pour prendre des décisions stratégiques. Ce sont toutes les opérations quotidiennes qui en souffraient. Précisons enfin que des données précieuses restaient enfermées dans les silos de bases de données héritées, échappant aux analystes de Business Intelligence (BI) qui ont besoin de ces données brutes pour effectuer des prévisions précises.
Normaliser l'ingestion des données d'entreprise avec Lakeflow Connect
Pour mettre en place un socle de données à la fois résilient et centralisé, Panasonic a choisi la Databricks Platform et utilise activement Lakeflow Connect pour normaliser l'ingestion des données issues des principales sources de l'entreprise.
La priorité la plus urgente était l'acquisition des données SAP S/4HANA. En intégrant SAP Datasphere pour envoyer les fichiers dans Azure Data Lake Storage (ADLS), Panasonic a déployé Auto Loader (un composant de Lakeflow Connect) pour prendre facilement en charge l'ingestion incrémentielle d'un pipeline particulièrement sujet aux défaillances. Moderne, stable et automatisée, cette architecture a également l'intérêt d'être beaucoup moins lourde à entretenir. Les résultats ont été immédiats.
L'équipe a ensuite étendu cette approche à d'autres systèmes critiques. Les données RH et les informations sur les effectifs, traditionnellement difficiles à suivre, sont désormais ingérées grâce au connecteur Workday dans des tables relationnelles structurées qui capturent les changements au fil du temps : changements de managers, réembauches, etc. De son côté, le connecteur SFTP extrait en continu les données de la chaîne d'approvisionnement mondiale provenant du siège social de Panasonic au Japon, y compris les chiffres des points de vente, les métriques d'expédition et les dossiers de fabrication. Ces données qui supportent mal la latence sont mises au service de l'analytique de la chaîne d'approvisionnement aux formats CSV et Excel en quasi-temps réel.
Après les données structurées et semi-structurées, Panasonic s'attaque désormais au défi des référentiels de PDF non structurés. En connectant SharePoint à l'environnement Databricks, l'équipe a automatisé le traitement de milliers de documents juridiques et fournisseur complexes. Grâce à Databricks Document Intelligence (ai_parse_document et ai_query), elle traite et extrait des dizaines de champs clés avec une grande précision et produit des sorties structurées pour convertir des documents statiques en données dynamiques et interrogeables.
« Nous avons plus de 10 000 contrats fournisseur et MSA à traiter, et c'était un véritable calvaire sur notre ancienne infrastructure : imaginez deux semaines de travail manuel. Grâce au connecteur SharePoint de Databricks, au calcul serverless et à Databricks Document Intelligence, nous avons réduit l'intégralité de ce workflow — de l'ingestion à l'extraction des dates d'expiration critiques — à deux ou trois heures seulement. » – Shingo Sakamoto, architecte de données principal en IT, Panasonic
Cette approche repose sur une couche de gouvernance unifiée par Unity Catalog, qui permet à l'équipe de diffuser des données en toute sécurité auprès de toutes les unités commerciales sans répliquer quoi que ce soit. Pour l'ensemble de ces sources, l'équipe mise sur le calcul serverless de Databricks pour exécuter des notebooks ETL très performants en un temps record.
« Dans notre environnement précédent, il fallait cinq ou six heures pour charger des tables SAP massives, et les échecs étaient fréquents. En adoptant Databricks comme base de normalisation et en utilisant Auto Loader, l'acquisition de notre plus grande table est passée de plusieurs heures à deux minutes seulement. Aujourd'hui, nos pipelines sont entièrement stables et notre direction reçoit systématiquement les rapports dans les délais. » – Yuka Kato, data engineer en chef, Panasonic
Des données de confiance pour un impact à l'échelle de l'entreprise
Aujourd'hui, les dirigeants de Panasonic reçoivent chaque matin tout ce dont ils ont besoin : des rapports précis et à jour sur les ventes, la facturation et l'inventaire, livrés sans faute. D'un bout à l'autre, le traitement des données de l'ensemble des tables silver s'effectue en 30 minutes environ, et la fiabilité qui semblait autrefois inaccessible est tout simplement devenue la norme.
L'impact n'est pas qu'une question de performance. En éliminant des licences coûteuses de data warehouse, d'ETL et de BI, l'équipe a sensiblement réduit son coût total de possession. Le budget et les ressources libérés ont pu être réorientés vers des tâches à plus forte valeur ajoutée. Et grâce à ce socle de données de confiance, l'accès s'est élargi à toute l'organisation. Les analystes BI peuvent désormais explorer directement les données, avec des temps de chargement et d'actualisation divisés par deux. Les représentants commerciaux et les directeurs régionaux créent leurs vues et leurs modèles de prévision personnalisés.
« Databricks a permis à nos analystes de données de repousser leurs limites : ils explorent directement les données brutes, collaborent au sein de notebooks communs et avancent plus vite que jamais. Avec une telle efficacité opérationnelle, notre petite équipe de data science s'attaque à des problématiques qui touchent l'ensemble de l'entreprise. » – Jerry Deng, Directeur BI, Panasonic
Ce socle de données stable et unifié cultive un état d'esprit d'accessibilité qui inspire également les ambitions de Panasonic en matière d'IA. L'équipe met en place un espace de travail Genie pour donner à son équipe Devis, dont les membres n'ont pas de bagage technique, un accès en libre-service à l'historique des prix et à des informations prédictives.
« Notre équipe Devis ne pense pas en SQL, elle pense en termes de clients et de produits. Genie s'adapte à ses utilisateurs, répond instantanément aux questions sur les tarifs et permet à une petite équipe de données d'avoir un impact positif à l'échelle de l'entreprise. » - Elena Gusakova, data scientist senior, Panasonic
