Das zentrale Dateninfrastrukturteam von Panasonic US hat ein ehrgeiziges Ziel: Es soll als Daten-Backbone für verschiedene Geschäftsbereiche dienen, zu denen Vertrieb, Lieferkette, Personalwesen und weitere Bereiche gehören. Weil das tägliche Reporting durch veraltete ETL-Pipelines und fragmentierte Data Warehouses ausgebremst wurde, was mitunter mehrstündige Datenaufnahmefenster und unerwartete Ausfälle zur Folge hatte, traf das Team die strategische Entscheidung, das System von Grund auf zu modernisieren. Durch die Standardisierung auf die Databricks Platform und Lakeflow gelang die Transformation einer anfälligen, isolierten Systeminfrastruktur in eine zuverlässige, unternehmensweite Informationsbasis. Prozesse, die früher Stunden dauerten, sind jetzt in wenigen Minuten abgeschlossen, Analysten haben direkten Zugriff auf Daten, die zuvor unerreichbar waren, und das Team hat bereits das nächste große Ziel ins Auge gefasst: KI.
Fragmentierte Alt-Pipelines stören den funktionsübergreifenden Geschäftsbetrieb
Das zentrale Daten- und IT-Infrastrukturteam von Panasonic ist für die übergreifende Datenstrategie mehrerer interner Gesellschaften und Geschäftsbereiche zuständig. Zur Unterstützung des Tagesgeschäfts, von Umsatzprognosen und Lieferkettenmanagement setzen Führungskräfte vorwiegend auf Enterprise-Systeme wie SAP S/4HANA, Workday und globale Point-of-Sale-Systeme (POS). Allerdings erwies sich die bestehende Dateninfrastruktur bei Panasonic, die aus isolierten ETL-Tools und komplexen Data Warehouses bestand, angesichts von Umfang und Komplexität der Daten als unzureichend. Hierdurch entstanden gravierende Probleme im Hinblick auf Leistungsfähigkeit und Ausfallsicherheit.
Der kritischste Engpass war die SAP-Datenaufnahme. Das Engineering-Team erkannte die Grenzen der alten CDC-Prozesse (Change Data Capture) und suchte daher nach einem zuverlässigeren Ansatz. Allerdings sah es sich aufgrund der bestehenden Architektur gezwungen, täglich vollständige Daten-Refreshs bei mehr als 100 Tabellen durchzuführen. Riesige Transaktionstabellen mit vielen hundert Millionen Zeilen machten komplexe Partitionen notwendig und verursachten häufig Ausfälle der alten Pipelines. Die Ausführung dieser umfangreichen Lasten dauerte fünf bis sechs Stunden, und es kam etwa zehnmal im Jahr zu Ausfällen, deren Behebung mehrere Stunden oder ganze Tage an intensivem teamübergreifendem IT-Troubleshooting erforderte. Bei einem der internen Geschäftsbereiche, für den strikte frühmorgendliche Berichtsfristen gelten, führten diese Ausfälle zu kostspieligen Verzögerungen. Der Geschäftsleitung standen die für wichtige geschäftliche Entscheidungen erforderlichen Tagesberichte zu Umsatz, Lagerbestand und Logistik häufig nicht zur Verfügung, was den täglichen Geschäftsbetrieb erheblich beeinträchtigte. Darüber hinaus lagerten wertvolle Daten unzugänglich in veralteten Datenbanksilos. Dies führte zu Informationsbarrieren für die nachgelagerten BI-Analysten, die für korrekte Prognosen auf den Rohdatenzugriff angewiesen waren.
Standardisierung der Datenaufnahme im Unternehmen mit Lakeflow Connect
Zum Aufbau eines robusten, zentralisierten Daten-Backbones ist Panasonic auf die Databricks Platform umgestiegen. Dabei nutzt das Unternehmen aktiv Lakeflow Connect, um die Datenaufnahme aus allen maßgeblichen Quellen im Konzern zu standardisieren.
Die höchste Priorität hatte dabei SAP S/4HANA. Durch die Integration mit SAP Datasphere zur Speicherung von Dateien in Azure Data Lake Storage (ADLS) setzte Panasonic Auto Loader (eine Komponente von Lakeflow Connect) ein, um die inkrementelle Datenaufnahme bei einer ihrer fehleranfälligsten Pipelines nahtlos abzuwickeln. Dank dieser modernen Architektur entstand eine stabile, automatisierte Infrastruktur, die nur einen Bruchteil des bisherigen Aufwands erforderte. Die Ergebnisse zeigten sich sofort.
Nun überführte das Team diesen Ansatz auch auf andere kritische Systeme. Personal- und Belegschaftsdaten, deren Verlaufserfassung bisher schwierig gewesen war, werden nun über den Workday-Konnektor in strukturierte, relationale Tabellen eingelesen, die Veränderungen wie Führungswechsel oder die Wiedereinstellung von Beschäftigten im Laufe der Zeit erfassen. Darüber hinaus ruft der SFTP-Konnektor kontinuierlich globale Lieferkettendaten – beispielsweise Verkaufszahlen, Versandkennzahlen und Fertigungsdaten – aus der Panasonic-Zentrale in Japan ab. Diese zeitkritischen Daten im CSV- und Excel-Format stehen nun für Lieferkettenanalysen in Quasi-Echtzeit zur Verfügung.
Neben strukturierten und teilstrukturierten Daten werden bei Panasonic nun auch die unstrukturierten PDF-Dokumentbestände in Angriff genommen. Durch die Verbindung von SharePoint mit der Databricks-Umgebung konnte das Team die Verarbeitung von Tausenden komplexer Rechts- und Lieferantendokumente automatisieren. Durch Einsatz von Databricks Document Intelligence („ai_parse_document“ und „ai_query“) konnten Dutzende von Schlüsselfeldern mit höchster Präzision verarbeitet und in strukturierte Ausgaben extrahiert werden. So wurden aus statischen Dokumenten dynamische, auswertbare Daten.
„Früher war das Bearbeiten von 10.000 Lieferanten- und Servicerahmenverträgen auf unserem Altsystem eine mühsame manuelle Angelegenheit, die zwei Wochen in Anspruch nahm. Durch den Einsatz von Databricks-SharePoint-Konnektor, Serverless Compute und Databricks Document Intelligence konnten wir den gesamten Workflow – von der Datenaufnahme bis zur Extraktion wichtiger Ablaufdaten – auf gerade einmal zwei bis drei Stunden verkürzen.“ – Shingo Sakamoto, IT Principal Data Architect, Panasonic
Grundlage all dessen ist eine einheitliche, über Unity Catalog realisierte Governance-Ebene, die es dem Team ermöglicht, Daten sicher und ohne Redundanzen zwischen den Geschäftsbereichen auszutauschen. Für diese Quellen nutzt das Team übergreifend Databricks Serverless Compute, um leistungsstarke ETL-Notebooks in einem Bruchteil der Zeit auszuführen.
„In unserer früheren Umgebung dauerte das Laden umfangreicher SAP-Tabellen fünf bis sechs Stunden und war häufig mit Fehlern verbunden. Durch die Standardisierung auf Databricks und den Einsatz von Auto Loader reduzierte sich die Dauer der Datenaufnahme bei unserer größten Tabelle von vielen Stunden auf gerade einmal zwei Minuten. Unsere Pipelines sind nun rundum stabil und garantieren, dass die Geschäftsleitung stets zeitnah alle benötigten Informationen erhält.“ – Yuka Kato, Lead Data Engineer, Panasonic
Vertrauenswürdige Daten, unternehmensweite Wirkung
Heutzutage beginnt der Arbeitstag für die Führungskräfte bei Panasonic mit dem, was sie wirklich brauchen: korrekte genaue und topaktuelle Berichte über Tagesumsätze, Fakturierung und Lagerbestände, die zuverlässig und ohne Verzögerung bereitgestellt werden. Die gesamte Datenverarbeitung aller Silbertabellen ist schon nach etwa 30 Minuten abgeschlossen, und die einst unerreichbar wirkende Zuverlässigkeit ist mittlerweile zur Selbstverständlichkeit geworden.
Die Auswirkungen gehen über die reine Performance hinaus: Durch die Ausmusterung teurer Lizenzen für veraltete Data-Warehouse-, ETL- und BI-Systeme konnte das Team die Gesamtbetriebskosten deutlich senken. Dadurch wurden Budgetmittel und Kapazitäten frei, und die Teams konnten sich nun verstärkt höherwertigen Aufgaben zuwenden. Hinzu kommt: Dank der vertrauenswürdigen Datenbasis steht der Zugriff jetzt unternehmensweit offen. BI-Analysten können Daten jetzt nun analysieren, was die Lade- und Refresh-Zeiten um rund 50 % reduziert. Zudem können Vertriebsmitarbeitende und Regionalmanager eigene Ansichten und Prognosemodelle erstellen.
„Databricks hat unseren Datenanalysten ganz neue Möglichkeiten erschlossen: Sie können Rohdaten jetzt direkt auswerten, Notebooks gemeinsam bearbeiten und schneller denn je Ergebnisse erzielen. Dank dieser betrieblichen Effizienz ist selbst unser kleines Data-Science-Team in der Lage, Lösungen für das gesamte Unternehmen in Angriff zu nehmen.“ – Jerry Deng, BI Director, Panasonic
Aufgrund der stabilen, einheitlichen Datenbasis prägt derselbe Geist der Offenheit auch die KI-Ambitionen von Panasonic. Das Team richtet derzeit einen Genie-Workspace ein, um dem Angebotsteam, das nicht über die entsprechenden technischen Kenntnisse verfügt, einen Self-Service-Zugriff auf Preisverläufe und prädiktive Erkenntnisse zu vermitteln.
„Unser Angebotsteam denkt nicht in SQL, sondern in Kunden und Produkten. Genie holt die Nutzer dort ab, wo sie stehen, beantwortet Fragen zur Preisgestaltung umgehend und ermöglicht es einem kleinen Datenteam, unternehmensweite Schlagkraft zu erzielen.“ – Elena Gusakova, Senior Data Scientist, Panasonic
