Aufbau eines nachhaltigen Stromnetzes für künftige Generationen
Mit Databricks optimiert E.ON die Verwaltung seiner Energienetze in ganz Europa
Geschäftsanwendungen,
integriert in einen
zentralisierten Data Lake
täglich erfasste Daten
E.ON gehört zu den großen europäischen Energieversorgern und beliefert Haushalte mit Ökostrom. Dabei steht Nachhaltigkeit im Vordergrund. Mit diesem Ziel vor Augen sucht E.ON ständig nach Möglichkeiten, die Digitalisierung voranzutreiben, Compliance zu gewährleisten und die steigenden Anforderungen an Effizienz, Skalierbarkeit und Flexibilität in der Energiewirtschaft zu erfüllen. Diese drei Initiativen liefen im Wesentlichen darauf hinaus, das Anlagenmanagement des Unternehmens im Bereich der Energienetze zu verbessern – sei es durch die Erfassung von Daten verschiedener Systeme wie Solarmodule und Umspannwerke oder durch die Bereitstellung einheitlicher Datenformate für über 20 Verteilnetzbetreiber und die eigenen Geschäftsbereiche zum Zweck von Analysen, Bedarfsprognosen und Informationsgewinnung beim Energieverbrauch. Leider hatten Datensilos, Zugangsprobleme, eine Vielzahl von Datenquellen, Einschränkungen bei der Skalierbarkeit und Probleme bei der Data Governance E.ON bislang daran gehindert, die hochgesteckten Ziele umzusetzen. Daher investierte das Unternehmen in die Databricks Data Intelligence Platform, um fragmentierte Daten im E.ON Data House (EDH) zusammenzuführen und so die Grundlage für die einfache Erstellung von Business-Intelligence-Datenprodukten zur Unterstützung des unternehmensweiten Datenbedarfs zu schaffen.
Schaffung eines einheitlichen Daten-Frameworks durch Abbau der Fragmentierung
Da der Energiebedarf zunimmt und Nachhaltigkeitsziele immer dringlicher werden, müssen Energieversorger ihre Netzanlagen effizient verwalten, um dem wachsenden Druck gerecht zu werden. Als Vorreiter in diesem Bereich wollte E.ON dafür sorgen, dass wertvolle Daten von Solarmodulen, Umspannwerken und weiteren wichtigen Anlagen nicht mehr durch die Lücken von Nachhaltigkeits- und Betriebsstrategien schlüpfen. Ohne einen angemessenen Zugang zu diesen Daten könnte es für Verteilnetzbetreiber – die für Betrieb, Wartung und Ausbau der Stromverteilungsnetze verantwortlich sind, um Strom aus dem Übertragungssystem an die Endverbraucher zu liefern – in Zukunft kompliziert werden, die Netzstabilität zu gewährleisten, eine sichere Energieverteilung zu unterstützen oder auf Nachfrageschwankungen zu reagieren.
Die inkohärenten Daten von E.ON machten es zudem schwierig, den Verteilnetzbetreibern wie auch den internen Sparten ähnliche Informationen mit Schwerpunkt auf Energieverteilung, Kundenservice und Innovation zur Verfügung zu stellen. Ohne belastbare Daten für Analyse, Planung oder Entscheidungsfindung konnte das Unternehmen wesentliche Aufgaben wie die Optimierung von Betriebsabläufen und die Erreichung von Nachhaltigkeitszielen nicht umsetzen. Naveen Kanneganti, Global Lead Data Architect bei E.ON, erläutert: „Ohne ein konsolidiertes Daten-Framework stellten der Zugriff auf unsere Daten aus den verschiedenen Energieanlagen und unterschiedlichen Quellsystemen ebenso wie ihre Aggregation zeitaufwendige und höchst anspruchsvolle Aufgaben dar. Diese Fragmentierung behinderte unsere operative Effizienz und beeinträchtigte die Bereitstellung konsistenter und vertrauenswürdiger Daten für Verteilnetzbetreiber und Geschäftsbereiche.“
Auch die mit der Entwicklung, Wartung und Skalierung der Datenpipelines aus Hunderten unterschiedlicher Systeme verbundenen hohen Gesamtbetriebskosten (Total Cost of Ownership, TCO) sprachen für eine Lösung aus einem Guss. Das wachsende Datenvolumen – bestehend aus Milliarden von Datensätzen – bewältigen zu können, war für E.ON entscheidend, um richtungsweisende Erkenntnisse zu gewinnen und Bedenken hinsichtlich der Data Governance auszuräumen. Allerdings barg die Implementierung von Sicherheits- und Zugriffskontrollen auf zahlreichen Plattformen unter Berücksichtigung gesetzlicher Vorschriften wie der Datenschutz-Grundverordnung (DSGVO) jedoch rechtliche Risiken für die Organisation und den Ruf der Marke. Alle diese Hindernisse machten nur noch deutlicher, warum ein zentralisierter Datenpool notwendig war: das E.ON Data House. Damit konnte das Unternehmen Anwendungen von Datenquellen entkoppeln, um seine Daten zu aggregieren, den Zugriff zu rationalisieren, Kosten zu senken, die Skalierbarkeit zu verbessern und die Data Governance zu stärken. Und mit der Databricks-Plattform konnte E.ON diese Initiative dann auch erfolgreich umsetzen.
Implementieren einer skalierbaren Datenstrategie zur Innovationsförderung
E.ON stand bei der Transformation seiner Dateninfrastruktur vor einer gewaltigen Herausforderung: Benötigt wurde eine Lösung, die eine nahtlose Anpassung an die wachsenden Anforderungen des Unternehmens ebenso ermöglichte wie eine Konsolidierung der fragmentierten Datenbestände. Das Unternehmen wandte sich daher an Databricks und schuf mithilfe von Delta Lake und Unity Catalog eine solide Grundlage für Analyse- sowie BI-Datenprodukte (Business Intelligence), um seine unternehmensweiten Datenanforderungen zu erfüllen. Da Delta Lake – ein Open-Source-Speicherlayer, mit dem Data Lakes zuverlässig werden – eine bislang unerreichte Skalierbarkeit bietet, konnte E.ON täglich über 1 Terabyte an Daten ohne Leistungseinbußen verarbeiten und erfassen. Dies steigerte die Effizienz beim Verwalten enormer Mengen strukturierter und halbstrukturierter Daten, die von ihren Energiesystemen und einer Vielzahl von Datenquellen generiert wurden – Daten von Solarmodulen, Umspannwerken und weiteren wichtigen Anlagen. Durch die Entkopplung von Anwendungen und Datenquellen stellte Delta Lake sicher, dass alle diese Daten von verschiedenen Punkten im Energienetz nur einmalig aus der Vielzahl der Quellsysteme extrahiert werden und dann vereinheitlicht und zur weiteren Verarbeitung an viele analytische Anwendungen verteilt werden können.
Gleichzeitig wurde Unity Catalog implementiert, um die komplexen Anforderungen von E.ON an die Data Governance zu erfüllen. Diese Lösung stellte einen zentralisierten Governance-Layer auf Delta Lake bereit, sodass E.ON Datensicherheit und Zugriffskontrollen für seine über 20 Verteilnetzbetreiber und Geschäftsbereiche nahtlos verwalten kann. Mit den differenzierten Zugriffskontrollen von Unity Catalog stellte E.ON die Einhaltung der DSGVO und weiterer energiespezifischer Vorschriften sicher und vereinfachte gleichzeitig die Verwaltung personenbezogener und nicht personenbezogener Daten, die nach Benutzerrollen getrennt sind. Außerdem unterstützte die Plattform Hunderte von Datennutzern, die die Daten aus über 120 Geschäftsanwendungen und Datenprodukten verwenden, und schuf Transparenz und Vertrauen durch die Nutzung von Audit-Ereignissen in Unity Catalog, um jederzeit nachvollziehen zu können, wer Zugriff auf ein bestimmtes Dataset hat. Mit der nahtlosen Data-Governance-Funktionalität von Unity Catalog ermöglichte E.ON eine sichere und bequeme Datennutzung und optimierte die Zusammenarbeit, wobei Pläne für die Zukunft auch eine Self-Service-Nutzung vorsehen. Diese Vision legte auch den Grundstein für die Erstellung eines digitalen Zwillings, d. h. einer virtuellen Darstellung des gesamten Energienetzes des Unternehmens. So lässt sich die Netzleistung über das EDH unkompliziert analysieren und optimieren.
Durch die Automatisierung von Datenpipelines über den metadatengesteuerten Ansatz ermöglichte Databricks E.ON eine Weiterverarbeitung gebrauchsfertiger Daten in den verschiedenen Geschäftsbereichen. Dadurch wurden manuelle Prozesse eingespart und mit der gewonnen Zeit konnten sich Mitarbeitende wichtigeren strategischen Aufgaben widmen. Diese Automatisierung war entscheidend für die Rationalisierung des Datenflusses, die Steigerung der Produktivität und die Gewährleistung eines schnellen Datenzugriffs, wo immer dieser erforderlich ist. Naveen Kanneganti unterstreicht dies: „Dank der Automatisierung von Datenpipelines und die Data Governance konnten wir Silos zwischen Geschäftseinheiten und Verteilnetzbetreibern aufbrechen, um Daten besser zugänglich und auffindbar sowie glaubwürdiger zu machen. Dies trug maßgeblich zur verbesserten Entscheidungsfindung und zur Aufrechterhaltung der Compliance in unserem gesamten Betrieb bei.“
Beschleunigter Datenzugriff durch Pipeline-Automatisierung und mehr
Die Integration von Databricks in die Geschäftsprozesse von E.ON hat zu erheblichen Verbesserungen bei Datenverarbeitung, Skalierbarkeit und betrieblichen Abläufen geführt. Mit Delta Lake verarbeitet E.ON nun täglich mehrere Milliarden Dateneinträge ohne Ausfallzeiten oder Leistungsprobleme, wodurch sich Geschwindigkeit und Zuverlässigkeit der Datenverarbeitung erheblich verbessert haben. Durch die Kombination von Streaming- und Batch-Daten in einer zentralen Architektur innerhalb des EDH kann das Energieunternehmen die Datenerfassung nun nahezu in Echtzeit durchführen, was Erkenntnisse beschleunigt und eine einheitlichere Sicht auf Datenquellen sowohl bei den internen Geschäftsbereichen als auch darüber hinaus ermöglicht.
Einer der größten Vorteile der Investition war die Wiederverwendbarkeit von modularem Code, wodurch die Produktivität teamübergreifend verbessert wurde. Durch die Modularisierung von Code in skalierbare Bausteine ermöglichte E.ON dem Team, vorhandene Pipelines wiederzuverwenden. Dies stärkte die Zusammenarbeit und half gleichzeitig dabei, die Gesamtbetriebskosten zu senken. Durch diesen neuen Ansatz der Codewiederverwendung konnte die Entwicklung neuer Anwendungen und Funktionen optimiert werden. Teams haben nun die Möglichkeit, schnell verschiedene Anwendungsfälle hinzuzufügen, und Doppelaufwand wird abgebaut, wodurch eine einfachere Anpassung an neue Herausforderungen und Chancen ermöglicht wird.
Im Hinblick auf Compliance und Data Governance spielt Unity Catalog eine entscheidende Rolle auf E.ONs Weg zu Databricks. Er ermöglicht die Historisierung und Pseudonymisierung von Daten und gewährleistet so die Einhaltung der DSGVO und weiterer Vorschriften. Dieser Schritt hat die Fähigkeit von E.ON verbessert, sensible Daten zu schützen und zu verwalten und gleichzeitig rechtliche Risiken zu reduzieren. Und das war noch nicht alles: Unity Catalog ebnete dem Unternehmen den Weg, das Potenzial von GenAI von der Automatisierung des Dokumentenabrufs in Umspannwerken bis hin zu Anwendungsfällen in den Bereichen Business Intelligence und maschinelles Lernen zu erörtern. Auch wenn KI-Anwendungen noch nicht in Produktion gegangen sind, ist nun mit dem EDH die erforderliche Infrastruktur vorhanden, um in Zukunft spannende Entwicklungen zu unterstützen und operative Fähigkeiten wie auch das Innovationspotenzial des Unternehmens weiter zu fördern.
