Erfahre, wie Databricks Energiehandel in Echtzeit, Risikoüberwachung, maschinelles Lernen und historische Analysen mit einer Plattform und einem Governance-Modell kombiniert.
von Victoria Sicking und Jack Yallop
Energiehandelsdesks arbeiten in Märkten, in denen sich die Bedingungen schnell ändern und Entscheidungen im Millisekundenbereich getroffen werden. Zwei Entwicklungen erschweren dies: eine höhere Preisvolatilität und die Umstellung des Day-Ahead-Strommarkts der EU von stündlichen auf 15-minütige Handelsintervalle. Die 15-minütige Marktzeiteinheit ist Teil des Single-Day-Ahead-Coupling (SDAC), des Systems, das Day-Ahead-Strommärkte in allen EU-Ländern verbindet. Dies führt zu viermal so vielen Marktperioden pro Stunde und erhöht das Volumen an Datensätzen, Aufträgen und Risikoneuberechnungen. Um diese Berechnungen präzise zu halten, sind aktuelle Daten erforderlich – was direkt darauf verweist, wie Daten gespeichert und governt werden, und nicht nur darauf, wie schnell sie eintreffen.
Veraltete Daten sind für einen Handelsdesk mehr als nur eine Unannehmlichkeit. Sie können dazu führen, dass Risikokontrollen einen früheren Marktzustand widerspiegeln, zu verpassten Intraday-Bewegungen beitragen und Desk-Limits nicht mehr mit den aktuellen Positionen übereinstimmen.
Viele Unternehmen reagieren darauf mit zwei Stacks. Ein operatives System unterstützt den Live-Desk und Millisekunden-Transaktionen. Ein separates analytisches System unterstützt Strategie-Backtesting, maschinelles Lernen und regulatorisches Reporting. Diese Trennung entspricht zwei unterschiedlichen Workloads, führt jedoch zu vier wiederkehrenden Problemen:
Maschinelles Lernen bringt eine weitere Abhängigkeit mit sich. Modelle benötigen historische Daten für das Training, aber ihre Ergebnisse müssen im Live-Handels-Workflow verfügbar sein. Das Verschieben von Modellen und Daten zwischen separaten Systemen erhöht die Komplexität eines ohnehin schon zeitkritischen Prozesses. Die Alternative ist eine einheitliche Plattform für Daten, Analytics und KI – eine, bei der Real-Time Mode streams mit Millisekunden-Latenz einliest und Lakebase Postgres bereithält, sodass sowohl der Live-Desk als auch die Modell-Pipeline ohne zusätzlichen Transferschritt auf dieselbe Quelle zugreifen.
Operative und analytische Workloads werden gemeinsam ausgeführt, indem sie sich eine gemeinsame Datenbasis teilen. Die nachfolgend von Victoria Sicking, Solutions Architect bei Databricks, präsentierte Lösung, die in 'Live-Energiehandel, -Risiko und -Analytics in Databricks ausführen' beschrieben wird, kombiniert sechs Komponenten auf der Databricks Data + AI Platform. Die wichtigste Designentscheidung dabei ist, dass keine Komponente eine eigene, separate Kopie der Daten vorhält. Sie alle arbeiten auf Basis dessen, was Spark Structured Streaming Real-Time Mode in Lakebase und den Lakehouse geschrieben hat.
Spark Structured Streaming Real-Time Mode empfängt Marktdaten und streamt sie in Lakebase, das hier als operative (OLTP-)Datenbank für Millisekunden-Lesevorgänge, Transaktionen und Upserts dient. Dieselben Daten können dann die analytischen Workloads unterstützen, die auf dem Lakehouse aufbauen.
Teams müssen keine parallelen Pipelines mehr koordinieren – eine für den Live-Desk und eine weitere für Backtesting und Reporting. Zeit, die zuvor für Abstimmung und Koordination aufgewendet wurde, wird frei, indem ein einziger Ingestionspfad für Markt- und Positionsdaten in Ihren Datenbestand geschaffen wird. Unity Catalog – die Databricks Governance-Schicht für Berechtigungen, Lineage und Audits – wendet diese Governance über App-, Business-Intelligence- und Machine-Learning-Workloads hinweg an, sodass diese nicht in mehreren Systemen unabhängig voneinander konfiguriert werden müssen.
Er sieht aus wie eine einzige Anwendung, die Preise, Positionen, Gewinn und Verlust (P&L) sowie das Risiko anzeigt, die sich alle in dem Moment aktualisieren, in dem sich der Markt bewegt. Die Live-Erfahrung basiert auf Databricks Apps – der Möglichkeit, Datenanwendungen wie eine Live-Handelsschnittstelle auf der Plattform zu erstellen und zu hosten. Sie vereint alles, was ein Desk benötigt, um den Markt zu überwachen und auf sich ändernde Bedingungen zu reagieren. Die Bereitstellung erfolgt direkt über Lakebase, sodass der Desk immer dieselben governten Daten liest, die auch in die analytischen Workloads einfließen, ohne dass eine separate operative Kopie erforderlich ist.
Die Demo zeigt Instrumentenpreise für Brent-Rohöl, deutsche und französische Strom-Spotmärkte, den EUR-USD-Wechselkurs, EU-Zertifikate (EUAs) und TTF-Gas.
Das Risiko wird im selben Workflow anhand der Limits des Desks überwacht. Wenn sich ein Wert einem Limit nähert, gibt die App einen Risikoalarm aus, damit der Desk die Änderung sehen und sofort reagieren kann. Dies ersetzt einen nächtlichen Batch-Prozess, der das Risiko aus einem früheren Daten-Snapshot berechnet.
Die Anwendung ist keine Berichtsfläche, die von der Datenplattform losgelöst ist. Lakebase stellt die operative Schicht hinter der App bereit, und die Streaming-Pipeline hält die Informationen aktuell.
Trainieren Sie Modelle für maschinelles Lernen mit denselben governten Daten, die auch den Live-Desk unterstützen, verfolgen Sie deren Entwicklung und Lineage mit MLflow und stellen Sie freigegebene Versionen über Databricks Model Serving bereit. Ihre Ergebnisse können dann direkt in der App angezeigt werden.
Energiehandelsteams benötigen Modelle, die Risiken vorhersehen und potenzielle Handelssignale erkennen können. Da alles auf einer einzigen, governten und einheitlichen Datenkopie ausgeführt wird, entfällt die Übergabe zwischen einem Trainingssystem und einem Live-System – das Modell sieht genau das, was auch der Desk sieht.
Die Demo zeigt eine Echtzeit-Preisprognose, die zu einem Handelssignal beitragen kann. Der Weg zwischen den Daten, die zum Training eines Modells verwendet werden, und dem Workflow, der dessen Ausgabe nutzt, wird kürzer. Maschinelles Lernen wird zu einem Teil des durchgängigen Handels-Workflows anstelle eines separaten Systems, das zwischen dem Live- und dem Analyse-Stack sitzt.
Dieselbe governte Datenbasis kann auch Risikoanalysen und die Modellentwicklung unterstützen. Operative und analytische Workloads bleiben verbunden, und Teams müssen nachträglich keine separaten Datenversionen mehr abgleichen.
Analysten verwenden ein eingebettetes Dashboard und Genie One, die beide auf derselben Datenbasis wie die Live-App aufbauen. Das eingebettete Dashboard zeigt historische Handelsdaten an, einschließlich der Gesamtzahl der Trades, des gehandelten Volumens und Vergleichen zwischen Händlern.
Für tiefere Analysen können Analysten SQL, Python oder Spark verwenden. Sie können auch Genie One nutzen – die Databricks Natural-Language-Schnittstelle, um Fragen zu governten Daten zu stellen –, ohne die Abfrage selbst schreiben zu müssen. In der Demo bittet der Analyst Genie One, die fünf wichtigsten Gegenparteien nach Anzahl der Trades zu ermitteln und das Gesamtkaufvolumen für jede mit dem Verkaufsvolumen zu vergleichen.
Genie One arbeitet innerhalb des Databricks Workspace und verwendet den verfügbaren Datenkontext und definierte Semantiken zur Beantwortung. Analysten können von einer Dashboard-Ansicht mit festen Erkenntnissen zu einer maßgeschneiderten Analyse der Daten übergehen und dabei in derselben governten Umgebung bleiben. Eine einheitliche Datenkopie stellt sicher, dass die Ergebnisse zwischen dem Live-Desk und dem Analytics-Backoffice übereinstimmen.
Daten fließen von einem Markt-Feed über Streaming und Lakebase an die App, Analytics und maschinelles Lernen – und das alles unter der Governance von Unity Catalog. Da Unity Catalog jede Komponente umspannt, gelten die Berechtigungen, das Lineage und die Audits, die für den Live-Desk gelten, auch für Dashboards, Genie One und maschinelles Lernen – sie werden einmal konfiguriert und müssen nicht in jedem System dupliziert werden. Die Schritte sind:
Das Live-Desk, die Analysen und die Machine-Learning-Workloads sind keine getrennten Bereiche, die einen wiederholten Datentransfer erfordern. Sie sind einfach verschiedene Wege, mit denselben geschützten Daten zu arbeiten.
Die Frage ist, ob operative und analytische Anforderungen durch getrennte Systeme mit eigenen Kopien, Governance-Modellen und Synchronisationslogiken bedient werden müssen. Sie haben zwar unterschiedliche Anforderungen, aber eine einzige Plattform kann beides abdecken. Durch die Konsolidierung auf einer einzigen, abgesicherten Datenkopie sind das Desk, die Risikomodelle und die Berichterstellung immer perfekt aufeinander abgestimmt.
Wenn diese Workloads auf getrennten Systemen laufen, hängen Risikokontrollen oft von Batch-Daten ab, Modelle können mit Informationen trainiert werden, die nicht zum Live-System passen, und Governance-, Lineage- und Synchronisations-Pipelines müssen mehrfach gepflegt werden.
Die Databricks Energy Trading Solution führt diese Funktionen auf einer einzigen, abgesicherten Datengrundlage zusammen. Mit diesem Setup können Teams Risiken in Echtzeit bewerten, während sie dieselbe geschützte Datenbasis für GuV, Exposure, Backtesting, Machine Learning, Dashboards und sprachbasierte Analysen nutzen.
Um mehr darüber zu erfahren, wie Sie loslegen können, besuchen Sie:
Getrennte Systeme können zu zwei unterschiedlichen Wahrheitstabellen, Verzögerungen bei der Risikokontrolle, doppeltem Aufwand für Governance und Lineage, zusätzlichem Wartungsaufwand und weiteren Synchronisations-Pipelines führen. Auch Machine Learning wird komplizierter, wenn Modelle auf einem System trainiert werden, aber auf einem anderen laufen müssen. Die Beibehaltung einer einzigen, abgesicherten und einheitlichen Datenkopie mit einem zentralen Regelsatz eliminiert die meisten dieser Kosten.
Energietrading-Teams können das Live-Desk, die Risikoprozesse, das Machine Learning und historische Analysen auf einer einzigen, geschützten Datenkopie in Databricks ausführen. Spark Structured Streaming Real-Time Mode, Lakebase, Databricks Apps und Unity Catalog ersetzen das zweite System und die redundanten Kontrollen.
Lakebase ist eine vollständig verwaltete Postgres-Datenbank, die nativ in die Databricks Data + AI Platform integriert ist. Sie dient hier als operative (OLTP) Datenbank für Millisekunden-Lesevorgänge, Transaktionen und Upserts. Da sie sich auf derselben Plattform wie das Lakehouse befindet, verbindet sie operative Daten mit analytischen Workloads auf einer einzigen, geschützten Datenbasis, anstatt eine separate Datenbank außerhalb der Plattform zu erfordern.
Eine Live-Handelsanwendung, die auf Databricks Apps (der Methode zum Erstellen und Hosten von Datenanwendungen auf der Plattform) basiert, kann Preise, Positionen, GuV und Risiken in Echtzeit anzeigen. Risikowarnungen werden ausgelöst, wenn Messwerte sich den Desk-Limits nähern, sodass Trader direkt auf aktuelle Bedingungen reagieren können, anstatt sich nur auf Batch-Berechnungen zu verlassen.
Unity Catalog ist die Governance-Ebene von Databricks für Berechtigungen, Lineage und Audits. Sie bietet eine einheitliche Governance-Schicht für operative Anwendungen, Analysen und Machine-Learning-Workflows. Sie verwaltet zentrale Berechtigungen, Lineage und Audits durchgehend, sodass Teams die Kontrollen für die einzige Datenkopie einmalig einrichten, anstatt für jedes System separate Governance-Strukturen aufzubauen.
(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag
Abonnieren Sie unseren Blog und erhalten Sie die neuesten Beiträge direkt in Ihren Posteingang.