Scopri come Databricks unisce trading energetico in tempo reale, monitoraggio dei rischi, machine learning e analisi storiche con un'unica piattaforma e un unico modello di governance.
I desk di energy trading operano in mercati in cui le condizioni cambiano rapidamente e le decisioni vengono prese in pochi millisecondi. Due cambiamenti rendono tutto ciò più complesso: una maggiore volatilità dei prezzi e il passaggio del mercato elettrico del giorno prima (day-ahead) dell'UE da intervalli di negoziazione orari a intervalli di 15 minuti. L'unità di tempo del mercato a 15 minuti fa parte del sistema SDAC (Single-Day Ahead Coupling), che collega i mercati elettrici day-ahead nei paesi dell'UE. Questo crea un numero di periodi di mercato quadruplo per ora, aumentando il volume di record, ordini e ricalcoli del rischio. Per mantenere questi calcoli accurati servono dati aggiornati, il che chiama in causa direttamente il modo in cui i dati vengono archiviati e gestiti (governance), e non solo la velocità con cui arrivano.
I dati obsoleti sono molto più di un semplice inconveniente per un desk di trading. Possono fare in modo che i controlli del rischio riflettano uno stato precedente del mercato, contribuire a perdere opportunità di trading intraday e disallineare i limiti del desk rispetto alle posizioni attuali.
Molte organizzazioni rispondono utilizzando due stack tecnologici separati. Un sistema operativo supporta il desk live e le transazioni in millisecondi. Un sistema analitico separato supporta il backtesting delle strategie, il machine learning e la rendicontazione normativa. Questa divisione risponde a due carichi di lavoro differenti, ma genera quattro problemi ricorrenti:
Il machine learning introduce un'ulteriore dipendenza. I modelli richiedono dati storici per il training, ma i loro output devono essere disponibili nel flusso di lavoro del trading live. Spostare modelli e dati tra sistemi separati aggiunge complessità a un processo già vincolato dal tempo. L'alternativa è una piattaforma unificata per dati, analytics e IA – in grado di gestire flussi con latenza in millisecondi tramite Real-Time Mode streams e di mantenere tutto pronto in Lakebase Postgres – in modo che sia il desk live sia la pipeline dei modelli attingano dalla stessa fonte senza passaggi di trasferimento extra.
I carichi di lavoro operativi e analitici vengono eseguiti insieme condividendo un'unica base dati. La soluzione presentata di seguito da Victoria Sicking, Solutions Architect presso Databricks, descritta in 'Run Live Energy Trading, Risk, and Analytics in Databricks', combina sei componenti sulla Databricks Data + AI Platform. La principale scelta progettuale consiste nel fatto che nessun componente mantiene una propria copia separata dei dati. Tutti lavorano sui dati scritti da Spark Structured Streaming Real-Time Mode in Lakebase e nel lakehouse.
Spark Structured Streaming Real-Time Mode riceve i dati di mercato e li trasmette in streaming in Lakebase, utilizzato qui come database operativo (OLTP) per letture, transazioni e upsert in millisecondi. Gli stessi dati possono poi supportare i carichi di lavoro analitici basati sul lakehouse.
I team non devono più coordinare pipeline parallele, una per il desk live e un'altra per il backtesting e la reportistica. Il tempo precedentemente speso per la riconciliazione e il coordinamento viene recuperato creando un unico percorso di acquisizione nel vostro data estate per i dati di mercato e di posizione. Unity Catalog – il layer di governance di Databricks per permessi, lineage e audit – applica tale governance all'app, alla business intelligence e ai carichi di lavoro di machine learning, evitando che vengano configurati indipendentemente in più sistemi.
Si presenta come un'unica applicazione che mostra prezzi, posizioni, profitti e perdite (P&L) e rischio, il tutto aggiornato in tempo reale al variare del mercato. L'esperienza live è basata su Databricks Apps – la soluzione per creare e ospitare applicazioni di dati, come un'interfaccia di trading live, sulla piattaforma – e riunisce tutto ciò di cui un desk ha bisogno per monitorare il mercato e agire sui cambiamenti delle condizioni. I dati sono serviti direttamente da Lakebase, in modo che il desk legga sempre dagli stessi dati governati che alimentano i carichi di lavoro analitici, senza bisogno di copie operative separate.
La demo mostra i prezzi degli strumenti per il greggio Brent, lo spot dell'energia elettrica in Germania e Francia, il tasso di cambio EUR-USD, i permessi di emissione di carbonio dell'UE (EUA) e il gas TTF.
Il rischio viene monitorato rispetto ai limiti del desk nello stesso flusso di lavoro. Quando una misura si avvicina a un limite, l'app genera un avviso di rischio in modo che il desk possa vedere la variazione e rispondere immediatamente. Questo sostituisce un processo batch notturno che calcola il rischio partendo da un'istantanea precedente dei dati.
L'applicazione non è una superficie di reportistica scollegata dalla piattaforma dati. Lakebase fornisce il layer operativo dietro l'app e la pipeline di streaming mantiene le informazioni aggiornate.
È possibile addestrare modelli di machine learning sugli stessi dati governati che supportano il desk live, tracciarne lo sviluppo e il lineage con MLflow e distribuire le versioni approvate tramite Databricks Model Serving. I loro output possono quindi essere visualizzati direttamente nell'app.
I team di energy trading hanno bisogno di modelli in grado di anticipare il rischio e identificare potenziali segnali di trading. Eseguire tutto su un'unica copia dei dati unificata e governata elimina il passaggio di consegne tra un sistema di training e un sistema live: il modello vede esattamente ciò che vede il desk.
La demo mostra una previsione dei prezzi in tempo reale che può contribuire a un segnale di trading. Il percorso tra i dati utilizzati per addestrare un modello e il flusso di lavoro che ne consuma l'output si accorcia. Il machine learning diventa parte integrante del flusso di lavoro di trading end-to-end anziché un sistema separato posizionato tra lo stack live e quello analitico.
Gli stessi dati governati possono anche supportare l'analisi del rischio e lo sviluppo dei modelli. I carichi di lavoro operativi e analitici rimangono connessi e i team non devono riconciliare versioni separate dei dati in un secondo momento.
Gli analisti utilizzano una dashboard incorporata e Genie One, entrambe basate sulla stessa base dati dell'app live. La dashboard incorporata presenta i dati storici di trading, inclusi il totale delle operazioni, il volume scambiato e i confronti tra i trader.
Per un'analisi più approfondita, gli analisti possono usare SQL, Python o Spark. Possono anche utilizzare Genie One – l'interfaccia in linguaggio naturale di Databricks per porre domande sui dati governati – senza scrivere direttamente le query. Nella demo, l'analista chiede a Genie One di identificare le prime cinque controparti per numero di scambi e di confrontare il volume totale di acquisto con quello di vendita per ciascuna di esse.
Genie One opera all'interno del workspace di Databricks e utilizza il contesto dei dati disponibili e la semantica definita per rispondere. Gli analisti possono passare da una visualizzazione a dashboard con insight fissi a un'analisi personalizzata dei dati rimanendo nello stesso ambiente governato. Una copia unificata dei dati garantisce che i risultati coincidano tra il desk live e il back-office di analytics.
I dati fluiscono da un feed di mercato, attraverso lo streaming e Lakebase, fino all'app, agli analytics e al machine learning, il tutto sotto la governance di Unity Catalog. Poiché Unity Catalog abbraccia ogni componente, i permessi, il lineage e l'audit applicati al desk live si applicano anche alle dashboard, a Genie One e al machine learning, configurati una sola volta e non replicati in ogni singolo sistema. I passaggi sono:
I carichi di lavoro operativi in tempo reale, di analisi e di machine learning non sono destinazioni separate che richiedono continui spostamenti di dati. Sono modi diversi di lavorare con gli stessi dati governati.
La questione è se i requisiti operativi e analitici debbano essere gestiti da sistemi disconnessi con copie separate, modelli di governance e logiche di sincronizzazione. Hanno esigenze diverse, ma un'unica piattaforma può soddisfare entrambe le necessità: consolidare i dati su un'unica copia governata significa che il desk, i modelli di rischio e il livello di reporting sono sempre perfettamente sincronizzati tra loro.
Quando questi carichi di lavoro vengono eseguiti su sistemi separati, i controlli dei rischi possono dipendere da dati in batch, i modelli possono essere addestrati su informazioni che non corrispondono al sistema live, e le pipeline di governance, lignaggio e sincronizzazione devono essere gestite più di una volta.
La soluzione Databricks Energy Trading riunisce tutte queste funzionalità su un'unica base dati governata. Con questa configurazione, i team possono valutare i rischi in base ai movimenti del mercato, utilizzando contemporaneamente gli stessi dati governati per profitti e perdite, esposizione, backtesting, machine learning, dashboard e analisi in linguaggio naturale.
Per saperne di più su come iniziare, visita:
Sistemi separati possono creare due versioni della realtà, un divario di freschezza nei controlli del rischio, governance e lignaggio duplicate, lavoro di manutenzione extra e ulteriori pipeline di sincronizzazione tra i sistemi. Anche il machine learning diventa più difficile da gestire quando i modelli vengono addestrati su un sistema ma devono essere eseguiti su un altro. Gestire un'unica copia dei dati governata e unificata, con un solo set di controlli, elimina la maggior parte di questi costi.
I team di energy trading possono gestire il desk live, i rischi, il machine learning e l'analisi storica su un'unica copia di dati governati in Databricks. Spark Structured Streaming Real-Time Mode, Lakebase, Databricks Apps e Unity Catalog sostituiscono il secondo sistema e i controlli duplicati.
Lakebase è un database Postgres completamente gestito e nativo della Databricks Data + AI Platform, utilizzato qui come database operativo (OLTP) per letture in millisecondi, transazioni e upsert. Poiché si trova all'interno della stessa piattaforma del lakehouse, collega i dati operativi ai carichi di lavoro analitici su un'unica copia di dati governata e unificata, senza richiedere un database separato al di fuori della piattaforma.
Un'applicazione di trading live basata su Databricks Apps, il modo per creare e ospitare applicazioni di dati sulla piattaforma (come un'interfaccia di trading live), può mostrare prezzi, posizioni, profitti, perdite e rischi in tempo reale mentre si aggiornano. Gli avvisi di rischio si attivano man mano che le metriche si avvicinano ai limiti del desk, consentendo ai trader di reagire alle condizioni attuali anziché affidarsi solo a calcoli batch.
Unity Catalog è il livello di governance di Databricks per permessi, lignaggio e audit, che fornisce un unico livello di governance per l'applicazione operativa, le analisi e i flussi di lavoro di machine learning. Mantiene permessi centralizzati, lignaggio e audit end-to-end, consentendo ai team di configurare i controlli una sola volta per la singola copia dei dati, anziché replicare una governance separata per ciascun sistema.
(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale
Iscriviti al nostro blog e ricevi gli ultimi articoli direttamente nella tua casella di posta.