Descubre cómo Databricks combina el comercio de energía en tiempo real, el monitoreo de riesgos, el aprendizaje automático y el análisis histórico con una sola plataforma y un modelo de gobernanza.
por Victoria Sicking y Jack Yallop
Las mesas de trading de energía operan en mercados donde las condiciones cambian con rapidez y las decisiones se miden en milisegundos. Dos cambios dificultan esto: una mayor volatilidad en los precios y el cambio del mercado diario de electricidad de la UE hacia intervalos de trading de 15 minutos en lugar de horas. La unidad de tiempo del mercado de 15 minutos forma parte del acoplamiento diario (SDAC, por sus siglas en inglés), el sistema que conecta los mercados diarios de electricidad en los países de la UE. Esto genera cuatro veces más periodos de mercado por hora e incrementa el volumen de registros, órdenes y recálculos de riesgo. Mantener dichos cálculos precisos requiere datos actualizados, lo que apunta directamente a cómo se almacenan y gobiernan los datos, y no solo a qué tan rápido llegan.
Los datos obsoletos son más que un inconveniente para una mesa de trading. Pueden hacer que los controles de riesgo reflejen un estado anterior del mercado, contribuir a que se pierdan movimientos intradiarios y desalinear los límites de la mesa con las posiciones actuales.
Muchas organizaciones responden con dos arquitecturas distintas. Un sistema operativo da soporte a la mesa en vivo y a las transacciones en milisegundos. Un sistema analítico separado da soporte al backtesting de estrategias, el machine learning y los informes regulatorios. Esta división se adapta a dos cargas de trabajo diferentes, pero genera cuatro problemas recurrentes:
El machine learning añade otra dependencia. Los modelos necesitan datos históricos para el entrenamiento, pero sus resultados deben estar disponibles en el flujo de trabajo de trading en vivo. Mover modelos y datos entre sistemas separados agrega complejidad a un proceso que ya depende del tiempo. La alternativa es una plataforma unificada para datos, analítica e IA —una donde Real-Time Mode streams se transmite con latencia de milisegundos y Lakebase Postgres mantiene listo— para que tanto la mesa en vivo como el flujo de trabajo del modelo provengan de la misma fuente sin un paso de transferencia adicional.
Las cargas de trabajo operativas y analíticas se ejecutan juntas al compartir una misma base de datos. La solución presentada a continuación por Victoria Sicking, arquitecta de soluciones en Databricks, descrita en 'Ejecutar trading de energía en vivo, riesgo y analítica en Databricks' combina seis componentes en Databricks Data + AI Platform, y la elección de diseño clave es que ningún componente mantiene su propia copia separada de los datos. Todos operan a partir de lo que Spark Structured Streaming Real-Time Mode ha escrito en Lakebase y el lakehouse.
Spark Structured Streaming Real-Time Mode recibe los datos del mercado y los transmite hacia Lakebase, utilizado aquí como la base de datos operativa (OLTP) para lecturas, transacciones y upserts en milisegundos. Estos mismos datos pueden respaldar después las cargas de trabajo analíticas construidas en el lakehouse.
Los equipos ya no necesitan coordinar canalizaciones paralelas, una para la mesa en vivo y otra para el backtesting y los informes. El tiempo que antes se desperdiciaba en conciliación y coordinación se libera al crear una ruta de ingesta única en su entorno de datos para los datos de mercado y de posición. Unity Catalog —la capa de gobernanza de Databricks para permisos, linaje y auditoría— aplica dicha gobernanza en las cargas de trabajo de aplicaciones, inteligencia de negocios y machine learning, de modo que no se configuren de forma independiente en múltiples sistemas.
Se ve como una sola aplicación que muestra precios, posiciones, ganancias y pérdidas (P&L) y riesgos, todo actualizándose conforme se mueve el mercado. La experiencia en vivo está construida sobre Databricks Apps —la forma de crear y alojar aplicaciones de datos, como una interfaz de trading en vivo, en la plataforma—, uniendo lo que una mesa necesita para monitorear el mercado y actuar ante condiciones cambiantes, servido directamente desde Lakebase para que la mesa siempre lea de los mismos datos gobernados que alimentan las cargas de trabajo analíticas, sin necesidad de una copia operativa separada.
La demo muestra los precios de instrumentos para crudo Brent, electricidad al contado en Alemania y Francia, conversión de EUR a USD, derechos de emisión de la UE (EUAs) y gas TTF.
El riesgo se monitorea frente a los límites de la mesa en el mismo flujo de trabajo. Cuando una métrica se acerca a un límite, la aplicación genera una alerta de riesgo para que la mesa pueda ver el cambio y responder de inmediato. Esto reemplaza un proceso por lotes nocturno que calcula el riesgo a partir de una instantánea anterior de los datos.
La aplicación no es una superficie de informes desconectada de la plataforma de datos. Lakebase proporciona la capa operativa detrás de la aplicación, y la canalización de streaming mantiene la información actualizada.
Entrena modelos de machine learning con los mismos datos gobernados que dan soporte a la mesa en vivo, realiza un seguimiento de su desarrollo y linaje con MLflow y despliega las versiones aprobadas mediante Databricks Model Serving. Sus resultados pueden mostrarse directamente en la aplicación.
Los equipos de trading de energía necesitan modelos que puedan anticipar el riesgo e identificar señales de trading potenciales, y ejecutar todo en una copia de datos unificada y gobernada elimina la transferencia entre un sistema de entrenamiento y uno en vivo; el modelo ve exactamente lo mismo que ve la mesa.
La demo muestra un pronóstico de precios en tiempo real que puede contribuir a una señal de trading. El camino entre los datos utilizados para entrenar un modelo y el flujo de trabajo que consume su salida se acorta. El machine learning pasa a formar parte del flujo de trabajo de trading integral en lugar de ser un sistema separado interpuesto entre las pilas en vivo y analíticas.
Los mismos datos gobernados también pueden respaldar el análisis de riesgos y el desarrollo de modelos. Las cargas de trabajo operativas y analíticas se mantienen conectadas, y los equipos no necesitan conciliar versiones separadas de los datos a posteriori.
Los analistas utilizan un panel integrado y Genie One, ambos construidos sobre la misma base de datos que la aplicación en vivo. El panel integrado presenta datos históricos de trading, incluidos los trades totales, el volumen operado y comparaciones entre traders.
Para un análisis más profundo, los analistas pueden usar SQL, Python o Spark. También pueden utilizar Genie One —la interfaz de lenguaje natural de Databricks para hacer preguntas sobre datos gobernados— sin necesidad de escribir la consulta por sí mismos. En la demo, el analista le pide a Genie One que identifique a las cinco principales contrapartes por número de trades y compare el volumen total de compra con el de venta para cada una.
Genie One opera dentro del espacio de trabajo de Databricks y utiliza el contexto de datos disponible y la semántica definida para responder. Los analistas pueden pasar de una vista de panel que arroja perspectivas fijas a un análisis personalizado de los datos sin salir del mismo entorno gobernado. Una copia unificada de los datos garantiza que los resultados coincidan entre la mesa en vivo y el back-office de analítica.
Los datos fluyen desde una fuente de mercado, pasando por streaming y Lakebase, hasta la aplicación, la analítica y el machine learning, todo bajo la gobernanza de Unity Catalog. Como Unity Catalog abarca cada componente, los permisos, el linaje y la auditoría aplicados a la mesa en vivo también se aplican a los paneles, Genie One y el machine learning, configurados una sola vez y no reproducidos en cada sistema. Los pasos son:
La mesa de operaciones en tiempo real, los análisis y las cargas de trabajo de machine learning no son destinos separados que requieran el movimiento constante de datos. Son diferentes formas de trabajar con los mismos datos gobernados.
La cuestión es si los requisitos operativos y analíticos deben atenderse mediante sistemas desconectados con copias independientes, modelos de gobernanza y lógica de sincronización. Tienen requisitos diferentes, pero una sola plataforma puede satisfacer ambos; consolidar los datos en una sola copia gobernada significa que la mesa de operaciones, los modelos de riesgo y la capa de informes nunca estarán desincronizados entre sí.
Cuando estas cargas de trabajo se ejecutan en sistemas separados, los controles de riesgo pueden depender de datos por lotes, los modelos pueden entrenarse con información que no coincide con el sistema en vivo, y las canalizaciones de gobernanza, linaje y sincronización deben mantenerse más de una vez.
La solución Databricks Energy Trading reúne estas capacidades en una única base de datos gobernada. Con esta configuración, los equipos pueden evaluar el riesgo a medida que el mercado se mueve, utilizando los mismos datos gobernados para P&L, exposición, backtesting, machine learning, paneles y análisis en lenguaje natural.
Para obtener más información sobre cómo empezar, visita:
Los sistemas separados pueden crear dos versiones de la verdad, una brecha de frescura en los controles de riesgo, gobernanza y linaje duplicados, trabajo de mantenimiento adicional y canalizaciones de sincronización adicionales entre sistemas. El machine learning también se vuelve más difícil de gestionar cuando los modelos se entrenan en un sistema pero deben ejecutarse en otro. Mantener una copia de los datos unificada y gobernada, con un único conjunto de controles, elimina la mayor parte de estos costos.
Los equipos de comercio de energía pueden ejecutar la mesa de operaciones en tiempo real, el riesgo, el machine learning y los análisis históricos en una sola copia de datos gobernada en Databricks. Spark Structured Streaming Real-Time Mode, Lakebase, Databricks Apps y Unity Catalog reemplazan al segundo sistema y a los controles duplicados.
Lakebase es una base de datos Postgres totalmente administrada nativa de Databricks Data + AI Platform, utilizada aquí como la base de datos operativa (OLTP) para lecturas de milisegundos, transacciones y actualizaciones (upserts). Como se encuentra dentro de la misma plataforma que el lakehouse, conecta los datos operativos con las cargas de trabajo analíticas en una copia única y gobernada de los datos, en lugar de requerir una base de datos separada fuera de la plataforma.
Una aplicación de operaciones en vivo integrada en Databricks Apps —la forma de crear y alojar aplicaciones de datos en la plataforma, como una interfaz comercial en vivo— puede mostrar los precios, las posiciones, el P&L y el riesgo a medida que se actualizan. Las alertas de riesgo se activan a medida que las medidas se acercan a los límites de la mesa, por lo que los operadores responden a las condiciones actuales en lugar de depender únicamente de los cálculos por lotes.
Unity Catalog es la capa de gobernanza de Databricks para permisos, linaje y auditoría, que proporciona una única capa de gobernanza en la aplicación operativa, los análisis y los flujos de trabajo de machine learning. Mantiene permisos centralizados, linaje y auditoría de extremo a extremo, por lo que los equipos configuran los controles una vez para la copia única de datos en lugar de reproducir una gobernanza separada para cada sistema.
(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original
Suscríbete a nuestro blog y recibe las últimas publicaciones directamente en tu bandeja de entrada.