Presentamos Lakehouse//RT: rendimiento en tiempo real en un lakehouse unificado

Cuando presentamos la arquitectura lakehouse, nuestra visión era crear una plataforma única y unificada para todas sus necesidades de datos, eliminando la división entre los lagos de datos y los almacenes de datos. Demostramos que esto era posible con Databricks Lakehouse, uniendo diversas cargas de trabajo de analítica, BI, AI y ETL en una sola plataforma utilizando datos abiertos, lo que elimina la duplicación y centraliza la gobernanza.

Ahora, estamos unificando el servicio en tiempo real con nuestra plataforma de datos principal. Hoy en día, esto se logra habitualmente mediante el uso de una capa de servicio independiente o un motor especializado. Esto da como resultado copias de datos aisladas en silos que añaden complejidad, costes y riesgos a su arquitectura de datos.

A Databricks le complace anunciar que estamos llevando el rendimiento de milisegundos directamente al lakehouse. Presentamos Lakehouse//RT, el nuevo almacén de datos en tiempo real de Databricks diseñado para analítica operacional, servicio de aplicaciones y BI, y cargas de trabajo de observabilidad. Lakehouse//RT está impulsado por Reyden, un nuevo y revolucionario motor para cargas de trabajo en tiempo real que requieren una respuesta inmediata con una alta concurrencia.

Capas de servicio independientes: una solución de compromiso fallida

A medida que las organizaciones amplían el acceso a los datos a usuarios, aplicaciones, paneles y agentes, la demanda de una capacidad de respuesta en tiempo real bajo una alta concurrencia sigue creciendo. La respuesta tradicional era introducir una capa de servicio dedicada. Aunque es rápido para las lecturas, este enfoque requiere copiar los datos a una nueva capa, aislándolos del resto de su plataforma y, al mismo tiempo, introduciendo más complejidad en todo su entorno.

Copiar sus datos en una capa de servicio independiente no es gratis. Le cuesta el triple, antes incluso de haber procesado una sola consulta.

1. Lo paga en duplicación. Extrae sus datos de formatos abiertos como Delta e Iceberg y los copia en un almacenamiento propietario que ningún otro motor puede leer. Ahora tiene un segundo pipeline de ingesta, un nuevo conjunto de modos de fallo cada vez que se interrumpe una sincronización y una nueva sobrecarga operativa cada vez que cambian los datos de origen.
2. Lo paga en gobernanza. Las políticas de seguridad, los controles de acceso y la lógica de negocio que definió una vez en Unity Catalog no acompañan a los datos a la capa de servicio. Así que tiene que definirlos de nuevo, en un segundo lugar. En el momento en que ambos divergen, se encuentra con reglas inconsistentes, un acceso fragmentado y una brecha que su equipo de seguridad tendrá que explicar.
3. Lo paga en ingeniería. Alguien tiene que encargarse de ese pipeline. Alguien depura los fallos de sincronización. Alguien ejecuta el segundo clúster. Los ingenieros más cercanos a sus cargas de trabajo más sensibles a la latencia acaban pasando sus días dedicados a tareas de infraestructura en lugar de al producto.

Y por si fuera poco: incluso después de haber pagado por las tres cosas, la capa de servicio sigue sin poder ejecutar todas sus consultas. En el momento en que una consulta se vuelve compleja (por ejemplo, joins, funciones de ventana) o los datos se vuelven masivos, colapsa.

Lakehouse//RT: Rendimiento en tiempo real, impulsado por Reyden

Lakehouse//RT es un nuevo almacén en tiempo real que ofrece un rendimiento de milisegundos a gran escala, sin movimiento de datos. Puede dar soporte a cargas de trabajo en tiempo real mientras sigue utilizando los mismos formatos abiertos, el modelo de gobernanza y la arquitectura de datos centralizada que ya impulsan su analítica y AI.

Los participantes de la versión preliminar han visto un rendimiento hasta 16 veces mejor en comparación con las capas de servicio en tiempo real, con tiempos de respuesta de tan solo 10 ms en conjuntos de datos más pequeños y un rendimiento inferior a 100 ms en los más grandes. En las pruebas de rendimiento analíticas estándar, Lakehouse//RT ofrece una latencia inferior a 100 milisegundos a 12 000 consultas por segundo.

Pero es fácil seleccionar meticulosamente un único número de una sola prueba de rendimiento. La verdadera prueba es si esa velocidad se mantiene en todas partes: con más datos, con consultas más difíciles y bajo una carga más pesada.

Lakehouse//RT ofrece un rendimiento superior en todas las pruebas de rendimiento

Este nuevo enfoque significa que Lakehouse//RT puede mantener una latencia baja, incluso con miles de consultas por segundo, tanto en conjuntos de datos grandes como pequeños, allí donde otros almacenes de datos o motores especializados en tiempo real pueden sufrir picos de latencia o incluso fallar por completo.

Así es como se ve esto en tres dimensiones:

1. Bajo carga: es fácil ofrecer una latencia baja con una sola consulta. El desafío surge cuando un panel o una aplicación lanza miles de consultas al mismo tiempo al sistema. No querrá que sus usuarios finales abran su aplicación analítica y tengan que esperar segundos o incluso minutos para que se cargue. Probamos Lakehouse//RT frente a las principales alternativas en cuanto a latencia de consulta a medida que aumentábamos el rendimiento desde un puñado de consultas por segundo hasta miles. Todas las alternativas se comportan de la misma manera. La latencia se mantiene durante un tiempo, luego aumenta y, finalmente, el motor deja de responder por completo. Lakehouse//RT se mantiene estable en todo el rango, escalando a miles de consultas por segundo sin sacrificar la latencia de las consultas.

2. A escala: esta prueba se basa en TPCH, una prueba de rendimiento estándar de soporte a la toma de decisiones. Ejecutamos un conjunto de consultas sobre un esquema de ventas que combina escaneos de tablas grandes, joins de varias tablas y agregaciones, que es la estructura habitual de los informes comerciales diarios. Lo ejecutamos desde conjuntos de datos pequeños hasta un terabyte, el camino que sigue cada conjunto de datos a medida que se acumulan el uso y el historial. Lakehouse//RT mantiene la latencia baja a medida que crecen los datos, y el gráfico muestra cómo se mantiene el rendimiento en los distintos factores de escala. Desafortunadamente, con factores de escala grandes, 2 de las 3 alternativas que estábamos probando no lograron ejecutarse. Esto resalta aún más la incapacidad de estas pilas secundarias en tiempo real para manejar tamaños de datos significativos.

3. En las consultas más difíciles: esta prueba se basa en TPCDS, una prueba de rendimiento de soporte a la toma de decisiones más exigente para almacenes de datos. Ejecutamos un conjunto de consultas complejas creadas a partir de joins profundos de varias tablas, subconsultas y funciones de ventana sobre un esquema de almacén realista, el tipo de análisis que escribe un analista cuando la pregunta va mucho más allá de una simple búsqueda. Lakehouse//RT mantiene la latencia baja incluso a medida que las consultas se vuelven más difíciles, y el gráfico muestra que la brecha solo se amplía, con una alternativa que se ejecuta hasta 25 veces más lento. Y una vez más, a la escala más grande, esa misma alternativa no logró finalizar en absoluto. Una prueba más de que las pilas secundarias en tiempo real creadas para búsquedas simples no pueden manejar la analítica compleja que las empresas ejecutan todos los días.

El resultado es consistente en los tres casos. Rápido bajo carga, rápido a escala y rápido en las consultas más difíciles, en un solo motor, en una única copia de sus datos. Nuestros clientes de la versión preliminar vieron mejoras de rendimiento similares con Lakehouse//RT en escenarios del mundo real, desde paneles hasta aplicaciones analíticas en tiempo real.

Velocidad de milisegundos a escala, en una plataforma unificada y bien gobernada

Al unificar el rendimiento en tiempo real con su plataforma de datos central, Lakehouse//RT elimina las concesiones arquitectónicas para ofrecer tres beneficios principales: respuestas en tiempo real, una arquitectura optimizada y una gobernanza consistente.

Respuestas en tiempo real

Cuando es fundamental obtener la información más rápida y actualizada, Lakehouse//RT responde. Los clientes de sectores exigentes donde cada milisegundo cuenta, sin importar el número de consultas concurrentes, reducen drásticamente su tiempo de obtención de información con el lakehouse en tiempo real.

Esto es lo que descubrieron algunos de nuestros primeros clientes de la versión preliminar en cuanto a mejoras de rendimiento:

"Meta Enterprise ejecuta análisis para nuestros propios equipos en la cadena de suministro, finanzas y más allá, donde los analistas esperan respuestas al instante, incluso bajo una fuerte concurrencia en nuestras tablas más grandes. Con Lakehouse//RT, los resultados de nuestras consultas habituales regresan en decenas de milisegundos con datos en el lago sin necesidad de un sistema independiente adicional."

— Srikanth Sakhamuri, líder de ingeniería de datos en Meta

"SES, una empresa de soluciones espaciales, ayuda a los gobiernos a proteger, a las empresas a crecer y a las personas a mantenerse conectadas, sin importar dónde se encuentren. Con satélites de órbita múltiple integrados y nuestra red terrestre global, ofrecemos una conectividad resiliente y sin interrupciones. Nuestros paneles de operaciones se ejecutan sobre miles de millones de filas de telemetría en vivo y exigen respuestas en milisegundos con una alta concurrencia.

Lakehouse//RT ofrece exactamente eso directamente sobre nuestros datos de Databricks: 20 veces más rápido que nuestros tiempos de consulta anteriores y a una fracción del coste, ya que ya no necesitamos operar una capa de servicio independiente para cumplir con nuestros requisitos de latencia."

— Dennis Rossberg, arquitecto sénior de nube de datos en SES

"Enverus es la plataforma de datos y AI de la industria energética, construida sobre más de 25 años de inteligencia patentada con 2.7 petabytes de datos continuamente actualizados, más de 350 millones de registros judiciales y más de 500 mil millones de dólares en transacciones anuales que cubren toda la cadena de valor de la energía. Esto significa que nuestros análisis deben seguir siendo interactivos, incluso a medida que aumenta el tráfico de analistas y de aplicaciones integradas.

Con Lakehouse//RT, las consultas se responden en decenas de milisegundos para algunas consultas, y hasta 100 veces más rápido en otras en comparación con nuestro motor especializado en tiempo real. Ese rendimiento significa que podemos unificar nuestra pila de análisis independiente en un solo Lakehouse unificado."

— Paul Lamb, Director de Enterprise Analytics en Enverus

Arquitectura simplificada

En lugar de copiar y mover datos y construir pipelines adicionales, los equipos pueden confiar en una plataforma única y ágil para obtener la potencia de cómputo que necesitan sin herramientas propietarias. Esto significa menos complejidad y dispersión del sistema.

"Nuestra plataforma procesa cientos de consultas por segundo para ofrecer datos de rendimiento en tiempo real a toda nuestra base de clientes, por lo que la consistencia y la latencia afectan directamente la experiencia del cliente.

Con Lakehouse//RT, estamos viendo un rendimiento consistente de menos de 200 milisegundos en nuestras consultas de paneles principales. Poder lograr eso directamente sobre datos gobernados de lakehouse simplifica drásticamente nuestra arquitectura de pipelines y de servicio."

— Kayvon Raphael, Director Sénior de Ingeniería en Magnite

"La búsqueda de amenazas requiere una latencia consistentemente baja, incluso cuando el uso aumenta entre usuarios y agentes. Lo que estamos viendo con Lakehouse//RT es un rendimiento de milisegundos en datos en tiempo real con una mejora de 5 veces en el tiempo de respuesta, lo que abre el camino para ejecutar esas cargas de trabajo en nuestro lakehouse en lugar de mantener un sistema de servicio independiente."

— Chris Kopek, Responsable de Plataformas de Datos en Cisco

"En Halcyon, nuestros equipos monitorean datos de seguridad en millones de endpoints, correlacionando señales dispares para identificar amenazas críticas en cuestión de segundos. A medida que crecían las necesidades de seguridad de nuestros clientes, también lo hacía la carga en nuestros sistemas.

Lakehouse//RT ofreció el rendimiento y la concurrencia que necesitábamos. Nuestras consultas críticas ahora se ejecutan aproximadamente 4 veces más rápido, directamente en nuestro Lakehouse, sin un sistema de almacenamiento en caché independiente."

— Seagen Levites, Director Sénior de Análisis Cuantitativo en Halcyon AI

Gobernanza sólida y consistente

Al mismo tiempo, la gobernanza sigue estando centralizada. Las políticas de seguridad, los permisos, los controles de acceso y la lógica de negocio se mantienen definidos y aplicados de manera consistente con Unity Catalog. Sus equipos no tienen que duplicar reglas ni lidiar con una gobernanza fragmentada. Se configura una vez y funciona en todas partes.

"Lakehouse//RT se ejecutó, en promedio, más de un tercio más rápido que nuestro almacén de datos anterior en nuestro conjunto de datos de atención médica, con consultas 10 veces más rápidas [en algunas cargas de trabajo]. Eso se traduce directamente en un acceso más rápido a la información y más tiempo para la toma de decisiones de nuestros clientes. Habíamos considerado un sistema dedicado en tiempo real para aumentar nuestra arquitectura de Lakehouse, pero Lakehouse//RT eliminó esa necesidad, brindándonos esa velocidad de forma nativa con una gobernanza consistente."

— Mehrshad Setayesh, SVP de Ingeniería (Datos, Plataforma, AI) en PointClickCare

"Bally’s es uno de los grupos tecnológicos de juego y lotería global más grandes de la industria, con millones de transacciones al día en aproximadamente 60TB en Delta Lake bajo Unity Catalog. Nuestros equipos de operaciones necesitan respuestas en segundos y, para lograrlo, habíamos estado ejecutando sistemas de servicio independientes de baja latencia junto al lakehouse. Lakehouse//RT elimina esa compensación: un rendimiento 7 veces más rápido y en menos de un segundo sobre los mismos datos, directamente desde nuestras tablas Delta gobernadas. Sin copias, sin clusters adicionales, sin un segundo sistema que proteger.

Esa simplicidad es especialmente importante en una industria altamente regulada, donde mantener los más altos estándares de gobernanza, seguridad y privacidad de datos es fundamental para nuestra forma de operar."

— Mark Borg, Vicepresidente Sénior de Datos en Bally’s

"Equilibrium Energy está reinventando la forma en que se realiza el comercio de energía: agentes de AI que trabajan junto a operadores humanos, con datos en tiempo real extraídos de docenas de fuentes dispares, a las velocidades que el mercado realmente requiere. Es una carga de trabajo con la que la mayoría de las arquitecturas en tiempo real no pueden mantener el ritmo. Lakehouse//RT ofreció una latencia mediana hasta 3.6 veces más rápida que SQL Serverless en nuestras consultas de portal, lo suficientemente rápido como para que los operadores puedan pensar con los datos en lugar de esperar por ellos: ejecutando escenarios, explorando junto a agentes de AI y tomando decisiones en segundos.

Mantener todo en una sola plataforma, en lugar de acoplar una capa independiente en tiempo real a nuestra pila tecnológica, nos permite movernos a esta velocidad sin sacrificar la gobernanza."

— Tarek Rached, Director de Plataforma de Datos en Equilibrium Energy

Socios

Además de nuestros clientes de Preview, algunos de los socios globales más grandes de Databricks ya comparten nuestra visión de Lakehouse//RT. Reconocen el increíble potencial que esto aporta al mercado y están entusiasmados de colaborar con nosotros a medida que abrimos el camino para el almacenamiento de datos en tiempo real.

"La alianza de Deloitte con Databricks continúa cobrando un impulso increíble a medida que ayudamos a las organizaciones a transformar sus datos en activos estratégicos listos para la AI. El lanzamiento de Lakehouse//RT marca un salto significativo hacia adelante, al proporcionar las capacidades en tiempo real necesarias para impulsar el análisis avanzado y acelerar el tiempo de obtención de valor. Estamos entusiasmados de profundizar nuestra colaboración con Databricks y llevar esta última innovación a nuestros clientes para impulsar resultados comerciales medibles e impactantes."

— Thomas Zipprich, Principal y Líder Global de la Alianza con Databricks en Deloitte Consulting LLP

"A medida que vemos un impulso acelerado en nuestra asociación con Databricks con el lanzamiento de nuestro nuevo Business Group, la demanda empresarial de datos en tiempo real y AI nunca ha sido tan clara. El lanzamiento de Lakehouse//RT ofrece la velocidad y la arquitectura abierta que nuestros clientes necesitan para impulsar una reinvención empresarial inteligente. Esperamos continuar nuestro camino con Databricks para desbloquear nuevas posibilidades."

— Jigyasa Singh, Responsable Global del Business Group de Databricks en Accenture

"Sigma ahora se conecta directamente a Lakehouse//RT, Agent Bricks, Genie Agents y Lakebase, de modo que los clientes conjuntos pueden obtener un rendimiento de consultas de menos de un segundo a escala, explorar miles de millones de filas a través de una interfaz de hoja de cálculo familiar, crear agentes que actúen sobre esos datos y gestionar todo el flujo de trabajo de los agentes (memoria, estado y todo lo demás) sin salir del entorno gobernado en el que ya confían.

La parte más difícil de la AI empresarial no es construir el modelo. Es hacer que los agentes trabajen con datos comerciales reales, bajo permisos reales y a escala. Eso es exactamente lo que Sigma y Databricks resuelven juntos."

— Mike Palmer, CEO de Sigma

Un nuevo motor y un nuevo modelo de cómputo

Además de los beneficios de rendimiento, simplicidad y gobernanza, Lakehouse//RT también elimina la carga de toma de decisiones de sus equipos:

Dimensionamiento automático (AUTO sizing). Ya no tiene que elegir un tamaño de camiseta. Databricks determina automáticamente el cómputo base adecuado para su carga de trabajo, por lo que no hay que adivinar ni pasar por ciclos de aumento de tamaño cuando las consultas se ralentizan o de reducción para ahorrar costos.

Escalado automático incremental (Incremental autoscaling). Los almacenes de datos tradicionales manejan una mayor concurrencia creando copias completas de sí mismos: el doble, el triple o el cuádruple. Un pequeño aumento en la demanda puede duplicar su factura. Lakehouse//RT escala agregando y eliminando nodos individuales a medida que cambia la carga, de modo que obtiene exactamente la capacidad que necesita y paga exactamente por eso.

Traiga sus cargas de trabajo en tiempo real a casa

Databricks ha proporcionado durante mucho tiempo la escala y la apertura necesarias para el análisis moderno y la AI. Las organizaciones ya no necesitan elegir entre un rendimiento de baja latencia y una arquitectura de datos abierta y unificada. No necesita una pila tecnológica más fragmentada. Necesita un almacén de datos más capaz.

Lakehouse//RT ya está disponible en versión Beta para cargas de trabajo de solo lectura seleccionadas, y se incorporarán más capacidades en los próximos meses. Hable con el equipo de su cuenta de Databricks para comenzar y llevar sus cargas de trabajo en tiempo real al lakehouse. Como oferta de lanzamiento, el uso de Lakehouse//RT tiene un 30 % de descuento hasta enero de 2027. Una vez dentro, solo tiene que elegir Lakehouse//RT en el selector de almacenes y estará listo para empezar.

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original