Actualización de fin de año de Lakebase

Desde que anunciamos la versión preliminar pública de Lakebase en el verano, miles de clientes de Databricks han estado creando aplicaciones de datos inteligentes sobre Lakebase, utilizándolo para potenciar el servicio de datos de aplicaciones, los almacenes de características y la memoria de agente, mientras mantienen esos datos estrechamente alineados con los flujos de trabajo de análisis y machine learning.

Ahora que nos acercamos al final del año, nos complace presentar un nuevo y emocionante conjunto de mejoras:

• Autoscaling que ajusta dinámicamente la computación en función de la carga
• Escalar a cero, lo que permite que el cómputo se apague cuando está inactivo y se reanude automáticamente en cientos de milisegundos
• Aprovisionamiento instantáneo para crear nuevas instancias de bases de datos en segundos
• Bifurcación instantánea de bases de datos, que permite flujos de trabajo similares a los de Git con entornos aislados de copia en escritura para desarrollo, pruebas y staging
• Copias de seguridad automatizadas y recuperación en un punto en el tiempo para una restauración rápida y operaciones más seguras
• Postgres 17, junto con el soporte continuo para Postgres 16
• Mayor capacidad de almacenamiento de hasta 8 TB para cargas de trabajo de producción más grandes
• Una nueva interfaz de usuario de Lakebase que simplifica los flujos de trabajo comunes

Estas características representan un hito importante en la definición de la categoría lakebase, una arquitectura de base de datos sin servidor que separa el almacenamiento OLTP de la computación. Son posibles gracias a la combinación de la tecnología de almacenamiento y Postgres sin servidor de nuestra adquisición de Neon con la infraestructura multinube de nivel empresarial de Databricks. 

Autoescalado para cargas de trabajo de aplicaciones dinámicas

Las cargas de trabajo de las aplicaciones modernas rara vez siguen patrones de tráfico predecibles. La actividad de los usuarios fluctúa a lo largo del día, los trabajos en segundo plano generan ráfagas de escrituras y los sistemas basados en agentes pueden crear picos repentinos de concurrencia. Las bases de datos operacionales tradicionales requieren que los equipos planifiquen manualmente para los picos de uso y ajusten la capacidad, lo que a menudo resulta en un sobreaprovisionamiento y una complejidad innecesaria.

Dado que Lakebase se basa en una arquitectura que separa la capa de almacenamiento de la capa de cómputo y permite el escalamiento independiente de ambas, ahora lanzamos la capacidad de escalamiento automático de cómputo, que puede ajustar los recursos de cómputo dinámicamente según la demanda de la carga de trabajo activa. Cuando aumenta el tráfico, los recursos de cómputo aumentan para mantener el rendimiento. Cuando la actividad disminuye, el cómputo se reduce. Las bases de datos inactivas se suspenden después de un breve período de inactividad y se reanudan rápidamente cuando llegan nuevas consultas. Los recursos de cómputo se ajustan dinámicamente para adaptarse a la demanda de la carga de trabajo, tanto en los entornos de producción como en los de desarrollo.

El resultado es menos tiempo dedicado a gestionar la capacidad y más tiempo centrado en el comportamiento de la aplicación.

Inicio rápido y aprovisionamiento instantáneo

Crear una nueva base de datos o reanudar una inactiva no debería ralentizar el desarrollo. Con esta actualización, las nuevas bases de datos de Lakebase se aprovisionan en segundos y las instancias suspendidas se reanudan rápidamente cuando vuelve el tráfico. Esto facilita la creación de entornos bajo demanda, la iteración durante el desarrollo y el soporte de flujos de trabajo en los que las bases de datos se crean y se descartan con frecuencia.

Para los equipos que crean y prueban aplicaciones, un inicio más rápido reduce la fricción y agiliza los ciclos de iteración, especialmente cuando se combina con la ramificación y el autoescalado.

Creación de ramas para una iteración más rápida y segura

Crear y evolucionar aplicaciones de producción implica un cambio constante. Los equipos validan las actualizaciones de los esquemas, depuran problemas complejos y ejecutan canalizaciones de CI que dependen de vistas coherentes de los datos. La clonación tradicional de bases de datos tiene dificultades para mantenerse al día porque las copias completas son lentas, consumen mucho almacenamiento y son riesgosas a nivel operativo.

El servicio de almacenamiento Lakebase implementa la creación de ramas de copia en escritura y ahora ofrecemos esta funcionalidad como creación de ramas de bases de datos a nuestros clientes. Las ramas son entornos instantáneos de copia en escritura que permanecen aislados mientras comparten el almacenamiento subyacente. Esto facilita crear entornos de desarrollo, de prueba y de staging en segundos e iterar en la lógica de la aplicación sin tocar los sistemas de producción.

En la práctica, la creación de ramas elimina la fricción del ciclo de vida del desarrollo y ayuda a los equipos a avanzar más rápido y con confianza. (¡Pero probar en producción sigue sin ser recomendable!)

Copias de seguridad automatizadas y recuperación a un momento dado 

No todos los problemas de datos son una interrupción. A veces el problema es más sutil: un error que escribe datos incorrectos de forma silenciosa a lo largo del tiempo, un cambio de esquema que se comporta de forma diferente a la esperada o un script de reposición que afecta a más filas de las previstas. Estos problemas suelen pasar desapercibidos hasta que los equipos necesitan usar los datos históricos para análisis, informes o el comportamiento de aplicaciones posteriores.

En los entornos tradicionales, recuperarse de escenarios como este puede ser complicado. Los equipos se ven obligados a reconstruir el historial manualmente, reproducir los registros o implementar sistemas temporales solo para recuperar una versión de sus datos que se sabe que es correcta. Ese proceso consume mucho tiempo, es propenso a errores y, a menudo, requiere conocimientos profundos de bases de datos.

Ahora, Lakebase hace que estas situaciones sean mucho más fáciles de gestionar. Con las copias de seguridad automatizadas y la recuperación a un momento dado, los equipos pueden restaurar una base de datos a un momento exacto en cuestión de segundos. Esto permite a los equipos de aplicaciones recuperarse rápidamente de los problemas de datos causados por errores de la aplicación o errores operativos, sin necesidad de repeticiones manuales ni de flujos de trabajo de recuperación complejos.

Soporte para cargas de trabajo de producción más grandes

Además de la recuperación, los sistemas de producción también necesitan espacio para crecer a medida que aumentan los volúmenes de datos. Con esta actualización, Lakebase aumenta su capacidad de almacenamiento admitida hasta 8 TB, lo que cuadruplica los límites anteriores y lo hace adecuado para cargas de trabajo de aplicaciones más grandes y exigentes. 

Soporte ampliado para versiones de Postgres

Lakebase ahora también es compatible con Postgres 17, además de mantener la compatibilidad con Postgres 16. Esto les da a los equipos acceso a las últimas mejoras de Postgres mientras se mantiene la compatibilidad con las aplicaciones existentes.

En conjunto, estas actualizaciones hacen de Lakebase una base más sólida para ejecutar cargas de trabajo operativas de nivel de producción en Databricks.

Flujos de trabajo más simples con una nueva UI de Lakebase

Lakebase ahora incluye una interfaz de usuario renovada diseñada para simplificar los flujos de trabajo diarios. Crear bases de datos, administrar ramas y comprender el comportamiento de la capacidad es más sencillo, con mejores valores predeterminados y un aprovisionamiento más rápido. Esta nueva UI está disponible en el ícono del App Launcher para la nueva oferta de escalamiento automático de Lakebase. La oferta aprovisionada anterior de Lakebase aparecerá en la UI en las próximas semanas. 

Adopción

Como se indicó anteriormente, miles de clientes de Databricks han creado aplicaciones sobre Lakebase. Debido a que Lakebase está totalmente integrado en Databricks Data Intelligence Platform, los datos operativos residen en la misma base que admite análisis, IA, aplicaciones y flujos de trabajo de agente. Unity Catalog proporciona gobernanza coherente, control de acceso, auditoría y linaje. Las aplicaciones y los marcos de agentes de Databricks pueden utilizar Lakebase para integrar el estado en tiempo real con el contexto histórico, lo que elimina la necesidad de ETL o replicación.

Para los profesionales, esto crea un entorno unificado donde los datos operativos y analíticos permanecen alineados, sin la necesidad de gestionar múltiples sistemas para mantener las aplicaciones conectadas a la inteligencia.

Citando a dos de los primeros en adoptarlo:

“Lakebase permite que un equipo agéntico acceda por autoservicio y de forma rápida a los datos que necesita para sus modelos, ya sean reclamos históricos o transacciones en tiempo real, y eso es realmente poderoso”. — Dragon Sky, arquitecto principal de Ensemble Health

“Lakebase nos brinda un almacenamiento duradero y de baja latencia para el estado de la aplicación, así que nuestras apps de datos se cargan rápidamente, se actualizan sin problemas e incluso admiten enlaces a páginas compartidas entre usuarios.” — Bobby Muldoon, VP de Ingeniería de YipitData

¿Qué sigue para Lakebase?

Estas nuevas características están disponibles hoy en AWS us-east-1, us-west-2, eu-west-1 y se implementarán gradualmente en más regiones en las próximas semanas. Consulta la documentación del producto para obtener más información y probar las últimas funcionalidades.

Esta actualización representa un avance significativo para Lakebase. Pero no nos detenemos. ¡Espera muchas actualizaciones emocionantes después de las fiestas del próximo año!

¡Felices fiestas de parte del equipo de Lakebase!