Anuncio de la versión preliminar pública de Lakebase

En el Data and AI Summit, presentamos una nueva categoría de bases de datos operativas llamadas lakebases para crear aplicaciones inteligentes. Hoy, nos complace anunciar la versión preliminar pública de Databricks Lakebase, la primera base de datos Postgres totalmente administrada creada para aplicaciones de datos e IA. 

Los clientes están combinando sus datos operativos y analíticos para crear aplicaciones inteligentes: sirviendo características y modelos, creando aplicaciones independientes o analizando datos operativos en un lakehouse. Pero siguen teniendo problemas con el aprovisionamiento, el escalado y la falta de una experiencia de desarrollador moderna para los datos, porque las bases de datos no han visto mucha innovación en las últimas décadas. 

Las lakebases proporcionan una solución para la era de la IA. En este blog, presentaremos las características y ventajas clave de Databricks Lakebase y describiremos cómo los clientes ya utilizan Lakebase en la actualidad.

Presentación de Lakebase

Las bases de datos OLTP no han cambiado fundamentalmente desde los años 90. Incluso cuando se implementan en la nube, estas bases de datos heredadas son lentas y costosas de aprovisionar y administrar. Las bases de datos operativas suelen implementarse en una pila separada de la plataforma de análisis, lo que crea silos entre los datos transaccionales y analíticos. Además, estas bases de datos tampoco encajan en un flujo de trabajo de desarrollo moderno necesario para el desarrollo de la IA. La arquitectura tradicional suele incluir bases de datos separadas para los entornos de desarrollo, pruebas, ensayo y producción, cada una de ellas aprovisionada, poblada y mantenida por separado.

Databricks Lakebase es la primera base de datos de este tipo construida sobre estándares de código abierto, con una arquitectura altamente escalable, basada en la separación de computación y almacenamiento, y diseñada específicamente para el desarrollo de aplicaciones modernas. Lakebase está profundamente integrada en el lakehouse para facilitar la combinación de pilas operativas, analíticas y de IA.

Construida sobre Postgres de código abierto 

En los últimos 7 años, Postgres se ha convertido en la base de datos más popular en la comunidad de desarrolladores y es la opción de base de datos de facto para las aplicaciones modernas. Es de código abierto, tiene un ecosistema vibrante de extensiones y está respaldada por una sólida comunidad de bibliotecas, herramientas y marcos. Los ingenieros ya saben cómo trabajar con ella, y todos los modelos fundacionales se entrenan con grandes cantidades de datos disponibles para el ecosistema de Postgres, lo que la hace muy accesible a las aplicaciones y agentes inteligentes.

Con soporte para extensiones populares como PostGIS y pgvector, y un amplio ecosistema de controladores y herramientas, Lakebase proporciona un rico conjunto de capacidades que resultarán familiares a los equipos de desarrollo. 

Separación de computación y almacenamiento

Lakebase aprovecha una arquitectura que separa la computación y el almacenamiento, lo que permite el escalado independiente al tiempo que admite transacciones de baja latencia (<10 ms) y alta concurrencia (>10k qps).

Lakebase está totalmente gestionada por Databricks, lo que significa que no hay ninguna infraestructura que aprovisionar o mantener. El resultado es un servicio de base de datos que elimina la fricción tanto de la infraestructura como de los procesos de desarrollo, lo que permite a los equipos avanzar más rápido sin comprometer el control ni la fiabilidad.

• Alta disponibilidad con secundarias legibles: La alta disponibilidad multizona protege contra los fallos zonales mediante el aprovisionamiento de recursos informáticos secundarios en todas las zonas. Las secundarias pueden ser opcionalmente legibles para proporcionar aislamiento y escalado horizontal de las cargas de trabajo de lectura.
• Almacenamiento y recuperación de datos: Todas las transacciones se conservan en un almacenamiento cifrado que es regionalmente duradero y, por lo tanto, está protegido contra cualquier fallo de zona única. La recuperación a un momento dado está disponible a través de una ventana de protección de datos que proporciona hasta 35 días de tiempo de recuperación.
• Bifurcación para un entorno de prueba aislado o recuperación a un momento dado: Lakebase utiliza la bifurcación de copia en escritura para crear un clon instantáneo de copia cero de la base de datos, junto con la computación dedicada para operar en esa bifurcación. La bifurcación secundaria se gestiona independientemente de la bifurcación principal principal y se puede crear en función de los datos de la principal en el momento actual, o en un momento anterior o número de secuencia de registro (LSN). Esto se puede utilizar para crear un entorno de prueba aislado con datos de producción o para operaciones de recuperación a un momento dado.

DevEx moderno, creado para la IA

Lakebase se basa en la tecnología Neon, que proporciona bifurcación de copia en escritura y computación sin servidor de escalado automático. La bifurcación de copia en escritura permite crear instantáneamente una nueva base de datos con los mismos datos y esquema que una base de datos existente, sin afectar a la original. Esta nueva base de datos es económicamente amigable porque no duplica los datos subyacentes.  El escalado automático de la computación sin servidor proporciona tiempos de inicio inferiores a un segundo y se escala en función de la demanda, con un escalado a cero que permite una utilización rentable de la computación.

En conjunto, el escalado automático sin servidor de las capacidades de computación y bifurcación cambia por completo el paradigma de desarrollo de las aplicaciones. Los desarrolladores pueden crear instantáneamente una bifurcación de base de datos para que coincida con cada bifurcación de git y no tienen que preocuparse por levantar nuevas instancias de base de datos, muestrear datos para entornos de desarrollo o pruebas, o hidratar varias bases de datos.

Para los desarrolladores y los agentes por igual, esto significa que los entornos de base de datos efímeros se pueden crear, utilizar y dar de baja rápidamente a un coste prácticamente nulo, con prácticamente ningún esfuerzo.

La experiencia completa de desarrollador de Neon en Lakebase y muchas más características interesantes estarán disponibles próximamente.

Integrado con el lakehouse

Lakebase integra una capa de base de datos transaccional con el lakehouse y hereda la madurez operativa de la plataforma Databricks, incluyendo la observabilidad, la seguridad y los controles de acceso. Lakebase se sincroniza con las tablas gestionadas de Unity Catalog, lo que facilita y agiliza la combinación de cargas de trabajo operativas, analíticas y de IA sin necesidad de canalizaciones ETL personalizadas. Como resultado, puede crear aplicaciones inteligentes que consuman características o predicciones generadas en el lakehouse y actualizar la capa analítica con datos operativos nuevos, todo ello dentro de una plataforma unificada.

• Sincronización de datos totalmente gestionada: Las canalizaciones de sincronización de datos fáciles de configurar proporcionan una forma sencilla y escalable de gestionar los datos entre las tablas gestionadas de Unity Catalog y Lakebase. Las opciones de frecuencia de sincronización de datos incluyen Snapshot único, activado o continuo.
• Servicio de características y modelos: Sirva características y modelos de aprendizaje automático para aplicaciones con Lakebase como el almacén de características en línea, y el lakehouse como el almacén fuera de línea para el entrenamiento y el análisis.
• Gobernanza unificada: Aproveche la integración nativa con Unity Catalog y la identidad de Databricks para simplificar el control de acceso en toda la plataforma. Aproveche la identidad de Databricks y OAuth para mantener una identidad coherente entre sus usuarios operativos y analíticos. Registre una base de datos Postgres en Unity Catalog para proporcionar una gobernanza unificada y control de acceso para los usuarios de análisis.
• Integración de aplicaciones de Databricks: Cree e implemente aplicaciones de pila completa en Databricks con Lakebase impulsando las interacciones transaccionales. Las aplicaciones de Databricks admiten Lakebase como un tipo de recurso nativo.
• Entorno de desarrollo unificado: Utilice el editor SQL de Databricks para consultar directamente Lakebase, así como para explorar los datos.
• Monitorización integrada: Proporciona métricas clave de la base de datos, como las transacciones por segundo, el número de conexiones abiertas y la utilización de recursos.
• Seguridad de red: Lakebase está integrado con las características de seguridad de red empresarial de Databricks, incluyendo PrivateLink e IP ACLs, para proporcionar una seguridad de red consistente
• Multi-cloud: Lakebase está disponible en todos los proveedores de nube sin necesidad de replataforma. En la versión preliminar pública, Lakebase está disponible en Azure y AWS, con soporte para Google Cloud Platform que se añadirá en el futuro.

Los clientes están utilizando Lakebase

Con cientos de clientes en el programa Private Preview, ha sido emocionante ver la variedad de casos de uso, incluyendo:

• Servir datos y/o características desde el lakehouse para aplicaciones como recomendaciones personalizadas o segmentación de clientes,
• Creación de aplicaciones y agentes para el procesamiento de pedidos, la firma interactiva de flujos de trabajo y los chatbots.
• Analizar los datos operativos en el lakehouse sincronizando los datos con el lakehouse para el análisis histórico de los pedidos, o el historial del chatbot para los datos de entrenamiento.

En Heineken, nuestro objetivo es convertirnos en la cervecera mejor conectada. Para ello, necesitábamos una forma de unificar todos nuestros conjuntos de datos para acelerar el camino de los datos al valor. Databricks ha sido durante mucho tiempo nuestra base para el análisis, creando información como recomendaciones de productos y mejoras en la cadena de suministro. Nuestra plataforma de datos analíticos está evolucionando ahora para ser una plataforma de datos de IA operativa y necesita entregar esos conocimientos a las aplicaciones con baja latencia. —Jelle Van Etten, Jefe de la Plataforma de Datos Global, Heineken

En Tibber, capacitar a los clientes para que tomen el control de su consumo de energía requiere una infraestructura de datos flexible. La integración de Lakebase con Databricks facilita el servicio de datos analíticos y transaccionales, lo que nos ayuda a ofrecer información en tiempo real a nuestros clientes. — Niklas Nordansjö, Jefe de la Plataforma de Datos, Tibber AS

Una sólida red de socios ayuda a los clientes de Lakebase a trabajar con sus socios tecnológicos e integradores de sistemas existentes para la integración de datos, la inteligencia empresarial y la gobernanza. Estamos encantados de contar con un increíble grupo de socios de lanzamiento de la industria para Lakebase.

En dbt Labs, estamos cambiando la forma en que se realiza la ingeniería de datos. Con el nuevo Lakebase de Databricks, nuestros clientes conjuntos podrán ahora combinar datos transaccionales de baja latencia y datos analíticos en una sola plataforma en Databricks. Esto nos ayudará a ambos a ofrecer IA a escala empresarial para nuestros clientes. Estamos impacientes por marcar el comienzo de la nueva era de la analítica con Databricks. — Ryan Segar, Director de Producto, dbt Labs

Resumen

Lakebase combina la familiaridad y la extensibilidad de Postgres, la escalabilidad de una arquitectura moderna sin servidor, una experiencia de desarrollador moderna, con la experiencia de datos unificada del lakehouse y la madurez operativa de la plataforma de inteligencia de datos de Databricks. Al combinar estos elementos en una única oferta totalmente gestionada, Lakebase permite a los equipos crear aplicaciones inteligentes basadas en datos sin la complejidad operativa tradicionalmente asociada a los sistemas transaccionales.

Lakebase está disponible en versión preliminar pública con precios disponibles aquí. Si está buscando crear aplicaciones que incorporen análisis e IA, es la pieza que falta en su pila, lista para acelerar el desarrollo y simplificar las operaciones. Si es administrador de Workspace o de Cuenta, puede activarlo directamente desde su Databricks Workspace. ¡Pruébelo hoy mismo!

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original