Cómo las tablas administradas de Unity Catalog ofrecen interoperabilidad, rendimiento y gobernanza unificada al Lakehouse

Unity Catalog se diseñó para ofrecer interoperabilidad a escala. Las empresas tienen la flexibilidad de ejecutar cualquier motor en una única copia de datos con un gobierno aplicado de forma centralizada.

Hoy damos un paso más en la interoperabilidad. Nos complace anunciar que el acceso externo a las tablas Delta administradas por Unity Catalog (UC) ya está en vista previa pública.

Durante el último año, una lista cada vez mayor de motores, desde Apache Spark y Flink hasta ahora Starburst y DuckDB, se han integrado con las tablas Delta administradas por UC, y el ecosistema sigue creciendo. Las empresas pueden obtener lo mejor de ambos mundos: las ventajas de precio-rendimiento de las tablas administradas por UC y la flexibilidad de usar los motores que mejor se adapten a cada carga de trabajo. Unity Catalog sigue siendo la capa de gobierno central, lo que garantiza que las políticas de acceso se apliquen de manera uniforme en todos los motores.

Hasta ahora, los equipos que necesitaban acceso multimotor utilizaban tablas externas, que carecen de optimizaciones de rendimiento y garantías de gobierno. Con el acceso externo ahora en vista previa pública, esa concesión ya no es necesaria. Las tablas administradas por UC son la opción clara para el lakehouse en términos de precio, rendimiento e interoperabilidad.

Por qué los equipos eligen las tablas administradas por Unity Catalog

Las tablas administradas por UC combinan la interoperabilidad de Delta Lake y Apache Iceberg con capacidades automáticas e integradas que mejoran el rendimiento de las consultas, reducen los costos de almacenamiento y mantienen las tablas en buen estado a lo largo del tiempo. También son la base de funciones de la plataforma, como la recuperación ante desastres y la ingesta de Zerobus.

Databricks ajusta automáticamente las tablas administradas mediante la optimización predictiva. La optimización predictiva limpia el almacenamiento, recopila estadísticas de consultas y selecciona automáticamente columnas de clustering Liquid para evolucionar los diseños de las tablas a medida que cambian los patrones de consulta. Juntos, estos beneficios pueden ofrecer hasta un 50% de ahorro en costos de almacenamiento y consultas hasta 20 veces más rápidas, al tiempo que eliminan la necesidad de que los equipos de datos ajusten las tablas manualmente.

Recientemente anunciamos la disponibilidad general de los commits de catálogo, lo que convierte a Unity Catalog en el coordinador de commits para las tablas administradas por UC. En lugar de que los clientes externos realicen commits directamente en el almacenamiento en la nube, las escrituras en las tablas Delta administradas por UC se coordinan a través del catálogo. Esto convierte a Unity Catalog en la fuente de verdad para el estado de las tablas, lo que desbloquea beneficios clave como escrituras externas seguras, transacciones de múltiples instrucciones y auditoría de operaciones externas.

Crear, leer y escribir desde motores externos

Ahora en vista previa pública, los motores externos pueden:

• Crear, leer y escribir en tablas Delta administradas por UC con commits de catálogo desde Apache Spark (lotes y streaming), Apache Flink, Starburst, DuckDB y Streamnative.
• Mantener el gobierno centralizado en Unity Catalog en todos los motores.
• Beneficiarse de la optimización predictiva, que reduce los costos y mejora el rendimiento en todos los motores.

El acceso externo se basa en API abiertas para metadatos, emisión de credenciales y coordinación de commits. La emisión de credenciales genera credenciales temporales y con alcance limitado basadas en los privilegios de UC, mientras que la API Delta de Unity Catalog ofrece a los motores Delta un contrato con versiones para operaciones de creación, lectura y escritura. Dado que estas API son abiertas y están implementadas en el proyecto OSS de Unity Catalog, cualquier motor puede integrarse con soporte para crear, leer y escribir. El resultado es un ecosistema creciente de motores que operan sobre la misma copia gobernada de datos en Databricks UC y en UC OSS.

Los socios ya están desarrollando soluciones en torno a estas API de diferentes maneras. Starburst, por ejemplo, se integra con Unity Catalog y Delta Lake para admitir la creación, lectura y escritura en tablas Delta administradas por UC.

"Starburst comparte la visión de Databricks de apertura e interoperabilidad en todo el ecosistema de datos. Al integrarnos con las tablas administradas por Unity Catalog, permitimos a los clientes crear una única fuente de verdad para todos sus datos, con un gobierno centralizado y la flexibilidad de aprovechar las herramientas de su elección". —Justin Borgman, CEO de Starburst Data

Ampliación del ecosistema a través de Delta Kernel

El acceso externo a las tablas administradas por UC forma parte de una inversión más amplia en el ecosistema OSS de Delta Lake y Unity Catalog. El objetivo es alinear Delta con el modelo administrado por catálogo en el que Iceberg fue pionero, para que las empresas puedan beneficiarse de las garantías de rendimiento y consistencia de un catálogo al tiempo que mantienen la interoperabilidad con cualquier motor.

Estamos ampliando el ecosistema de Delta con Delta Kernel, que proporciona bibliotecas para leer, escribir y realizar commits en tablas Delta sin tener que volver a implementar el protocolo desde cero. Junto con las API Delta de UC en UC OSS, Delta Kernel permite que un motor se integre a la perfección con un catálogo administrado por Databricks o con una implementación de UC OSS autohospedada.

Por ejemplo, DuckDB desarrolló sus extensiones OSS de Delta y Unity Catalog sobre Delta Kernel. A partir de DuckDB v1.5.1, puede leer y escribir directamente en tablas Delta administradas por UC. Esto refleja nuestro compromiso con un ecosistema abierto e interoperable: a medida que el protocolo Delta evoluciona, los motores basados en el Kernel heredan las funciones más recientes de forma automática, por lo que los clientes siempre tienen acceso a las mejores y más recientes capacidades, sin importar qué motor elijan.

"Los usuarios de DuckDB valoran poder trabajar directamente con datos abiertos de lakehouse desde un motor analítico ligero. La integración de Delta Lake y Unity Catalog ayuda a llevar esa experiencia a las tablas empresariales gobernadas, incluidos los flujos de trabajo en los que los datos escritos a través de un motor pueden ser leídos de manera consistente por otro". —Hannes Mühleisen, CEO de DuckDB Labs

Seguimos trabajando con la comunidad para desarrollar más integraciones basadas en Kernel con tablas Delta administradas por UC. Por ejemplo, estamos dando pasos importantes para llevar las cargas de trabajo de streaming de Flink a las tablas administradas por UC con un nuevo conector Flink basado en Kernel.

Gobierno centralizado

El gobierno centralizado es fundamental para las canalizaciones multimotor. Una aplicación de streaming puede escribir datos en una tabla administrada, Spark puede transformarlos y Starburst o DuckDB pueden consultarlos; independientemente del motor o de la identidad detrás de la consulta, se deben respetar los controles de acceso.

Unity Catalog es la capa de gobierno única en todos los motores. Los equipos de la plataforma controlan qué principales pueden acceder a las tablas de forma externa y qué pueden hacer a través de los privilegios de UC. ABAC multimotor amplía esto aún más, lo que permite a Unity Catalog filtrar filas o enmascarar columnas en las lecturas de motores externos. Los controles de acceso detallados se aplican de forma centralizada para las tablas administradas por UC sin necesidad de soluciones personalizadas.

Comience a usar las tablas administradas por UC hoy mismo

Para los equipos que desarrollan sobre un lakehouse abierto, las tablas administradas por UC son la base más sólida disponible. La optimización predictiva ajusta automáticamente los diseños de datos y realiza el mantenimiento de las tablas, ofreciendo la mejor relación precio-rendimiento sin esfuerzo manual. La interoperabilidad también está integrada: las tablas administradas se almacenan en formato Delta o Iceberg y son accesibles desde cualquier motor, por lo que los equipos nunca tienen que elegir entre rendimiento y flexibilidad.

Los equipos que utilizan tablas externas pueden actualizar las tablas existentes en su lugar con ALTER TABLE SET MANAGED, de modo que obtienen la optimización predictiva y los commits de catálogo al tiempo que conservan el acceso abierto y multimotor en el que ya confían.

Nuestra visión es clara: los clientes deben poder utilizar el mejor motor para cada carga de trabajo manteniendo una única copia de los datos en Unity Catalog con la mejor relación precio-rendimiento y un gobierno unificado.

Cómo empezar

El acceso externo a las tablas Delta administradas por UC está en vista previa pública, lo que incluye soporte para operaciones de creación, lectura y escritura desde clientes externos.

Para empezar:

1. Habilite el acceso a datos externos en su metastore de Unity Catalog.
2. Otorgue EXTERNAL USE SCHEMA en el esquema que contiene las tablas Delta administradas por UC a las que desea que accedan los motores externos.
3. Conecte su motor utilizando Delta 4.3 con el cliente de Unity Catalog 0.5.1. Consulte la documentación de acceso externo.
4. Pruebe las creaciones, lecturas y escrituras en la tabla Delta administrada por UC con los commits de catálogo habilitados desde motores externos (o convierta una tabla externa existente en administrada).

A continuación se muestra la información específica sobre los conectores de Delta:

• Apache Spark - consulte la documentación de Databricks y el blog de la comunidad
• Apache Flink - consulte GitHub y el blog de la comunidad
• StreamNative - consulte el blog de StreamNative
• Starburst – consulte la documentación de Starburst
• DuckDB - consulte la documentación de DuckDB y el blog de DuckDB

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original