Actualizaciones automáticas: funciones recomendadas para sus tablas de lakehouse

Sus tablas administradas de Unity Catalog (UC) ahora mejoran por sí solas. Automatic (Auto) Upgrades es la primera función de su tipo en cualquier lakehouse. Verifica automáticamente que sus clientes sean compatibles y luego aplica características de mejores prácticas como Row Tracking en el momento en que sus tablas estén listas, sin necesidad de esfuerzo manual.

Los formatos de tabla abiertos están innovando rápidamente, introduciendo muchas capacidades nuevas para las tablas. Sin embargo, adoptar una nueva característica de tabla históricamente ha significado identificar las tablas elegibles, verificar la compatibilidad del cliente y ejecutar ALTER TABLE en miles de tablas. La mayoría de los equipos no tienen tiempo para eso, por lo que no obtienen los beneficios como un mejor rendimiento, confiabilidad, interoperabilidad y ahorro de costos que estas características pueden ofrecer. Auto Upgrades cierra esa brecha y usted mantiene el control: cada cambio es reversible por tabla.

Cualquier cosa que reduzca la carga mental es una victoria. Mantenerse al día con cada nueva característica en cada tabla es demasiado, ¡así que espero con ansias que Auto Upgrades se encargue del mantenimiento por mí! —Audrey Boslego, Gerente de Ingeniería de Plataforma de Datos

Cómo funciona Auto Upgrades

Auto Upgrades funciona observando cómo se accede a sus tablas existentes, verificando que cada carga de trabajo esté lista y luego aplicando las características en su nombre.

1. Observar: Para cada tabla administrada de UC existente, Auto Upgrades observa los clientes que acceden a ella a lo largo de una ventana de observación móvil.

2. Verificar: Para cada característica, Auto Upgrades comprueba que se cumplan todas las siguientes condiciones para esa misma ventana de observación:

• Cada cliente de Databricks que accedió a la tabla durante la ventana de observación utiliza una versión de Databricks Runtime que admite la característica
• La tabla en sí debe estar activa (se omiten las tablas completamente inactivas)
• (Por ahora) Los clientes externos no han accedido a la tabla durante la ventana de observación

3. Actualizar: Una vez que una tabla es elegible, Auto Upgrades ejecuta ALTER TABLE a través de un trabajo en segundo plano ligero para aplicar la característica de forma segura.

Extensión a nuevas tablas: Una vez que se ha verificado que cada tabla existente en un esquema es compatible con una característica, Auto Upgrades la establece de forma predeterminada para el esquema, de modo que cualquier tabla nueva creada allí herede la característica automáticamente. Cualquier propiedad de tabla que defina explícitamente al momento de la creación siempre tendrá prioridad.

En el futuro, Auto Upgrades tiene como objetivo habilitar características en tablas a las que acceden clientes externos mediante la detección de su compatibilidad con una característica determinada. Estamos trabajando con la comunidad en estándares para proporcionar los metadatos adecuados para detectar la compatibilidad de estos clientes.

Más exhaustivo que una actualización manual

Una actualización manual cuidadosa requiere una verdadera diligencia: seleccionar las características adecuadas y confirmar que estén listas para producción, verificar que cada cliente las admita y garantizar que haya una manera de revertir los cambios. Auto Upgrades aplica esa misma diligencia a cada tabla de forma automática.

✅ Solo GA, sin regresiones significativas en el rendimiento o los costos. Una característica califica para Auto Upgrades solo si ha alcanzado la disponibilidad general (GA) y no reduce significativamente el rendimiento ni aumenta los costos. Muchas características mejoran el rendimiento o reducen los costos, pero ninguna los empeora.

✅ Una ventana de observación exhaustiva. No todas las cargas de trabajo de datos se ejecutan a diario. Los trabajos por lotes mensuales, los informes trimestrales y los análisis ad-hoc pueden tardar semanas en aparecer. Databricks eligió una ventana de 100 días para capturar la cola larga, lo que nos brinda una imagen completa de cómo se usan realmente sus tablas antes de tomar cualquier decisión.

✅ Verificación estricta de compatibilidad. No habilitamos una característica hasta que todos los clientes que acceden a ella la admitan. Un solo cliente no compatible es suficiente para que esperemos, tanto para las tablas existentes como para los valores predeterminados del esquema que rigen las nuevas.

✅ No interviene cuando no se puede verificar. Auto Upgrades solo actúa en tablas que puede verificar por completo. Las tablas modificadas por clientes externos quedan fuera del alcance y se omiten las tablas inactivas durante más de 30 días.

✅ Se respetan sus decisiones. Cada característica habilitada por Auto Upgrades se puede deshabilitar o eliminar por tabla en cualquier momento. Una vez que deshabilite una característica en una tabla, Auto Upgrades no la volverá a habilitar más adelante.

Beneficios que ofrece Auto Upgrades

Auto Upgrades aporta capacidades de mejores prácticas establecidas a sus tablas administradas de UC. Estas incluyen características que la mayoría de los equipos desean pero que no han habilitado debido al trabajo manual que implican.

A medida que se ejecuta Auto Upgrades, sus tablas obtienen gradualmente:

Tablas más rápidas y rentables. Sus tablas se vuelven más rápidas de consultar, más baratas de almacenar y más baratas de modificar.

• Automatic Liquid Clustering se aplica a las nuevas tablas que lo tienen configurado como predeterminado en el esquema, optimizando la distribución de datos según las consultas que realmente ejecuta y adaptándose a medida que evoluiona su carga de trabajo, por lo que no hay necesidad de usar ZORDER ni claves de agrupamiento manuales.
• Deletion Vectors marca las filas como eliminadas o actualizadas en lugar de reescribir archivos de datos enteros, de modo que las eliminaciones y actualizaciones se ejecutan más rápido y cuestan menos.
• Column Mapping le permite cambiar el nombre o eliminar columnas al instante, sin reescribir datos.
• Parquet V2 comprime los datos de manera más eficiente, lo que reduce los costos de almacenamiento y acelera los escaneos.

Interoperabilidad abierta entre motores. Sus tablas se abren a más formatos y más motores, con una gobernanza en Unity Catalog que se mantiene en todos ellos.

• Catalog Commits permite que UC se convierta en el sistema de coordinación para tablas administradas, a través de diferentes motores. Desbloquea escrituras de motores externos en tablas administradas de UC, permite aplicar políticas ABAC a motores externos y habilita transacciones de múltiples tablas y múltiples instrucciones.
• Row Tracking agrega identificadores únicos a nivel de fila que abren la puerta a Automatic Change Data Feed, Vector Search y Lakebase, a través de Iceberg y Delta. También permite que las Materialized Views se actualicen de forma incremental en lugar de recalcular la vista completa, lo que reduce significativamente los costos de actualización.

Mayor confiabilidad bajo carga. Sus tablas se mantienen estables a medida que crecen y aumenta el volumen de escritura.

• Checkpoint V2 mantiene los metadatos de la tabla en un formato más escalable, lo que reduce los fallos de confirmación en situaciones con muchas escrituras simultáneas.

Auto Upgrades continuará expandiéndose para cubrir más características y admitir tipos de tablas administradas de UC adicionales, como Materialized Views y Streaming Tables.

Observabilidad integral

Cada característica que agrega Auto Upgrades aparece en la salida de DESCRIBE HISTORY de la tabla y en la pestaña de historial de Catalog Explorer, de una manera que se puede distinguir de los cambios iniciados por el usuario. Para obtener más información, consulte observar las características habilitadas.

Para una visibilidad a nivel de cuenta, podrá consultar una tabla del sistema para ver cada evento de Auto Upgrades por tabla, característica y marca de tiempo. Por ejemplo, para ver todas las operaciones de actualización automática que ocurrieron para todas las características en una tabla específica:

Primeros pasos

Auto Upgrades funciona en tablas administradas de UC. Por lo tanto, el paso más importante que puede dar para comenzar es asegurarse de que sus tablas se conviertan a este tipo de tabla.

¿No está seguro de cuáles de sus tablas están administradas por Unity Catalog? Verifique el tipo de tabla en Catalog Explorer o ejecute DESCRIBE EXTENDED en su tabla.

Para auditar tablas de forma masiva, también puede usar la tabla del sistema de Auto Upgrades para ver qué características se habilitaron, en qué tablas y en qué momentos:

Si tiene tablas externas que desea importar, puede convertirlas con un solo SET MANAGED, y Auto Upgrades se encargará del resto.

Para obtener más información sobre cómo funciona Auto Upgrades, qué funciones habilita y cómo observar su actividad, consulte nuestra documentación.

Con Auto Upgrades, sus tablas administradas se gestionan solas. A medida que Databricks lanza nuevas capacidades, sus tablas siguen mejorando, sin maratones de ALTER TABLE, auditorías de compatibilidad ni proyectos de migración. Obtendrá tablas más rápidas, confiables e interoperables de forma automática.

FAQs

¿Cómo garantiza Auto Upgrades que una tabla se pueda actualizar de forma segura?

Auto Upgrades solo aplica características de disponibilidad general que no reduzcan significativamente el rendimiento ni aumenten los costos. Espera durante un período de observación de 100 días, requiere que todos los clientes que accedan sean compatibles, omite las tablas que no puede verificar por completo y le permite desactivar cualquier característica por tabla en cualquier momento.

Si mi tabla cambió, ¿cómo puedo saber si fue por Auto Upgrades?

Cada cambio que realiza Auto Upgrades aparece en el resultado de DESCRIBE HISTORY de la tabla y en la pestaña de historial de Catalog Explorer, marcado de forma distinta a sus propios cambios. Para una visibilidad a nivel de cuenta, la consulta a system.storage.table_auto_upgrade_operations_history también mostrará a qué hora se agregó cualquier característica a cualquier tabla.

¿Interrumpirá Auto Upgrades una tabla que leen mis herramientas externas o OSS?

No. Las tablas a las que acceden clientes externos o OSS están fuera de alcance por ahora. Auto Upgrades solo actúa cuando puede verificar que todos los clientes que acceden a una tabla admiten la característica. En el futuro, ampliaremos esto para incluir también tablas con acceso externo o OSS, una vez que Auto Upgrades pueda confirmar que esos clientes son compatibles.

¿Tiene algún costo Auto Upgrades? ¿Aumentará mi factura de DBU o de almacenamiento?

En la actual Gated Public Preview, Databricks no cobra por Auto Upgrades en sí (el trabajo de ALTER TABLE en segundo plano) y esperamos seguir ofreciéndolo de forma gratuita. Consulte la documentación de Auto Upgrades para obtener la información más actualizada.

¿Cuánto tiempo pasará hasta que se actualicen mis tablas? ¿Cuándo veré los cambios?

Auto Upgrades utiliza un período de observación de 100 días para capturar cargas de trabajo poco frecuentes (por ejemplo, trabajos por lotes mensuales, informes trimestrales, análisis ad-hoc) antes de actuar. Una vez que se verifica que una tabla es compatible, la característica se aplicará poco después a través de un trabajo en segundo plano. Tenga en cuenta también que cuando una característica se implementa por primera vez, se hace de forma gradual entre los clientes y el porcentaje de tablas, por lo que puede tardar entre 3 y 5 meses en llegar a sus tablas con cargas de trabajo compatibles.

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original