Tus datos, tu almacenamiento, tus reglas: una guía de 2026 para almacenar tablas administradas de Unity Catalog

Las tablas administradas de Unity Catalog le permiten controlar la ubicación de sus datos cuando su organización necesita un almacenamiento independiente. A diferencia de otras plataformas de datos, los datos de las tablas de Databricks permanecen en una cuenta de almacenamiento en la nube de su propiedad, como su bucket de S3, su contenedor de ADLS o su bucket de GCS. 

Unity Catalog automatiza la gestión de las tablas administradas. Independientemente de si almacena sus tablas administradas de Unity Catalog en formatos Iceberg o Delta, Databricks se encarga de la distribución de los datos, el ajuste y la limpieza por usted donde elija, aplicando optimizaciones de forma automática a medida que cambian sus tablas. 

Este blog explica cómo funciona el modelo de almacenamiento de tablas administradas y cómo puede elegir o cambiar una ubicación de almacenamiento administrada de Databricks. 

Sus tablas permanecen en el almacenamiento de su propiedad

Cuando aporta su propio almacenamiento en la nube, los datos de las tablas administradas se guardan en una cuenta en la nube de su propiedad. Usted conserva la propiedad de ese almacenamiento y la visibilidad de cómo se organizan sus datos. Tiene la capacidad de inspeccionar, auditar y aplicar sus propias políticas de bucket, así como de controlar la ubicación de sus datos. 

A diferencia de otras plataformas con ofertas de tablas administradas o nativas que guardan las tablas en un almacenamiento controlado por el proveedor o en formatos de datos propietarios, en Databricks, sus datos permanecen en su propia cuenta.

Abierto por diseño

Mantener los datos en su propia cuenta en la nube es solo una parte de lo que hace que las tablas administradas en Databricks sean abiertas. Unity Catalog es el único catálogo principal de la industria que le permite ser el propietario de sus datos con acceso completo de lectura y escritura gobernado en Iceberg y Delta, con la capacidad de federar tablas de las que otros son propietarios en formatos abiertos, utilizando estándares abiertos.

Las herramientas externas como Apache Spark™, Flink, Trino, Kafka connect y Snowflake pueden leer y escribir en tablas administradas a través de Iceberg Rest Catalog y las Open APIs de Unity Catalog. El acceso seguro es posible gracias a las Open APIs y al intercambio de credenciales (credential vending), lo que permite que las herramientas externas interactúen con los datos gobernados sin duplicarlos. Esto simplifica la arquitectura y permite tener una única fuente de verdad en las cargas de trabajo de analítica e IA.

Cuando aporta su propio almacenamiento, los archivos siguen estando accesibles en su cuenta en la nube mientras Unity Catalog gobierna el acceso a ellos.

Usted controla dónde residen sus datos

Con las tablas administradas en Databricks, puede decidir dónde se guardan los datos de las tablas administradas. Defina una ubicación de almacenamiento administrada una sola vez a nivel de metastore, catálogo o esquema, y cada tabla inferior la heredará. El nivel más específico tiene prioridad: la ubicación de un esquema prevalece sobre la de su catálogo, y la de un catálogo sobre la del metastore. Puede establecer un valor predeterminado general y anularlo allí donde un equipo o dominio necesite su propio almacenamiento.

Ese control no es fijo en la configuración. A medida que su organización cambia, ALTER CATALOG o ALTER SCHEMA ... SET MANAGED LOCATION apunta nuevas tablas y volúmenes a una nueva ubicación, mientras que todo lo que ya se ha escrito permanece donde está.

Más control cuando necesita almacenamiento independiente

La mayoría de los equipos organizan sus datos de forma lógica, a través de catálogos y esquemas, y nunca tienen que pensar en dónde residen físicamente los archivos subyacentes: la ubicación de almacenamiento administrada que heredan sus catálogos y esquemas es todo lo que necesitan. Combinado con los controles de acceso basados en roles y atributos en Unity Catalog, este enfoque satisface los requisitos estándar de segregación de datos de la GDPR.

Sin embargo, algunas organizaciones necesitan límites que se extiendan al propio almacenamiento físico. Una línea de negocio podría necesitar un almacenamiento independiente para la administración o la asignación de costes en la nube. O bien, las normas regionales y regulatorias podrían dictar dónde residen físicamente determinados datos. En esos casos, puede asignar a un catálogo o esquema específico su propia ubicación de almacenamiento administrada, de modo que la ubicación física de los datos se alinee con el límite que lo requiere.

Elija dónde se guardan los datos al convertirlos en administrados

Cuando convierte una tabla externa en administrada, los datos se guardan en la ubicación de almacenamiento administrada que resuelve actualmente su catálogo o esquema. Si esa tabla externa ya se encuentra en un lugar ad hoc o no estándar, es posible que desee la tabla administrada en otro lugar, en el almacenamiento que utiliza para ese dominio hoy en día.

Durante la conversión, Databricks copia los datos de la tabla y el registro de transacciones en la ubicación de almacenamiento administrada que haya establecido, de modo que la tabla administrada se guarde donde haya elegido.

Resumen

Las tablas administradas automatizan el mantenimiento de las tablas, mientras que sus datos pueden permanecer en el almacenamiento de su propiedad. Esto difiere de otras plataformas administradas que guardan los datos de las tablas en un almacenamiento controlado por el proveedor. Puede controlar la ubicación a nivel de metastore, catálogo o esquema, cambiar dónde se guardan las nuevas tablas y elegir una ubicación al convertir una tabla externa en administrada. Sus datos permanecen en formatos abiertos, accesibles a través de Iceberg Rest Catalog y las API abiertas de Unity Catalog.

Cuando esté listo para establecer o cambiar una ubicación de almacenamiento administrada, la documentación de almacenamiento administrado cubre los detalles específicos.

Definiciones

Muchos de estos términos reutilizan las mismas palabras, lo que hace que sea fácil confundirlos. Esto es lo que significa cada uno en esta publicación.

• Tabla administrada: Una tabla cuyos datos y ciclo de vida son gestionados por Unity Catalog por usted. Se crea sin una cláusula LOCATION.
• Ubicación de almacenamiento administrada: La ruta de almacenamiento en la nube donde se escriben las tablas y volúmenes administrados de un metastore, catálogo o esquema. Se establece con la cláusula SET MANAGED LOCATION.
• Ubicación externa: Un objeto de Unity Catalog que asocia una ruta de nube con una credencial de almacenamiento para controlar el acceso a esa ruta. Las ubicaciones externas controlan tanto las tablas externas como el almacenamiento administrado: una ubicación de almacenamiento administrado a nivel de catálogo o esquema reside dentro de una.
• Almacenamiento propiedad del cliente: Una opción de almacenamiento en la que el almacenamiento en la nube subyacente se encuentra en la propia cuenta de nube del cliente. Esto representa la gran mayoría de las tablas en Databricks.
• Almacenamiento predeterminado: Una opción de almacenamiento alternativa en la que Databricks aprovisiona el almacenamiento en la nube subyacente por usted, en lugar de que usted tenga que aportar su propio bucket.
• ALTER CATALOG / ALTER SCHEMA … SET MANAGED LOCATION: El comando que cambia el lugar donde se escriben las nuevas tablas y volúmenes administrados de un catálogo o esquema. Las tablas existentes no se ven afectadas.
• Conversión de externa a administrada (ALTER TABLE … SET MANAGED): El comando que convierte una tabla externa en una tabla administrada. Durante la conversión, los datos y el registro de transacciones se copian en la ubicación de almacenamiento administrado actual.

Preguntas frecuentes

1. ¿Dónde almacena Unity Catalog los datos de las tablas administradas, en un almacenamiento propiedad de Databricks o en mi propia cuenta de nube?

En su propia cuenta. Los datos de las tablas administradas se escriben en el almacenamiento en la nube de su propia cuenta, ya sea S3, ADLS o GCS, en una ubicación de almacenamiento administrado que usted configure en su metastore, catálogo o esquema. Databricks administra el diseño y el ciclo de vida de la tabla, pero los archivos subyacentes residen en un bucket o contenedor que es de su propiedad y que registra en Unity Catalog, no en una cuenta controlada por Databricks.

2. ¿Las tablas administradas de Unity Catalog me atan a Databricks?

No. Las tablas administradas utilizan formatos de tabla abiertos, incluidos Iceberg y Delta, que permanecen en el almacenamiento en la nube de su propiedad. Los motores externos pueden escribir y leer en ellas a través de Iceberg REST Catalog y las API abiertas de Unity Catalog, por lo que sus datos no quedan atrapados detrás de una interfaz propietaria. Usted conserva la propiedad del almacenamiento, los datos permanecen en formatos abiertos y el acceso se realiza mediante estándares abiertos. Las tablas administradas no generan dependencia del proveedor: es igual de fácil migrar hacia o desde Databricks con tablas administradas que con tablas externas; en ambos casos, puede mantener sus datos físicamente en el mismo lugar.

3. ¿Puedo mantener ciertos datos en un almacenamiento independiente por motivos de cumplimiento o residencia de datos?

Sí. Puede asignar a un catálogo o esquema específico su propia ubicación de almacenamiento administrado, separada de todo lo demás si es necesario, para mantener los datos de diferentes países o regímenes regulatorios en almacenamientos distintos, o para atribuir los costos de almacenamiento a un equipo o unidad de negocio en particular. 

4. ¿Pueden otros motores y herramientas distintos de Databricks escribir y leer en mis tablas administradas?

Sí. Las tablas administradas se pueden leer o escribir a través de Iceberg REST Catalog y las API abiertas de Unity Catalog, por lo que motores externos como Apache Spark, Trino y Flink pueden acceder a ellas. Unity Catalog se encarga del gobierno para el acceso al almacenamiento, lo que evita la corrupción de datos que podría causar el hecho de omitirlos. El acceso directo basado en rutas también está disponible a través de redireccionamiento basado en rutas y Compatibility Mode.

5. ¿Puedo cambiar el lugar donde se almacenan los datos de mi tabla administrada después de haberlo configurado?

Sí. Utilice ALTER CATALOG … SET MANAGED LOCATION o ALTER SCHEMA … SET MANAGED LOCATION para apuntar las nuevas tablas a una ubicación diferente cada vez que cambien los requisitos de separación física de su organización: una reorganización, un nuevo bucket o una nueva región. Las tablas existentes permanecen exactamente donde están y las nuevas tablas se guardan en la nueva ubicación. Cada vez que convierte una tabla externa en administrada, sus datos se copian en la ubicación que ha configurado, por lo que puede mover los datos al lugar correcto como parte del mismo paso. 

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original