Seus dados, seu armazenamento, suas regras: um guia de 2026 para armazenar tabelas gerenciadas do Unity Catalog

As tabelas gerenciadas do Unity Catalog permitem que você controle o local de armazenamento dos seus dados quando sua organização precisa de armazenamento separado. Ao contrário de outras plataformas de dados, os dados das tabelas do Databricks permanecem em uma conta de armazenamento em nuvem de sua propriedade, como seu bucket do S3, seu contêiner do ADLS ou seu bucket do GCS. 

As tabelas gerenciadas do Unity Catalog automatizam o gerenciamento de tabelas. Quer você armazene suas tabelas gerenciadas do Unity Catalog nos formatos Iceberg ou Delta, o Databricks cuida da disposição dos dados, do ajuste e da limpeza para você onde você escolher, aplicando otimizações automaticamente à medida que suas tabelas mudam. 

Este blog explica como funciona o modelo de armazenamento de tabelas gerenciadas e como você pode escolher ou alterar um local de armazenamento gerenciado do Databricks. 

Suas tabelas permanecem no armazenamento de sua propriedade

Ao trazer seu próprio armazenamento em nuvem, os dados das tabelas gerenciadas são gravados em uma conta de nuvem de sua propriedade. Você mantém a propriedade desse armazenamento e a visibilidade de como seus dados estão organizados. Você tem a capacidade de inspecionar, auditar e aplicar suas próprias políticas de bucket, além de controlar o local dos seus dados. 

Ao contrário de outras plataformas com ofertas de tabelas gerenciadas ou nativas que mantêm as tabelas em armazenamento controlado pelo provedor ou em formatos de dados proprietários, no Databricks, seus dados permanecem na sua própria conta.

Aberto por design

Manter os dados em sua própria conta de nuvem é apenas uma parte do que torna as tabelas gerenciadas no Databricks abertas. O Unity Catalog é o único grande catálogo do setor que permite que você seja o proprietário dos seus dados com acesso total e governado de leitura e gravação no Iceberg e Delta, com a capacidade de federar para tabelas de propriedade de terceiros em formatos abertos, usando padrões abertos.

Ferramentas externas como Apache Spark™, Flink, Trino, Kafka Connect e Snowflake podem ler e gravar em tabelas gerenciadas por meio do Iceberg REST Catalog e das APIs abertas do Unity Catalog. O acesso seguro é possível por meio de APIs abertas e concessão de credenciais, permitindo que ferramentas externas interajam com dados governados sem duplicá-los. Isso simplifica a arquitetura e possibilita uma única fonte da verdade em cargas de trabalho de análise e IA.

Ao trazer seu próprio armazenamento, os arquivos permanecem acessíveis em sua conta de nuvem, enquanto o Unity Catalog governa o acesso a eles.

Você controla onde seus dados residem

Com as tabelas gerenciadas no Databricks, você pode decidir onde os dados das tabelas gerenciadas são gravados. Defina um local de armazenamento gerenciado uma vez no nível do metastore, catálogo ou esquema, e cada tabela abaixo dele o herdará. O nível mais específico vence: a localização de um esquema tem precedência sobre a do seu catálogo, e a de um catálogo sobre a do metastore. Você pode definir um padrão amplo e substituí-lo sempre que uma equipe ou domínio precisar de seu próprio armazenamento.

Esse controle não é fixo na configuração. À medida que sua organização muda, o ALTER CATALOG ou ALTER SCHEMA ... SET MANAGED LOCATION direciona novas tabelas e volumes para um novo local, enquanto tudo o que já foi gravado permanece onde está.

Mais controle quando você precisa de armazenamento separado

A maioria das equipes organiza seus dados de forma lógica, por meio de catálogos e esquemas, e nunca precisa pensar em onde os arquivos subjacentes residem fisicamente: o local de armazenamento gerenciado que seus catálogos e esquemas herdam é tudo de que precisam. Combinada com controles de acesso baseados em função e atributo no Unity Catalog, essa abordagem atende aos requisitos padrão de segregação de dados da GDPR.

Algumas organizações, no entanto, precisam de limites que se estendam ao próprio armazenamento físico. Uma linha de negócios pode precisar de armazenamento separado para administração ou alocação de custos de nuvem. Ou regras regionais e regulatórias podem ditar onde determinados dados residem fisicamente. Nesses casos, você pode dar a um catálogo ou esquema específico seu próprio local de armazenamento gerenciado, para que a disposição física dos dados se alinhe com o limite que o exige.

Escolha onde os dados são gravados ao converter para gerenciado

Ao converter uma tabela externa em gerenciada, os dados são gravados no local de armazenamento gerenciado para o qual seu catálogo ou esquema aponta atualmente. Se essa tabela externa já estiver em um local ad hoc ou não padrão, você pode querer a tabela gerenciada em outro lugar, no armazenamento que usa para esse domínio hoje.

Durante a conversão, o Databricks copia os dados e o log de transações da tabela para o local de armazenamento gerenciado que você definiu, de modo que a tabela gerenciada seja gravada onde você escolheu.

Resumo

As tabelas gerenciadas automatizam a manutenção das tabelas, enquanto seus dados podem permanecer no armazenamento de sua propriedade. Isso difere de outras plataformas gerenciadas que mantêm os dados das tabelas em armazenamento controlado pelo provedor. Você pode controlar o local de armazenamento no nível do metastore, catálogo ou esquema, alterar onde as novas tabelas são gravadas e escolher um local ao converter uma tabela externa em gerenciada. Seus dados permanecem em formatos abertos, acessíveis por meio do Iceberg REST Catalog e das APIs abertas do Unity Catalog.

Quando estiver pronto para definir ou alterar um local de armazenamento gerenciado, a documentação de armazenamento gerenciado abordará os detalhes.

Definições

Muitos desses termos reutilizam as mesmas palavras, o que facilita a confusão. Veja o que cada um significa nesta publicação.

• Tabela gerenciada: Uma tabela cujos dados e ciclo de vida o Unity Catalog gerencia para você. Você a cria sem uma cláusula LOCATION.
• Local de armazenamento gerenciado: O caminho de armazenamento em nuvem onde as tabelas e volumes gerenciados de um metastore, catálogo ou esquema são gravados. Você o define com a cláusula SET MANAGED LOCATION.
• Localização externa: Um objeto do Unity Catalog que associa um caminho de nuvem a uma credencial de armazenamento para controlar o acesso a esse caminho. As localizações externas controlam tanto as tabelas externas quanto o armazenamento gerenciado: uma localização de armazenamento gerenciado no nível de catálogo ou esquema reside dentro de uma delas.
• Armazenamento de propriedade do cliente: Uma opção de armazenamento em que o armazenamento em nuvem subjacente está na própria conta de nuvem do cliente. Isso representa a grande maioria das tabelas no Databricks.
• Armazenamento padrão: Uma opção de armazenamento alternativa na qual o Databricks provisiona o armazenamento em nuvem subjacente para você, em vez de você trazer seu próprio bucket.
• ALTER CATALOG / ALTER SCHEMA … SET MANAGED LOCATION: O comando que altera onde novas tabelas e volumes gerenciados para um catálogo ou esquema são gravados. As tabelas existentes não são afetadas.
• Conversão de externa para gerenciada (ALTER TABLE … SET MANAGED): O comando que converte uma tabela externa em uma tabela gerenciada. Durante a conversão, os dados e o log de transações são copiados para a localização de armazenamento gerenciado atual.

FAQs

1. Onde o Unity Catalog armazena os dados das tabelas gerenciadas: no armazenamento de propriedade do Databricks ou na minha própria conta de nuvem?

Na sua própria conta. Os dados das tabelas gerenciadas são gravados no armazenamento em nuvem na sua própria conta, seja S3, ADLS ou GCS, em uma localização de armazenamento gerenciado que você define no seu metastore, catálogo ou esquema. O Databricks gerencia o layout e o ciclo de vida da tabela, mas os arquivos subjacentes residem em um bucket ou contêiner que você possui e registra no Unity Catalog, e não em uma conta controlada pelo Databricks.

2. As tabelas gerenciadas do Unity Catalog me prendem ao Databricks?

Não. As tabelas gerenciadas usam formatos de tabela abertos, incluindo Iceberg e Delta, que permanecem no armazenamento em nuvem de sua propriedade. Mecanismos externos podem gravar e ler nelas por meio do Iceberg REST Catalog e das APIs abertas do Unity Catalog, para que seus dados não fiquem presos atrás de uma interface proprietária. Você mantém a propriedade do armazenamento, os dados permanecem em formatos abertos e o acesso ocorre por meio de padrões abertos. Tabelas gerenciadas não geram lock-in: é tão possível migrar para dentro ou para fora do Databricks usando tabelas gerenciadas quanto usando tabelas externas; em ambos os casos, você pode manter seus dados fisicamente no mesmo lugar.

3. Posso manter determinados dados em um armazenamento separado para fins de conformidade ou residência de dados?

Sim. Você pode atribuir a um catálogo ou esquema específico sua própria localização de armazenamento gerenciado, separada de tudo o mais, se necessário, para manter dados de diferentes países ou regimes regulatórios em armazenamentos distintos, ou para atribuir custos de armazenamento a uma equipe ou unidade de negócios específica. 

4. Mecanismos e ferramentas que não sejam o Databricks podem gravar e ler em minhas tabelas gerenciadas?

Sim. As tabelas gerenciadas podem ser lidas ou gravadas por meio do Iceberg REST Catalog e das APIs abertas do Unity Catalog, de modo que mecanismos externos como Apache Spark, Trino e Flink podem acessá-las. O Unity Catalog lida com a governança para acesso ao armazenamento, evitando a corrupção de dados que ignorá-los pode causar. O acesso direto baseado em caminho também está disponível por meio de redirecionamento baseado em caminho e Modo de Compatibilidade.

5. Posso alterar onde os dados da minha tabela gerenciada são armazenados depois de definidos?

Sim. Use ALTER CATALOG … SET MANAGED LOCATION ou ALTER SCHEMA … SET MANAGED LOCATION para apontar novas tabelas para uma localização diferente sempre que as necessidades de separação física da sua organização mudarem: uma reorganização, um novo bucket, uma nova região. As tabelas existentes permanecem exatamente onde estão, e as novas tabelas vão para a nova localização. Sempre que você converte uma tabela externa em gerenciada, seus dados são copiados para a localização que você definiu, permitindo que você mova os dados para o local correto como parte da mesma etapa. 

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original