Atualize seu Lakehouse: seu guia prático para converter para tabelas gerenciadas do Unity Catalog

O novo comando SET MANAGED oferece um mecanismo integrado para converter tabelas externas do UC em tabelas gerenciadas do UC, minimizando o tempo de inatividade, lidando com gravações simultâneas, mantendo as configurações da tabela e, quando possível, preservando o histórico da tabela. Este artigo compartilha as melhores práticas e oferece um guia passo a passo para usar este comando em disponibilidade geral (GA):

Por que converter para tabelas gerenciadas do UC?

Com o Unity Catalog como fonte da verdade, as tabelas gerenciadas desbloqueiam recursos exclusivos que aprimoram o desempenho, governança e facilidade de uso—sem dependência de fornecedor. 

As principais vantagens incluem:

• Otimizações automáticas que podem aumentar o desempenho da consulta em 20x e reduzir os custos de armazenamento em mais de 50% (mais detalhes aqui).
• Gerenciamento de dados simplificado com limpeza automática de dados descartados para economizar custos, além de suporte para undrop
• Governança aprimorada com linhagem de dados, controles de acesso refinados e acesso mais seguro a tabelas com a supervisão do Unity Catalog sobre todas as leituras e gravações
• Uma base para recursos futuros como exclusão automática de linhas (Auto-TTL) e ingestão em nível de linha Zerobus ingest, em Private Preview). 

As tabelas convertidas permitem leituras de qualquer cliente de terceiros (consulte aqui para mais detalhes). 

Como o comando de conversão SET MANAGED pode ajudar? 

O comando SET MANAGED facilita a conversão de tabelas externas para gerenciadas

Como converter de tabelas externas para gerenciadas? 

Guia prático passo a passo para a conversão

O comando SET MANAGED torna a conversão de tabelas direta. Em um guia passo a passo, apresentamos dicas importantes para garantir uma transição tranquila de tabelas externas para gerenciadas.  

Etapa 1: selecionar tabelas externas para converter

Comece selecionando algumas tabelas externas do Unity Catalog para converter primeiro para gerenciadas do UC, a fim de familiarizar sua equipe com o processo, os pré-requisitos e as etapas pós-conversão.

Por exemplo, você pode experimentar este comando primeiro em algumas tabelas que são lidas e gravadas exclusivamente por clientes Databricks (consulte o planejamento de uma jornada em etapas). 

Etapa 2: Checklist de pré-execução

Verifique se o seu ecossistema de leitores e gravadores de tabela está pronto para a mudança. Para cada tabela externa do UC selecionada e suas cargas de trabalho associadas, você precisará:

1. Atualize para usar o acesso baseado em nome: verifique seus jobs, notebooks e consultas para garantir que eles acessem a tabela usando seu nome de três partes (catalogo.schema.tabela) em vez de usar o acesso baseado em caminho (por exemplo, SELECT * FROM delta.'s3://path/to/table'). O Databricks Labs desenvolveu a ferramenta UCX que pode ajudar você a encontrar referências baseadas em caminho executando o seguinte código Databricks Labs UCX lint-local-code em um terminal de IDE para analisar o código do diretório da sua máquina local (arquivos .py ou .sql).
2. Cancele todas as tarefas de manutenção: para evitar conflitos, garanta que nenhuma tarefa OPTIMIZE, ZORDER ou CLUSTER BY esteja em execução ou agendada para ser executada na tabela durante o processo de conversão, se existirem (pode verificar usando DESCRIBE HISTORY). Após a conversão, a Otimização Preditiva cuidará automaticamente das tarefas de otimização.
3. [Opcional] Atualizar as versões do Databricks Runtime: Todos os clusters do Databricks que leem ou gravam na tabela devem, idealmente, usar o Databricks Runtime 15.4 LTS ou superior para reter o histórico completo da tabela para as tabelas Delta. O Databricks Runtime 16.1 ou superior pode eliminar totalmente o tempo de inatividade do leitor. 

Etapa 3: execute o comando de conversão

Execute a conversão usando o seguinte comando de conversão:

 Observação: para tabelas com o UniForm ativado, use SET MANAGED TRUNCATE UNIFORM HISTORY.

Passo 4: verifique o resultado

Depois que o comando for concluído, confirme se a conversão foi bem-sucedida, verificando os metadados da tabela.

Na saída deste comando, a propriedade “Type” agora deve ser exibida como “MANAGED”. Você também pode ver essa mesma informação na seção "Sobre esta tabela" do Catalog Explorer.

Etapa 5: organização pós-conversão

Após uma conversão bem-sucedida, conclua estas etapas finais para garantir uma transição tranquila:

• Reinicie as tarefas de leitura ou gravação de streaming que usam a tabela, se alguma tiver sido pausada
• Realize testes funcionais executando as principais consultas para garantir que todos os leitores e gravadores estejam operando como esperado na tabela recém-gerenciada
• Confirme se a Otimização Preditiva está agora ativada para a tabela para começar a se beneficiar da manutenção automatizada (você também pode ativar CLUSTER by AUTO, para clustering líquido automático, ou verificar se foi ativado).

Planejando uma jornada em etapas

Uma conversão bem-sucedida de todas as tabelas para gerenciadas pelo UC é uma jornada – adotar uma abordagem em fases e planejar com antecedência pode ajudar a garantir uma transição tranquila:

1. Converter tabelas exclusivas do Databricks: priorize a conversão de tabelas que são lidas e gravadas exclusivamente por clientes Databricks. Uma ferramenta experimental, o Access Insights, pode ser usada para ajudar a identificar tabelas com apenas “leitores e gravadores do Databricks” versus “leitores que não são do Databricks” ou “gravadores que não são do Databricks”.
2. Converta tabelas com ferramentas externas compatíveis: determine quais tabelas são acessadas por ferramentas de terceiros que também têm suporte nativo a leituras de tabelas gerenciadas pelo UC e converta-as em seguida. O acesso de terceiros continuará funcionando após a conversão.
3. Deixe os casos complexos por último: Para tabelas acessadas com ferramentas legadas não compatíveis, planeje usar soluções como o Modo de Compatibilidade para leituras. Onde forem necessárias gravações de terceiros, recrie essas tabelas e habilite as gravações nessas tabelas gerenciadas do UC em Preview.

Considerações adicionais

Os detalhes a seguir sobre o comando de conversão podem ser úteis para saber com antecedência:

• Limite de tempo para reversão: para usar a rede de segurança de reversão, o comando UNSET MANAGED deve ser executado na tabela gerenciada do UC em até 14 dias após a conversão. Depois disso, os dados externos originais serão excluídos permanentemente para economizar custos de armazenamento.
• Nuances do Time Travel: atualizar clientes para 15.4 LTS ou superior pode ser útil. Para clusters em execução no Databricks Runtime 14.3 LTS ou inferior, ou se você usar o comando UNSET MANAGED para reverter, você só poderá fazer o time travel para commits históricos por número de versão após a conversão, não por timestamp.
• Tempo de inatividade minimizado para gravadores: o comando foi projetado para minimizar o tempo de inatividade. Os gravadores podem sofrer uma breve interrupção (estimada entre 1 e 5 minutos) durante a fase final, quando o local da tabela é alterado para o novo local gerenciado.
• Interrupção temporária do Delta Sharing: O Delta Sharing será temporariamente interrompido durante a conversão, mas voltará a funcionar corretamente assim que o processo for concluído.  

Dica profissional: como ampliar com a conversão em massa

Para converter centenas ou milhares de tabelas externas do Unity Catalog em massa em um determinado esquema, você pode usar o seguinte script SQL simples. 

Observação: este script executa modificações em tempo real. É altamente recomendável testá-lo completamente em um ambiente de desenvolvimento antes de executá-lo em produção.

Controlando a localização física dos seus dados

Tabelas gerenciadas do Unified Catalog (UC) residem em armazenamento gerenciado pelo cliente e são acessíveis por meio de APIs de catálogo aberto. Se você quiser mais controle sobre como seus dados são armazenados fisicamente, pode definir um local de armazenamento gerenciado no nível do catálogo ou do esquema. Quaisquer novas tabelas gerenciadas criadas nesse catálogo ou esquema serão organizadas automaticamente nesse local especificado.

Para tabelas externas preexistentes, você pode definir um local de armazenamento gerenciado e, em seguida, usar o comando SET MANAGED para convertê-las em tabelas gerenciadas do UC. Durante a conversão, o sistema respeita o local gerenciado que você definiu, dando a você o controle sobre o layout físico dos seus dados no armazenamento em nuvem. Entre em contato com sua equipe de contas para acessar este recurso em Private Preview hoje mesmo. 

Convertendo de tabelas externas para gerenciadas hoje

Em apenas alguns meses desde a Public Preview, centenas de clientes converteram com sucesso milhares de tabelas com o SET MANAGED.

Tudo o que foi descrito aqui já está em GA — experimente hoje mesmo e aproveite o desempenho, a governança e a simplicidade das tabelas gerenciadas do Unity Catalog.

(This blog post has been translated using AI-powered tools) Original Post