Upgrades automáticos: recursos de práticas recomendadas para suas tabelas lakehouse

Suas tabelas gerenciadas do Unity Catalog (UC) agora melhoram sozinhas. O Automatic (Auto) Upgrades é a primeira funcionalidade desse tipo em qualquer lakehouse. Ele verifica automaticamente se seus clientes são compatíveis e aplica recursos de práticas recomendadas, como Row Tracking, no momento em que suas tabelas estão prontas, sem necessidade de esforço manual.

Formatos de tabela abertos estão inovando rapidamente, introduzindo muitos recursos novos de tabela. No entanto, historicamente, a adoção de um novo recurso de tabela significava identificar tabelas qualificadas, verificar a compatibilidade do cliente e executar ALTER TABLE em milhares de tabelas. A maioria das equipes não tem tempo para isso, por isso não aproveitam os benefícios como melhor desempenho, confiabilidade, interoperabilidade e economia de custos que esses recursos podem oferecer. O Auto Upgrades elimina essa lacuna, e você mantém o controle: cada alteração é reversível por tabela.

Qualquer coisa que reduza a carga mental é uma vitória. Acompanhar cada novo recurso em cada tabela é muita coisa, então estou ansiosa para que o Auto Upgrades cuide da manutenção por mim! —Audrey Boslego, Gerente de Engenharia de Plataforma de Dados

Como funciona o Auto Upgrades

O Auto Upgrades funciona observando como suas tabelas existentes são acessadas, verificando se cada carga de trabalho está pronta e, em seguida, aplicando os recursos em seu nome.

1. Observar: Para cada tabela gerenciada do UC existente, o Auto Upgrades observa os clientes que a acessam durante uma janela de observação contínua.

2. Verificar: Para cada recurso, o Auto Upgrades verifica se todas as seguintes condições são atendidas para essa mesma janela de observação:

• Cada cliente Databricks que acessou a tabela durante a janela de observação está em uma versão do Databricks Runtime que suporta o recurso
• A tabela em si deve estar ativa (tabelas totalmente inativas são ignoradas)
• (Por enquanto) Clientes externos não acessaram a tabela durante a janela de observação

3. Upgrade: Assim que uma tabela se torna qualificada, o Auto Upgrades executa ALTER TABLE por meio de um job em segundo plano leve para aplicar o recurso com segurança.

Extensão para novas tabelas: Assim que cada tabela existente em um esquema for verificada como compatível com um recurso, o Auto Upgrades o torna um padrão para o esquema, de modo que qualquer nova tabela criada ali herde o recurso automaticamente. Quaisquer propriedades de tabela que você definir explicitamente no momento da criação sempre terão precedência.

No futuro, o Auto Upgrades visa habilitar recursos em tabelas acessadas por clientes externos, detectando se eles são compatíveis com um determinado recurso. Estamos trabalhando com a comunidade em padrões para fornecer os metadados corretos para detectar a compatibilidade desses clientes.

Mais minucioso do que um upgrade manual

Um upgrade manual cuidadoso exige muita diligência: selecionar os recursos certos e confirmar se estão prontos para produção, verificar se cada cliente os suporta e garantir que haja uma maneira de reverter. O Auto Upgrades aplica essa mesma diligência a cada tabela de forma automática.

✅ Apenas GA, sem regressões materiais de desempenho ou custos. Um recurso se qualifica para o Auto Upgrades apenas se tiver atingido a disponibilidade geral (GA) e não reduzir materialmente o desempenho ou aumentar os custos. Muitos recursos melhoram o desempenho ou reduzem os custos, mas nenhum os piora.

✅ Uma janela de observação abrangente. Nem toda carga de trabalho de dados é executada diariamente. Jobs em lote mensais, relatórios trimestrais e análises ad-hoc podem levar semanas para aparecer. A Databricks escolheu uma janela de 100 dias para capturar a cauda longa, nos dando uma visão completa de como suas tabelas são realmente usadas antes que qualquer decisão seja tomada.

✅ Verificação de compatibilidade rigorosa. Não habilitamos um recurso até que todos os clientes que o acessam ofereçam suporte a ele. Um único cliente sem suporte é suficiente para esperarmos, tanto para tabelas existentes quanto para os padrões de esquema que regem as novas.

✅ Sem intervenção quando não for possível verificar. O Auto Upgrades só atua em tabelas que pode verificar totalmente. Tabelas acessadas por clientes externos estão fora do escopo, e tabelas inativas por mais de 30 dias são ignoradas.

✅ Suas decisões são respeitadas. Cada recurso habilitado pelo Auto Upgrades pode ser desabilitado ou removido por tabela a qualquer momento. Depois que você desabilita um recurso em uma tabela, o Auto Upgrades não o reabilitará mais tarde.

Benefícios que o Auto Upgrades desbloqueia

O Auto Upgrades traz recursos de práticas recomendadas consolidados para suas tabelas gerenciadas do UC. Isso inclui recursos que a maioria das equipes deseja, mas não habilitou devido ao trabalho manual envolvido.

À medida que o Auto Upgrades é executado, suas tabelas gradualmente se tornam:

Tabelas mais rápidas e econômicas. Suas tabelas se tornam mais rápidas de consultar, mais baratas de armazenar e mais baratas de alterar.

• O Liquid Clustering Automático aplica-se a novas tabelas que o têm definido como padrão de esquema, otimizando o layout de dados de acordo com as consultas que você realmente executa e se adaptando conforme sua carga de trabalho evolui, eliminando a necessidade de ZORDER ou chaves de clustering manuais.
• Deletion Vectors marcam linhas como excluídas ou atualizadas em vez de reescrever arquivos de dados inteiros, de modo que as exclusões e atualizações sejam executadas mais rapidamente e custem menos.
• O Column Mapping permite renomear ou excluir colunas instantaneamente, sem reescrever dados.
• O Parquet V2 compacta os dados de forma mais eficiente, reduzindo os custos de armazenamento e acelerando as varreduras.

Interoperabilidade aberta entre mecanismos. Suas tabelas se tornam abertas a mais formatos e mais mecanismos, com governança no Unity Catalog que se aplica a todos eles.

• Catalog Commits permite que o UC se torne o sistema de coordenação para tabelas gerenciadas, entre mecanismos. Ele desbloqueia gravações de mecanismos externos em tabelas gerenciadas do UC, permite que políticas ABAC sejam aplicadas a mecanismos externos e possibilita transações multitabela e multi-instrução.
• Row Tracking adiciona identificadores exclusivos em nível de linha que abrem as portas para o Automatic Change Data Feed, Vector Search e Lakebase, no Iceberg e Delta. Ele também permite que as Materialized Views sejam atualizadas de forma incremental em vez de recalcular a visualização completa, reduzindo significativamente os custos de atualização.

Maior confiabilidade sob carga. Suas tabelas permanecem estáveis à medida que crescem e o volume de gravação aumenta.

• Checkpoint V2 mantém os metadados da tabela em um formato mais escalável, reduzindo falhas de commit em situações com muitas gravações simultâneas.

O Auto Upgrades continuará a crescer para abranger mais recursos e oferecer suporte a tipos adicionais de tabelas gerenciadas do UC, como Materialized Views e Streaming Tables.

Observabilidade abrangente

Cada recurso adicionado pelo Auto Upgrades aparece na saída do comando DESCRIBE HISTORY da tabela e na guia de histórico do Catalog Explorer, de uma forma que pode ser distinguida das alterações iniciadas pelo usuário. Para obter mais informações, consulte observar recursos habilitados.

Para visibilidade em toda a conta, você poderá consultar uma tabela do sistema para ver cada evento do Auto Upgrades por tabela, recurso e timestamp. Por exemplo, para ver todas as operações de upgrade automático que ocorreram para todos os recursos em uma tabela específica:

Primeiros passos

O Auto Upgrades funciona em tabelas gerenciadas do UC. Portanto, o passo mais impactante que você pode dar para começar é garantir que suas tabelas sejam convertidas para esse tipo de tabela.

Não tem certeza de quais de suas tabelas são gerenciadas pelo Unity Catalog? Verifique o tipo de tabela no Catalog Explorer ou execute DESCRIBE EXTENDED em sua tabela.

Para auditar tabelas em lote, você também pode usar a tabela do sistema do Auto Upgrades para identificar quais recursos foram habilitados em quais tabelas e em quais momentos:

Se você tiver tabelas externas que gostaria de trazer, poderá convertê-las com um único SET MANAGED, e o Auto Upgrades cuida do resto.

Para saber mais sobre como o Auto Upgrades funciona, quais recursos ele habilita e como monitorar sua atividade, consulte nossa documentação.

Com o Auto Upgrades, suas tabelas gerenciadas se gerenciam sozinhas. À medida que a Databricks lança novos recursos, suas tabelas continuam melhorando — sem maratonas de ALTER TABLE, auditorias de compatibilidade ou projetos de migração. Você obtém tabelas mais rápidas, confiáveis e interoperáveis, de forma automática.

FAQs

Como o Auto Upgrades garante que uma tabela seja segura para atualização?

O Auto Upgrades aplica apenas recursos em disponibilidade geral que não reduzam significativamente o desempenho ou aumentem os custos. Ele aguarda uma janela de observação de 100 dias, exige que todos os clientes de acesso sejam compatíveis, ignora tabelas que não possa verificar totalmente e permite que você desative qualquer recurso por tabela a qualquer momento.

Se minha tabela mudou, como posso saber se foi o Auto Upgrades?

Cada alteração feita pelo Auto Upgrades aparece na saída do comando DESCRIBE HISTORY da tabela e na guia de histórico do Catalog Explorer, marcada de forma distinta de suas próprias alterações. Para visibilidade em toda a conta, a consulta a system.storage.table_auto_upgrade_operations_history também mostrará em que momento qualquer recurso foi adicionado a qualquer tabela.

O Auto Upgrades quebrará uma tabela que minhas ferramentas externas ou OSS leem?

Não. Tabelas acessadas por clientes externos ou OSS estão fora de escopo por enquanto. O Auto Upgrades só age quando pode verificar se todos os clientes que acessam uma tabela oferecem suporte ao recurso. No futuro, expandiremos para incluir também tabelas com acesso externo ou OSS, assim que o Auto Upgrades puder confirmar que esses clientes são compatíveis.

O Auto Upgrades custa alguma coisa? Ele aumentará minha fatura de DBU ou de armazenamento?

Na atual Gated Public Preview, a Databricks não cobra pelo Auto Upgrades em si (o trabalho de ALTER TABLE em segundo plano), e esperamos continuar oferecendo-o gratuitamente. Verifique a documentação do Auto Upgrades para obter as informações mais atualizadas.

Quanto tempo leva até que minhas tabelas sejam atualizadas? Quando verei as alterações?

O Auto Upgrades usa uma janela de observação de 100 dias para capturar cargas de trabalho infrequentes (por exemplo, trabalhos em lote mensais, relatórios trimestrais, análises ad-hoc) antes de agir. Assim que uma tabela for verificada como compatível, o recurso será aplicado logo em seguida por meio de um trabalho em segundo plano. Lembre-se também de que, quando um recurso é lançado pela primeira vez, isso ocorre de forma gradual entre os clientes e a porcentagem de tabelas, portanto, pode levar de 3 a 5 meses para chegar às suas tabelas com cargas de trabalho compatíveis.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original