Como as tabelas gerenciadas do Unity Catalog trazem interoperabilidade, desempenho e governança unificada ao Lakehouse

O Unity Catalog foi projetado para interoperabilidade em escala. As empresas têm a flexibilidade de executar qualquer mecanismo em uma única cópia de dados com governança aplicada de forma centralizada.

Hoje, estamos dando um passo adiante na interoperabilidade. Temos o prazer de anunciar que o acesso externo a tabelas Delta gerenciadas pelo Unity Catalog (UC) agora está em Public Preview.

No último ano, uma lista crescente de mecanismos, do Apache Spark e Flink até agora Starburst e DuckDB, se integraram às tabelas Delta gerenciadas pelo UC, e o ecossistema continua a crescer. As empresas podem obter o melhor dos dois mundos: os benefícios de custo-benefício das tabelas gerenciadas pelo UC e a flexibilidade de usar os mecanismos que se adaptam a cada carga de trabalho. O Unity Catalog continua sendo a camada de governança central, garantindo que as políticas de acesso sejam aplicadas de forma consistente em todos os mecanismos.

Até agora, as equipes que precisavam de acesso a múltiplos mecanismos usavam tabelas externas, que carecem de otimizações de desempenho e garantias de governança. Com o acesso externo agora em Public Preview, esse dilema acabou. As tabelas gerenciadas pelo UC são a escolha óbvia para o lakehouse em termos de preço, desempenho e interoperabilidade.

Por que as equipes escolhem tabelas gerenciadas pelo Unity Catalog

As tabelas gerenciadas pelo UC combinam a interoperabilidade do Delta Lake e do Apache Iceberg com recursos automáticos integrados que melhoram o desempenho das consultas, reduzem os custos de armazenamento e mantêm as tabelas saudáveis ao longo do tempo. Elas também são a base para recursos da plataforma, como recuperação de desastres e ingestão do Zerobus.

A Databricks ajusta automaticamente as tabelas gerenciadas por meio da Otimização Preditiva. A Otimização Preditiva limpa o armazenamento, coleta estatísticas de consulta e seleciona automaticamente as colunas de clustering Liquid para evoluir os layouts das tabelas à medida que os padrões de consulta mudam. Juntos, esses benefícios podem proporcionar até 50% de economia nos custos de armazenamento e consultas até 20 vezes mais rápidas, eliminando a necessidade de as equipes de dados ajustarem as tabelas manualmente.

Anunciamos recentemente a Disponibilidade Geral de commits de catálogo, que tornam o Unity Catalog o coordenador de commits para tabelas gerenciadas pelo UC. Em vez de fazer com que clientes externos realizem commits diretamente no armazenamento em nuvem, as gravações em tabelas Delta gerenciadas pelo UC são coordenadas por meio do catálogo. Isso torna o Unity Catalog a fonte da verdade para o estado da tabela, o que libera benefícios essenciais, como gravações externas seguras, transações de várias instruções e auditoria de operações externas.

Criar, ler e gravar a partir de mecanismos externos

Agora em Public Preview, os mecanismos externos podem:

• Criar, ler e gravar em tabelas Delta gerenciadas pelo UC com commits de catálogo do Apache Spark (lote e streaming), Apache Flink, Starburst, DuckDB e Streamnative.
• Manter a governança centralizada no Unity Catalog em todos os mecanismos.
• Beneficiar-se da Otimização Preditiva, que reduz custos e melhora o desempenho em todos os mecanismos.

O acesso externo é baseado em APIs abertas para metadados, distribuição de credenciais e coordenação de commits. A distribuição de credenciais emite credenciais temporárias e com escopo definido com base nos privilégios do UC, enquanto a API Delta do Unity Catalog oferece aos mecanismos Delta um contrato com controle de versão para operações de criação, leitura e gravação. Como essas APIs são abertas e implementadas no projeto OSS do Unity Catalog, qualquer mecanismo pode se integrar com suporte para criação, leitura e gravação. O resultado é um ecossistema crescente de mecanismos que operam na mesma cópia governada de dados no Databricks UC e no UC OSS

Os parceiros já estão desenvolvendo soluções em torno dessas APIs de diferentes maneiras. O Starburst, por exemplo, se integra ao Unity Catalog e ao Delta Lake para oferecer suporte à criação, leitura e gravação em tabelas Delta gerenciadas pelo UC.

"A Starburst compartilha da visão da Databricks de abertura e interoperabilidade em todo o ecossistema de dados. Ao nos integrarmos às tabelas gerenciadas pelo Unity Catalog, estamos permitindo que os clientes criem uma única fonte da verdade para todos os seus dados, com governança centralizada e flexibilidade para aproveitar as ferramentas de sua escolha." —Justin Borgman, CEO, Starburst Data

Expandindo o ecossistema por meio do Delta Kernel

O acesso externo a tabelas gerenciadas pelo UC faz parte de um investimento mais amplo no ecossistema OSS do Delta Lake e do Unity Catalog. O objetivo é alinhar o Delta com o modelo gerenciado por catálogo pioneiro do Iceberg, para que as empresas possam se beneficiar das garantias de desempenho e consistência de um catálogo, mantendo a interoperabilidade com qualquer mecanismo.

Estamos expandindo o ecossistema Delta com o Delta Kernel, que fornece bibliotecas para leitura, gravação e commit em tabelas Delta sem a necessidade de reimplementar o protocolo do zero. Combinado com as APIs UC Delta no UC OSS, o Delta Kernel permite que um mecanismo se integre perfeitamente a um catálogo gerenciado pela Databricks ou a uma implantação auto-hospedada do UC OSS.

Por exemplo, o DuckDB criou suas extensões Delta e Unity Catalog OSS no Delta Kernel. A partir do DuckDB v1.5.1, ele pode ler e gravar tabelas Delta gerenciadas pelo UC diretamente. Isso reflete nosso compromisso com um ecossistema aberto e interoperável: à medida que o protocolo Delta evolui, os mecanismos baseados no Kernel herdam os recursos mais recentes automaticamente, para que os clientes sempre tenham acesso aos melhores e mais recentes recursos, independentemente do mecanismo que escolherem.

"Os usuários do DuckDB valorizam a capacidade de trabalhar diretamente com dados de lakehouse abertos a partir de um mecanismo analítico leve. A integração do Delta Lake e do Unity Catalog ajuda a levar essa experiência para tabelas corporativas governadas, incluindo fluxos de trabalho em que os dados gravados por meio de um mecanismo podem ser lidos de forma consistente por outro." —Hannes Mühleisen, CEO, DuckDB Labs

Continuamos trabalhando com a comunidade para desenvolver mais integrações baseadas em Kernel com tabelas Delta gerenciadas pelo UC. Por exemplo, estamos dando passos importantes para trazer cargas de trabalho de streaming do Flink para tabelas gerenciadas pelo UC com um novo conector Flink baseado em Kernel.

Governança centralizada

A governança centralizada é fundamental para pipelines de múltiplos mecanismos. Um aplicativo de streaming pode gravar dados em uma tabela gerenciada, o Spark pode transformá-los e o Starburst ou o DuckDB podem consultá-los — independentemente do mecanismo ou da identidade por trás da consulta, os controles de acesso devem ser respeitados.

O Unity Catalog é a camada única de governança em todos os mecanismos. As equipes de plataforma controlam quais principais podem acessar tabelas externamente e o que podem fazer por meio dos privilégios do UC. O ABAC entre mecanismos estende isso ainda mais, permitindo que o Unity Catalog filtre linhas ou mascare colunas em leituras de mecanismos externos. Os controles de acesso refinados são aplicados centralmente para tabelas gerenciadas pelo UC, sem a necessidade de soluções alternativas personalizadas.

Comece a usar tabelas gerenciadas pelo UC hoje mesmo

Para as equipes que desenvolvem no lakehouse aberto, as tabelas gerenciadas pelo UC são a base mais sólida disponível. A Otimização Preditiva ajusta automaticamente os layouts de dados e realiza a manutenção das tabelas, oferecendo a melhor relação custo-benefício sem esforço manual. A interoperabilidade também é integrada: as tabelas gerenciadas são armazenadas no formato Delta ou Iceberg e podem ser acessadas de qualquer mecanismo, para que as equipes nunca precisem escolher entre desempenho e flexibilidade.

As equipes que usam tabelas externas podem atualizar as tabelas existentes no local com ALTER TABLE SET MANAGED, obtendo a Otimização Preditiva e commits de catálogo, ao mesmo tempo em que mantêm o acesso aberto a múltiplos mecanismos no qual já confiam.

Nossa visão é clara: os clientes devem ser capazes de usar o melhor mecanismo para cada carga de trabalho, mantendo uma única cópia dos dados no Unity Catalog com a melhor relação custo-benefício e governança unificada.

Como começar

O acesso externo a tabelas Delta gerenciadas pelo UC está em Public Preview, incluindo suporte para operações de criação, leitura e gravação a partir de clientes externos.

Para começar:

1. Habilite o acesso a dados externos no seu metastore do Unity Catalog.
2. Conceda EXTERNAL USE SCHEMA no esquema que contém as tabelas Delta gerenciadas pelo UC que você deseja que os mecanismos externos acessem.
3. Conecte seu mecanismo usando o Delta 4.3 com o cliente Unity Catalog 0.5.1. Consulte a documentação de acesso externo.
4. Teste criações, leituras e gravações na tabela Delta gerenciada pelo UC com commits de catálogo habilitados a partir de mecanismos externos (ou converta uma tabela externa existente em gerenciada)

Informações específicas sobre os conectores Delta podem ser encontradas abaixo:

• Apache Spark - consulte a documentação do Databricks e o blog da comunidade
• Apache Flink - consulte o GitHub e o blog da comunidade
• StreamNative - consulte o blog do StreamNative
• Starburst – consulte a documentação do Starburst
• DuckDB - consulte a documentação do DuckDB e o blog do DuckDB

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original