Anunciando suporte de primeira classe ao formato Iceberg no Delta compartilhamento da Databricks

Com um crescimento de uso de mais de 300% ano a ano por 2 anos consecutivos, o Delta Sharing é o protocolo aberto mais adotado para compartilhamento de dados e IA. Grandes provedores de dados, incluindo SAP, Walmart, Atlassian e LSEG, usam o Delta Sharing para compartilhar dados com seus parceiros e clientes em nuvens e plataformas. Hoje, temos o prazer de anunciar que o compartilhamento Delta da Databricks oferece suporte de primeira classe para o formato Apache Iceberg.

Provedores de dados agora podem compartilhar dados de forma segura e em tempo real do Databricks para qualquer cliente que seja compatível com a API REST Catalog do Apache Iceberg. Destinatários em plataformas como Snowflake, Trino, Flink e Spark em todas as nuvens podem usar esse recurso, adicionando ao ecossistema aberto do Delta Sharing. 

Além disso, estamos lançando uma Private Preview que permite que provedores de dados usem o Delta Sharing para compartilhar tabelas Iceberg gerenciadas por catálogos fora do Databricks, incluindo AWS Glue, Hive Metastore, Snowflake Horizon e muito mais.

Juntos, vocês podem compartilhar quaisquer tabelas novas ou existentes (Delta ou Iceberg, gerenciadas ou externas). Isso contribui para uma interoperabilidade aberta e completa. Você pode importar tabelas Iceberg de qualquer catálogo externo, gerenciá-las por meio do Databricks e do Unity Catalog e, em seguida, compartilhá-las com qualquer destinatário, seja no Databricks, em um cliente Iceberg ou em um cliente Delta. Isso permite que você utilize o Unity Catalog como sua camada unificada de governança de dados, oferecendo um único lugar para todo o compartilhamento. 

Nesta postagem no blog, explicaremos por que o compartilhamento de dados abertos é importante. Também vamos explorar como o Delta Sharing para clientes Iceberg funciona através de uma demonstração prática.

Por que isso é importante: compartilhamento aberto versus fechado

A maioria das soluções de compartilhamento de dados não está realmente compartilhando: elas estão aprisionando. Elas são fundamentalmente fechadas e projetadas para garantir o aprisionamento tecnológico (vendor lock-in), para que você só possa compartilhar com outras pessoas que já estão dentro de seus ecossistemas fechados. Isso limita suas opções, sufoca a inovação e gera uma replicação de dados massiva e sem sentido.

O Delta Sharing é o padrão aberto mais amplamente adotado para o compartilhamento seguro de dados. Usado por provedores de dados líderes de categoria, ele foi criado para dar suporte a diferentes nuvens e plataformas. O Delta Sharing opera com base em três princípios fundamentais:

• Compartilhe qualquer ativo.
• Compartilhe com qualquer pessoa.
• Compartilhe sem atritos.

A adição de suporte ao cliente Iceberg fortalece esse compromisso. Isso permite que você compartilhe uma tabela Delta enquanto os destinatários a experimentam como uma tabela Iceberg nativa. O compartilhamento acontece pela API REST do Iceberg, para que os destinatários possam se conectar de qualquer plataforma compatível com o Iceberg. Isso permite que você obtenha o melhor dos dois mundos: os provedores de dados se beneficiam dos recursos avançados do Delta Sharing, como o compartilhamento de views, enquanto os destinatários recebem tabelas Iceberg nativas por meio da API REST do Iceberg.

Os destinatários obtêm acesso seguro e em tempo real aos dados de origem. Isso elimina os silos e permite que você compartilhe dados abertamente com qualquer pessoa.

Este recurso é ideal para organizações que precisam compartilhar dados externamente com parceiros e clientes usando clientes Iceberg, como aqueles que operam no Snowflake ou se integram a plataformas como Trino, Flink ou Spark. Empresas com várias unidades de negócios operando em múltiplas plataformas também se beneficiam ao desbloquear a troca de dados bidirecional e contínua em ambientes multinuvem ou híbridos. As indústrias que já aproveitam esses padrões incluem saúde, varejo, finanças, ad-tech e muito mais.

Interoperabilidade: tanto na origem quanto no destino 

Como acreditamos no acesso total e aberto aos dados, não paramos no compartilhamento de dados com clientes Iceberg. Agora estamos desenvolvendo a próxima evolução: compartilhar tabelas Iceberg externas que residem em catálogos externos, como o AWS Glue ou o Snowflake Horizon. Temos o prazer de anunciar a Private Preview do suporte do Delta Sharing para tabelas Iceberg externas.

Você pode se perguntar: por que compartilhar uma tabela Iceberg pelo Delta Sharing se ela reside no AWS Glue ou no Snowflake? Por que não compartilhar diretamente de dentro dessa plataforma?

Primeiro, ao catalogar seus dados externos do Iceberg no Unity Catalog, você obtém uma camada de governança unificada no Unity Catalog, permitindo que você obtenha visibilidade e governança completas em todo o seu patrimônio de dados. Além disso, usar o Delta Sharing permite que você obtenha o melhor dos dois mundos: você se beneficia das melhores funcionalidades de compartilhamento do Delta Sharing, enquanto mantém seus dados no formato Iceberg. Isso inclui, por exemplo, a capacidade de usar o Delta Share Views para controle de acesso refinado, que não tem suporte nativo pela API IRC do Iceberg.

Com esta versão prévia privada, o Databricks Lakehouse está aberto em ambas as direções. Seu Lakehouse pode compartilhar e receber dados do crescente ecossistema Iceberg.

Essa capacidade dupla oferece a você:

• Colaboração simples: trabalhem juntos, independentemente do formato de tabela aberta que vocês usam (Delta ou Iceberg).
• Compartilhamento governado: o Unity Catalog controla o acesso e fornece logs de auditoria.
• Maior alcance: Compartilhe dados como provedor e destinatário, quebrando as barreiras da plataforma.

Como funciona?

Imagine que sua empresa, a Provider Corp, use o Databricks e o Delta Lake para gerenciar dados de clientes. Você precisa compartilhar com segurança uma lista diária de vendas de produtos com a Partner Inc, que usa o Snowflake e prefere o formato Iceberg.

Antes deste recurso: a Provider Corp teria que exportar os dados manualmente, transformá-los em um formato legível pelo Snowflake, carregá-los no armazenamento em nuvem do parceiro e configurar um trabalho de sincronização complexo. Isso é lento, caro, envolve uma sobrecarga administrativa significativa e corre o risco de os dados se tornarem desatualizados.

Com o Delta Sharing para clientes Iceberg:

1. A Provider Corp habilita leituras do Iceberg em dados de vendas via UniForm (isso pode incluir tabelas Delta gerenciadas e externas, views, materialized views e streaming tables) e os compartilha via Delta Sharing. Isso fornece acesso em tempo real, sem necessidade de duplicação ou reingestão.
2. A Partner Inc configura uma conexão simples no Snowflake usando as credenciais fornecidas para autenticação segura por meio de bearer tokens de curta duração.
3. Os analistas da Partner Inc podem fazer query imediatamente a tabela compartilhada usando SQL padrão, tratando-a como uma tabela Iceberg nativa em seu ambiente Snowflake.
4. Os dados que eles veem estão sempre em tempo real (zero-copy), e a Provider Corp mantém total segurança e governança com auditoria e monitoramento usando o Unity Catalog.

Isso torna o compartilhamento de dados instantâneo, seguro e totalmente independente de formato.

Demo

Confira esta demonstração que percorre os passos para compartilhar uma tabela e lê-la no Snowflake. 

1. Compartilhe a tabela via Delta Sharing, gerando credenciais para o destinatário.​
2. O destinatário faz o download do arquivo de credenciais, faz o upload na página do link de ativação e gera o SQL. O SQL gerado incluirá todas as credenciais necessárias, bem como as referências de catálogo e tabela exigidas pelo cliente Iceberg (por exemplo, Snowflake).
3. Depois de concluído, o destinatário pode executar queries imediatamente nos dados compartilhados em tempo real como se fossem nativos da sua plataforma — sem necessidade de ingestão manual ou cópias.

Passos seguintes

• Experimente a Public Preview do Delta Sharing para clientes Iceberg diretamente no produto agora — consulte a documentação da Databricks e a UI do seu workspace para obter guias e recursos.
• Se você tiver interesse em participar da Visualização Privada do Compartilhamento de Tabelas Externas do Iceberg ou em saber mais sobre a interoperabilidade total com o Iceberg, entre em contato com sua equipe de contas da Databricks.

Comece agora

• Leia a documentação do Delta Sharing para começar a usar o Delta Sharing
• Assista a Delta Sharing em Ação: arquitetura e melhores práticas do Data and AI Summit 2025
• Assista ao Garantindo a colaboração de dados: um mergulho profundo em segurança, frameworks e casos de uso do Data and AI Summit 2025 para saber mais sobre a segurança, o framework e os casos de uso do Delta Sharing

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original