Ir para o conteúdo principal
Produto

As 10 principais perguntas frequentes sobre o Delta Sharing respondidas – Parte 1

Obtenha respostas para as suas 10 principais perguntas sobre o Delta Sharing, o protocolo de compartilhamento aberto mais amplamente adotado

por Bilal Obeidat, Akram Chetibi, Tia Chang, Darshana Sivakumar e Harish Gaur

  • O Delta Sharing permite que você compartilhe dados em tempo real e ativos de AI sem copiar arquivos, eliminando a duplicação e garantindo que os destinatários sempre tenham as informações mais recentes.
  • Você pode compartilhar tabelas, views, streams, notebooks, modelos, etc., e qualquer pessoa pode extrair os dados com ferramentas do dia a dia, como Python, Spark, Power BI.
  • Ele está crescendo rapidamente (300% YoY) e 40% dos seus compartilhamentos ativos são com usuários fora do ecossistema Databricks, provando que funciona como um protocolo de compartilhamento de dados aberto e multiplataforma.

O Delta Sharing evoluiu para OpenSharing, o primeiro protocolo aberto e neutro em relação a fornecedores para compartilhar com segurança ativos de IA, incluindo Agent Skills, modelos de IA e dados não estruturados. Leia o anúncio.

O Delta Sharing está apresentando um ritmo incrível, com um crescimento de 300% ano a ano em compartilhamentos ativos. Isso não se trata apenas de transferências de arquivos pontuais; representa uma colaboração contínua e sustentada que prova que um valor real está sendo trocado.

Um fator essencial para esse crescimento é a filosofia aberta da plataforma. O Delta Sharing permite que os clientes compartilhem qualquer ativo de dados e IA, com qualquer pessoa, sem nenhuma fricção. 40% dos compartilhamentos ativos do Delta Sharing são com destinatários fora do ecossistema Databricks. Isso demonstra que o Delta Sharing está impulsionando um ecossistema de colaboração aberto que abrange várias plataformas e nuvens.

Neste post, reunimos as 10 principais perguntas que as pessoas fazem sobre o Delta Sharing. Continue lendo para obter uma visão geral, entender por que ele é diferente, quais são os casos de uso mais comuns e o que você precisa para começar.

1. O que é o Delta Sharing?

Delta Sharing é o protocolo aberto mais amplamente adotado para compartilhamento seguro de dados. Ele permite que as organizações troquem dados em tempo real e ativos de IA entre plataformas e nuvens.

Delta Sharing

2. O que torna o Delta Sharing diferente?

A maioria das ferramentas de compartilhamento força você a copiar dados para um novo destino, criando silos desatualizados e expandindo sua superfície de ataque. O Delta Sharing permite ler dados em tempo real diretamente na origem, de modo que não há nada para mover ou duplicar.

Em segundo lugar, como o Delta Sharing é open source, ele não está vinculado a um único ecossistema. Você pode compartilhar a partir do seu lakehouse Databricks ou de outro lugar, e os destinatários podem consumir os dados independentemente de usarem o Databricks ou não.

Por fim, os destinatários se conectam por meio de conectores abertos e padrão: Python, Apache Spark, Java, Power BI e muito mais, para ler as tabelas compartilhadas que você autorizar.

Juntos, esses recursos fazem com que o Delta Sharing ofereça uma colaboração independente de plataforma para dados e IA entre equipes, ferramentas e nuvens. Você pode trabalhar sem lock-in, sem cópias e sem lacunas de governança.

3. O Delta Sharing funciona com o Iceberg? Se eu usar o Apache Iceberg, como posso aproveitar o Delta Sharing?

Sim, o Delta Sharing é totalmente compatível com o Apache Iceberg. Ao escolher o Delta Sharing, você obtém o melhor dos dois mundos: acesso ao ecossistema de colaboração mais amplo, com o Apache Iceberg funcionando perfeitamente como sua origem e destino de dados, enquanto aproveita todo o poder do Delta Sharing.

O Delta Sharing torna o compartilhamento uma primitiva de primeira classe no Iceberg. Com recursos exclusivos, como a federação de tokens OIDC, que permite que destinatários abertos se autentiquem com IdPs personalizados, e o Network Gateway, que simplifica e dimensiona a configuração de rede, os clientes desbloqueiam a interoperabilidade total entre formatos de tabela.

As tabelas gerenciadas no Unity Catalog agora podem ser compartilhadas com clientes do Iceberg, como Snowflake, Trino e Spark. Além disso, tabelas externas do Iceberg gerenciadas por catálogos como Hive Metastore ou AWS Glue podem ser federadas no Unity Catalog e, em seguida, compartilhadas por meio do mesmo protocolo. Em ambos os casos, você registra as tabelas no Unity Catalog, cria um compartilhamento e adiciona os destinatários relevantes, estejam eles no Databricks ou fora dele. Isso garante que os usuários do Iceberg possam colaborar com os clientes do Databricks usando dados ativos e governados — sem movê-los ou duplicá-los.

4. Posso usar o Delta Sharing para compartilhar dados com usuários que não são clientes da Databricks?

Sim, você pode compartilhar dados com todos os seus destinatários, independentemente de usarem o Databricks ou qualquer outra plataforma. O Delta Sharing é um protocolo aberto que funciona tanto para compartilhamento de Databricks para Databricks quanto para o Open Sharing. O Delta Sharing fornece conectores abertos que os destinatários podem usar em qualquer plataforma, incluindo um conector Apache Spark, um conector Pandas, um conector Iceberg Rest Catalog, bem como conectores PowerBI, Tableau e Excel. O compartilhamento aberto permite que você compartilhe não apenas tabelas, mas também views, partições e change data feeds, permitindo otimizar sua experiência de compartilhamento de dados mesmo ao compartilhar externamente.

5. Por que usar o Delta Sharing? Quais problemas ele resolve?

Analisamos como milhares de clientes estão usando o Delta Sharing e encontramos quatro maneiras principais pelas quais ele realmente faz a diferença para os seus negócios.

Caso de usoDescriçãoExemplo de cliente/parceiro
Compartilhamento internoEliminação de silos de dados dentro de uma empresa, entre unidades de negócios e nuvens.A Mercedes-Benz o utiliza para criar um data mesh unificado para suas equipes globais.
Compartilhamento ponto a ponto (Peer-to-Peer)Colaboração segura com parceiros, fornecedores e clientes.A Procore oferece aos clientes acesso direto a dados críticos de projetos para fins de analytics.
Licenciamento de dados de terceirosLicenciamento e integração de dados externos e modelos de IA.A S&P Global disponibiliza seus conjuntos de dados de inteligência de mercado no Databricks Marketplace
Compartilhamento de aplicativos SaaSConexão a dados bloqueados em vários aplicativos SaaS.O Oracle Autonomous Database — junto com o Oracle Fusion Data Intelligence — agora pode compartilhar dados de forma segura e contínua com o Databricks e outras plataformas

Why use Delta Sharing

6. Se eu já compartilho dados usando SFTP, S3, Dropbox ou e-mail, por que precisaria do Delta Sharing?

Se você ainda compartilha dados por meio de SFTP, S3, Dropbox ou e-mail, está expondo sua organização a riscos e ineficiências desnecessários. Veja o que aconteceu com a Finastra, onde invasores exploraram uma vulnerabilidade do SFTP para roubar cerca de 400 GB de dados confidenciais.

Esses métodos antigos podem até funcionar, mas são ultrapassados e frágeis. Você acaba copiando arquivos inteiros, lidando com senhas estáticas ou chaves que nunca expiram e criando inúmeras cópias fora de sincronia que abrem grandes lacunas de segurança e conformidade. O Delta Sharing substitui tudo isso por uma abordagem moderna, segura e auditável. Você pode compartilhar apenas as tabelas, linhas ou colunas específicas de que alguém precisa (além de modelos de IA), e a pessoa que acessa os dados sempre vê a versão mais recente, pois não há nenhuma cópia extra solta por aí.

A segurança também é mais rígida. Em vez de distribuir senhas estáticas ou chaves de acesso, o Delta Sharing distribui tokens de curta duração e pode se integrar ao sistema de identidade que você já usa, para que você nunca precise gerenciar um conjunto separado de credenciais. Cada vez que alguém visualiza os dados, a ação é registrada no Unity Catalog, o que facilita muito a auditoria e a conformidade.

Se você leva a sério a proteção de dados confidenciais e a simplificação da colaboração, o Delta Sharing não é apenas um recurso "bom de se ter"; ele é o requisito básico para a troca segura de dados hoje em dia.

Confira Como a Kythera Labs, uma parceira Built-On Databricks, economiza mais de US$ 2 milhões por ano usando o Delta Sharing

Kythera Labs economiza mais de US$ 2 milhões por ano usando o Delta Sharing

7. Que tipos de ativos posso compartilhar usando o Delta Sharing?

Você pode compartilhar quase qualquer tipo de dado ou ativo de AI com o Delta Sharing, e essa amplitude é bastante única. Isso inclui tabelas (e partições de tabelas), streaming tables, tabelas Iceberg gerenciadas, schemas e tabelas estrangeiras, views (incluindo views dinâmicas para filtragem de linha/coluna), views materializadas, volumes, notebooks e modelos de AI. Se você compartilhar um schema (banco de dados) inteiro, tudo o que estiver nele (tabelas, views, volumes, modelos) será compartilhado imediatamente, e quaisquer novos ativos adicionados posteriormente também ficarão disponíveis para os destinatários. Todos esses ativos estão vinculados a um único Unity Catalog metastore, mantendo o compartilhamento limpo e organizado.

Ativos do Delta Sharing

8. Como o Delta Sharing mantém os dados seguros quando um provedor os compartilha com um destinatário?

O Delta Sharing usa uma abordagem zero-trust baseada em token. Quando alguém solicita dados, o servidor de compartilhamento verifica o Unity Catalog e, em seguida, fornece um token somente leitura de curta duração ou uma URL pré-assinada que aponta diretamente para o armazenamento — de modo que nenhuma senha permanente jamais saia do provedor. Todo o tráfego é protegido por criptografia TLS, e cada solicitação é registrada para auditoria. No cenário Databricks-to-Databricks, o handshake é tratado automaticamente; usuários externos podem se autenticar com arquivos de credenciais simples ou federação OIDC, mas o mesmo modelo de token temporário, criptografado e totalmente auditado se aplica. Isso garante que apenas as pessoas certas possam ver os dados certos, e apenas por um tempo limitado. Leia Como o Delta Sharing permite a colaboração segura de ponta a ponta para uma análise detalhada.

9. Isso parece ótimo. Quais são as implicações de custo ao usar o Delta Sharing?

Começar a usar o Delta Sharing não custa nada — não há cobrança para definir, configurar ou compartilhar um conjunto de dados ou modelo de AI. Você só verá uma cobrança quando alguém realmente consultar os dados e, mesmo assim, as taxas são divididas em três partes claras.

Primeiro, o custo de computação (o poder de processamento necessário para executar a consulta) geralmente é pago pela pessoa que faz a consulta, embora o proprietário dos dados possa optar por cobri-lo se isso fizer mais sentido.

Segundo, há o custo de egress para mover dados para fora da nuvem do provedor; o modo R2 mais recente (agora em GA) oferece até mesmo uma opção de "egress zero", para que você possa evitar totalmente essa cobrança.

Terceiro, o custo de armazenamento só importa se você decidir manter uma cópia replicada — o acesso dinâmico e em tempo real não exige espaço extra.

Aqui está um exemplo de compartilhamento Databricks para Databricks: imagine que um fornecedor na AWS compartilhe uma view materializada com um varejista no Azure. Quando os dados são compartilhados, o fornecedor paga o egress pelos dados que saem da AWS e, quando o varejista executa uma consulta nos dados compartilhados, o varejista paga a computação pela consulta.

10. O que preciso para começar a usar o Delta Sharing?

Os requisitos dependem se você está compartilhando com um destinatário Databricks ou com um destinatário que não usa o Databricks.

O compartilhamento externo deve estar habilitado, e as organizações devem acompanhar a governança e os possíveis custos de egress entre nuvens.

Pronto para começar?

Fique atento à próxima série de perguntas, onde exploraremos tópicos como segurança, como o Delta Sharing impulsiona produtos como Clean Rooms e o Databricks Marketplace, além de outros recursos avançados.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original

Receba os posts mais recentes na sua caixa de entrada

Assine nosso blog e receba os posts mais recentes diretamente na sua caixa de entrada.