Novidades sobre Compartilhamento de Dados e Colaboração - Verão 2025

Na Databricks, nosso objetivo é tornar os dados e a IA acessíveis a todos, não apenas dentro de uma única organização, mas também além das fronteiras organizacionais. Três componentes da Plataforma Databricks são essenciais para possibilitar o compartilhamento e a colaboração. Primeiro, nosso protocolo aberto Delta Sharing permite que os clientes compartilhem de forma segura dados e ativos de IA entre nuvens e plataformas, quebrando silos e impulsionando a inovação. Em segundo lugar, o Marketplace Databricks serve como uma plataforma aberta para todas as suas necessidades de dados e IA, apresentando parceiros líderes que fornecem dados e ativos de IA nativamente dentro da Databricks. Por fim, os Clean Rooms da Databricks possibilitam a colaboração centrada na privacidade para empresas em qualquer plataforma de nuvem.

No Data + AI Summit 2025, estamos avançando na forma como as organizações compartilham e colaboram com dados e IA. Com novos recursos e um ecossistema de parceiros expandido, estamos facilitando o compartilhamento seguro de ativos e o trabalho em várias plataformas. Aqui está o que há de novo e por que isso importa em Delta Sharing, Clean Rooms e Marketplace.

Inovações do Delta Sharing para interoperabilidade e simplificação

Delta Sharing permite o compartilhamento seguro de dados entre plataformas, independentemente da nuvem, plataforma ou região. Estamos expandindo as capacidades de compartilhamento de dados com novos recursos que suportam casos de uso mais amplos e reduzem a complexidade da troca de dados entre diferentes ecossistemas.

Colaboração externa de dados com Apache Iceberg™ e Delta Sharing

As organizações hoje geralmente trabalham com vários formatos de tabela - mais comumente Delta Lake e Apache Iceberg. A Databricks oferece o suporte mais abrangente e completo para compartilhamento de dados, independentemente do formato que você usa.

Com o Delta Sharing, você agora tem total interoperabilidade com Iceberg:

• Compartilhamento entre plataformas para qualquer motor compatível com Iceberg, permitindo que os provedores de dados alcancem seus clientes em plataformas como AWS ou Snowflake.
• Os provedores de dados agora podem usar o Delta Sharing para compartilhar Iceberg Tables como qualquer outro ativo UC, tanto dentro do Databricks quanto além (Visualização Pública)

Esses recursos tornam o Delta Sharing o protocolo aberto de compartilhamento de dados de maior alcance, eliminando a necessidade de duplicação de dados ou conversão de arquivos. Se você está interessado em experimentar esse recurso, inscreva-se para a Visualização Privada aqui.

Gateway da Rede de Compartilhamento Delta: Compartilhamento de Lakehouse Aberto com Configuração de Rede sem interrupções

Os provedores de dados querem manter uma única cópia de seus dados em um formato aberto - mas também querem que os clientes externos acessem facilmente ao vivo - diretamente da fonte. Essa abordagem muitas vezes criava complexidade relacionada a regras de firewall e configurações de rede. O novo Delta Sharing Network Gateway remove esse ônus. Os provedores de dados agora podem compartilhar com os destinatários com configuração manual mínima de rede. Ele suporta tanto o armazenamento gerenciado pelo cliente (por exemplo, ADLS e S3) quanto o armazenamento padrão do Databricks. Se você está interessado em experimentar esse recurso, inscreva-se para a Visualização Privada.

Delta Sharing com o menor TCO: Tabelas de Streaming e Visualização Materializada

Compartilhamento de tabela de streaming e visualização materializada (MV/ST), que estava anteriormente em Visualização Pública, se tornará geralmente disponível nas próximas semanas. Isso permite que os provedores de dados criem e compartilhem de maneira eficiente visualizações voltadas para o cliente dos dados usando Visualizações Materializadas e Tabelas de Streaming.

Governança Detalhada de Compartilhamentos usando Controles de Acesso Baseados em Atributos

O suporte ABAC (Controle de Acesso Baseado em Atributos) do Delta Sharing permite que os provedores apliquem de forma segura políticas de acesso a dados refinados ao compartilhar dados, garantindo que as informações sensíveis estejam protegidas enquanto possibilita uma ampla colaboração de dados. O destinatário também pode usar o ABAC nas tabelas recebidas, permitindo que eles governem o acesso a dados externos dentro de sua própria organização. O Beta para este recurso estará disponível nos próximos meses.

OIDC Token Federation

Estamos animados para apresentar a Disponibilidade Geral de Federação de Tokens OIDC para Segurança Avançada do Delta Sharing. Os provedores de dados podem compartilhar dados de forma segura com usuários não-Databricks em qualquer plataforma de computação que prefiram autenticar usando um Provedor de Identidade (IdP) personalizado, como Azure Entra ID ou Okta.

Salas Limpas: Colaboração com foco na privacidade, agora no GCP e com recursos expandidos.

Alimentado por Delta Sharing, Databricks Clean Rooms permite que as empresas colaborem de forma segura com parceiros e clientes, sem expor dados brutos. No DAIS 2025, estamos introduzindo três grandes atualizações:

Resolução de identidade centrada na privacidade: Ao unir ativos de dados distintos, os clientes muitas vezes precisam converter dados PII em um identificador compartilhado comum para garantir que entidades relacionadas em conjuntos de dados possam ser vinculadas, mesmo sem correspondências exatas. Ao permitir que a resolução de identidade ocorra no local dentro dos Databricks Clean Rooms, as organizações podem colaborar de forma segura sem precisar expor dados pessoais brutos a provedores de identidade de terceiros.

Agora Disponível no Google Cloud (GA): Os clientes agora podem implantar Clean Rooms no GCP, possibilitando a colaboração segura com parceiros em AWS, Azure e outras plataformas. Isso apoia nossa abordagem de colaboração “em qualquer nuvem, em qualquer plataforma”, sem exigir a movimentação de dados.

Colaboração Multi-party: Clean Rooms agora suporta vários colaboradores em uma única sala. Anteriormente, cada sala limpa era efetivamente apenas para duas partes; agora você pode convidar até 9 outras organizações (ou seja, 10 no total). Esses colaboradores podem estar em diferentes nuvens, regiões ou plataformas de dados, mas trabalham juntos em um ambiente central. Isso desbloqueia "Qualquer escala, qualquer nível de confiança" e suporta colaborações de muitos para muitos com controles de acesso refinados e orquestração.

Execute seus próprios Notebooks: Os Clean Rooms agora suportam execuções seguras autônomas, permitindo que os colaboradores façam upload e executem seus próprios notebooks pela primeira vez, apenas com a aprovação explícita de outros participantes do clean room. Anteriormente, os notebooks só podiam ser executados pela outra parte, com aprovação implícita ao clicar no botão de execução.

Leia este blog para mais informações e demonstrações detalhadas.

Expansão do Databricks Marketplace e do Ecossistema de Compartilhamento

Databricks está ampliando o alcance de seu ecossistema aberto, acolhendo parceiros para construir soluções de compartilhamento de dados, expandindo parcerias existentes para novas capacidades e avançando parcerias tecnológicas que ajudam os clientes conjuntos a compartilhar de forma transparente entre as plataformas.

No Data and AI Summit 2025, temos orgulho de destacar vários novos parceiros que se juntam ao ecossistema em crescimento:

• SAP (em breve): Os clientes poderão acessar dados empresariais da Nuvem de Dados de Negócios (BDC) da SAP diretamente no Databricks, sem ferramentas ETL de terceiros. Esta integração usa o Delta Sharing para fornecer acesso a dados em tempo real sem replicação de dados, reduzindo tempo e custo.
• S&P Global Market Intelligence: A S&P Global Market Intelligence agora oferece seus conjuntos de dados Capital IQ Pro no Databricks Marketplace via Delta Sharing. Os usuários podem acessar dados financeiros, estimativas, dados ESG e mais - instantaneamente, de forma segura e sem movimentação de dados.
• FactSet: Uma fonte confiável de inteligência financeira, a FactSet traz dados econômicos, de mercado e de nível empresarial de alta qualidade para o Marketplace do Databricks, permitindo que profissionais de investimento e risco acelerem o tempo para obter insights em diferentes casos de uso.
• IAS (em breve): A Integral Ad Science (IAS) agora oferece conjuntos de dados de qualidade de mídia no Databricks Marketplace via Delta Sharing. Os usuários do Databricks podem aproveitar os insights da IAS para melhor segmentação, otimização e desempenho, sem duplicar ou mover dados.
• Infor Nexus: Infor Nexus agora oferece conjuntos de dados de rede de negócios de cadeia de suprimentos através do Delta Sharing, permitindo que as empresas combinem dados empresariais e de rede para melhor alinhar o planejamento e as operações com as realidades atuais.
• Magnite (em breve): Magnite, a maior plataforma de publicidade independente do lado da venda do mundo, agora oferece ativação de publicidade no Marketplace Databricks via Delta Sharing, permitindo que editores e anunciantes compartilhem, ativem e meçam dados em todas as telas.
• Crunchbase: A Crunchbase fornece inteligência preditiva e dados históricos sobre empresas privadas, dando aos investidores, analistas e negociadores a vantagem de serem os primeiros a descobrir e agir sobre oportunidades no mercado privado.
• SambaTV (em breve): Samba TV, líder global em inteligência de mídia impulsionada por IA, agora está disponível no Marketplace do Databricks através do Delta Sharing, facilitando para marcas, agências e editores acessar insights em tempo real, direcionamento de público e ferramentas de medição alimentadas por dados de TV e web de primeira parte - ajudando-os a alcançar e envolver o público em todas as telas com precisão.

O Futuro da Colaboração de Dados

Na Databricks, continuamos comprometidos em estabelecer o padrão para colaboração aberta de dados , permitindo que as organizações compartilhem qualquer ativo com qualquer pessoa em qualquer plataforma. À medida que continuamos a inovar com Delta Sharing, Clean Rooms e o Marketplace Databricks, nosso objetivo é tornar mais fácil do que nunca colaborar em dados de forma segura e em escala.

O que vem a seguir?

Estamos animados para que você explore esses novos recursos e como eles podem transformar a maneira como sua organização colabora com os dados.

(This blog post has been translated using AI-powered tools) Original Post