Anúncio da disponibilidade geral do Delta Sharing

Hoje, temos o prazer de anunciar que o Delta Sharing está em disponibilidade geral (GA) na AWS e no Azure. Com o lançamento GA, você pode esperar o mais alto nível de estabilidade, suporte e prontidão empresarial da Databricks para cargas de trabalho de missão crítica na Databricks Lakehouse Platform.

Neste blog, exploramos como as organizações aproveitam o Delta Sharing para maximizar o valor de negócio de seus dados, alguns dos principais recursos disponíveis na versão GA e como começar a usar o Delta Sharing na plataforma Databricks Lakehouse.

Clientes saem ganhando com o padrão aberto para compartilhamento de dados do lakehouse

O compartilhamento de dados tornou-se importante na economia digital, pois as empresas procuram trocar dados com facilidade e segurança com seus clientes, parceiros, fornecedores e linhas de negócios (LOBs) internas para colaborar melhor e extrair valor desses dados. Mas a falta de um protocolo de compartilhamento de dados baseado em padrões resultou em soluções vinculadas a um único fornecedor ou produto comercial, introduzindo riscos de dependência de fornecedor. Esses desafios dos clientes nos levaram, na Databricks, a criar uma solução aberta de compartilhamento de dados, o Delta Sharing.

O Delta Sharing da Databricks é uma solução aberta para compartilhar com segurança dados em tempo real de seu lakehouse para qualquer plataforma de computação. Os destinatários dos dados não precisam estar na Databricks Lakehouse Platform, na mesma nuvem ou em qualquer nuvem. Os provedores de dados podem compartilhar conjuntos de dados existentes em grande escala com base nos formatos Apache Parquet ou Delta Lake, sem replicar ou copiar conjuntos de dados para outro sistema. Os destinatários dos dados se beneficiam por ter sempre acesso à versão mais recente dos dados com a capacidade de query, visualizar, transformar, ingerir ou enriquecer os dados compartilhados com as ferramentas de sua preferência, reduzindo o tempo para gerar valor. Como a governança e a segurança são as principais preocupações para muitas organizações, o Delta Sharing é integrado nativamente com o Unity Catalog, permitindo que você gerencie, governe, audite e monitore o uso dos dados compartilhados em uma única plataforma.

Desde o lançamento do Delta Sharing na versão prévia privada no ano passado, centenas de clientes adotaram o Delta Sharing e, hoje, petabytes de dados são compartilhados por meio do Delta Sharing.

Nasdaq: "O Delta Sharing nos ajudou a otimizar nosso processo de entrega de dados para grandes conjuntos de dados. Isso permite que nossos clientes tragam seu próprio ambiente de compute para ler dados novos e selecionados com pouco ou nenhum trabalho de integração, e nos permite continuar expandindo nosso catálogo de produtos de dados exclusivos e de alta qualidade" - William Dague, Head de Dados Alternativos

Shell: "Reconhecemos que a abertura de dados desempenhará um papel chave para alcançar as ambições da Shell de emissões líquidas zero de carbono. O delta compartilhamento fornece à shell um protocolo padrão, controlado e seguro para compartilhar facilmente grandes volumes de dados com nossos parceiros para trabalhar em prol desses objetivos, sem exigir que nossos parceiros estejam na mesma plataforma de compartilhamento de dados" - Bryce Bartmann, Consultor Chefe de tecnología digital

SafeGraph: "Como uma empresa de dados, é fundamental que nossos clientes tenham acesso aos nossos conjuntos de dados. A plataforma Databricks Lakehouse com o Delta Sharing realmente simplifica esse processo, permitindo que alcancemos com segurança uma base de usuários muito mais ampla, independentemente da cloud ou da plataforma" - Felix Cheung, VP de Engenharia

“Com o Delta Sharing, nossos clientes têm acesso a conjuntos de dados selecionados quase instantaneamente e podem integrá-los às ferramentas analíticas de sua escolha. As conversas com nossos clientes estão ficando mais ricas: discussões de alto nível sobre análises substituem as sessões técnicas de perguntas e respostas sobre a ingestão de dados e nos permitem criar experiências bem-sucedidas para os clientes. Nosso relacionamento com os clientes está mudando. Estamos nos esforçando para fornecer novos conjuntos de dados e atualizar os existentes por meio do Delta Sharing para manter os clientes a par das principais tendências em seus setores.” — Anup Segu, tech lead de engenharia de dados

“Com os poderosos recursos do Delta Sharing da Databricks, a Pumpjack Dataworks tem uma experiência de onboarding mais suave. Não precisamos mais exportar, importar e remodelar os dados: para nossos clientes, isso é um valor agregado imediato. "Resultados mais rápidos geram maiores oportunidades comerciais para nossos clientes e seus parceiros" - Corey Zwart, Diretor de Tecnologia

O que há de novo no Delta Sharing com o GA?

Embora o Delta Sharing tenha uma série de recursos incríveis na versão GA, abaixo estão alguns dos key recursos que estamos lançando com esta versão:

Compartilhamento integrado do Databricks para o Databricks

Para clientes da Databricks, o Delta Sharing torna o compartilhamento de dados no lakehouse extremamente simples, eficiente e seguro. Com apenas alguns cliques na UI ou comandos SQL, os provedores de dados podem compartilhar facilmente seus dados existentes com destinatários no Databricks, sem replicar os dados. Por exemplo, um provedor de dados que usa o Databricks na AWS pode compartilhar dados existentes com um destinatário que usa o Databricks no Azure, ou vice-versa. Você pode explorar o guia do usuário para obter todos os detalhes. No compartilhamento de Databricks para Databricks, o provedor de dados não precisa gerenciar credenciais de token para destinatários que usam o Databricks; a conexão de compartilhamento é estabelecida de forma segura por meio da plataforma Databricks. Tudo o que você precisa é de uma account do Databricks para fazer login e o resto fica por conta da plataforma. Além do compartilhamento de dados entre contas, outro caso de uso importante é o compartilhamento interno de dados. Se você tiver vários metastores do Unity Catalog na mesma conta em regiões diferentes, poderá compartilhar dados facilmente entre esses metastores usando o Delta Sharing, sem copiar nenhum dado. Exemplo de fluxo de trabalho SQL da perspectiva de um provedor de dados:

Exemplo de fluxo de trabalho SQL da perspectiva de um destinatário de dados:

Compartilhamento do Feed de Dados de Alteração

O Delta Sharing agora oferece suporte ao compartilhamento do Change Data Feed (CDF). Além de compartilhar uma tabela, um provedor de dados pode optar por incluir o CDF da tabela, permitindo que os destinatários consultar as alterações entre versões ou Timestamps específicos da tabela. Com este recurso, os destinatários podem query apenas os novos dados ou as alterações incrementais em vez da tabela inteira a cada vez. Um provedor de dados pode compartilhar facilmente uma tabela com CDF, e um destinatário de dados pode query as alterações da tabela com uma sintaxe simples:

Recursos de segurança aprimorados

No lançamento GA do Delta Sharing, também incluímos um conjunto de recursos de segurança para tornar o compartilhamento ainda mais seguro. Um exemplo desses recursos de segurança é a Lista de Acesso por IP. Os provedores de dados agora podem configurar uma lista de acesso por IP para cada um de seus destinatários usando conectores abertos. Isso garante que o download de credenciais e o acesso a dados só possam ser iniciados a partir do endereço IP de destino. Também adicionamos mais algumas permissões relacionadas ao Delta Sharing (por exemplo, CREATE SHARE, CREATE RECIPIENT) e introduziu o conceito de proprietário para objetos do Delta Sharing, como Share e Recipient. Com essas primitivas, o Delta Sharing na Databricks oferece um modelo de controle de acesso mais flexível, e usuários não administradores também podem realizar operações de compartilhamento.

Começando com o Delta Sharing no Databricks

Assista à demonstração abaixo para saber mais sobre como o Delta Sharing pode ajudar você a compartilhar dados em tempo real do seu lakehouse de forma transparente para qualquer plataforma de computação.

Se você já é cliente da Databricks, siga o guia para começar (AWS | Azure). Leia as notas sobre a versão para saber mais sobre o que está incluído nesta versão GA. Se você não for um cliente da Databricks, inscreva-se para um trial grátis com um workspace Premium ou Enterprise.