Anunciando a Public Preview do compartilhamento de views multiplataforma

Temos o prazer de anunciar a Public Preview do compartilhamento de views multiplataforma. Disponível hoje, ele permite que os provedores de dados compartilhem views em diferentes plataformas, nuvens e regiões, promovendo um ecossistema de dados aberto e interoperável.

O compartilhamento de views tem sido útil; outros fornecedores também o fazem. Mas, até agora, limitava-se principalmente à mesma plataforma. Você podia compartilhar views dentro de uma plataforma, mas não em várias plataformas e nuvens. O Databricks resolve esse problema com o compartilhamento de views multiplataforma e permite que você compartilhe views perfeitamente em diferentes ambientes. Isso muda o jogo porque expande o alcance dos provedores de dados e evita o aprisionamento de fornecedor (vendor lock-in) para os consumidores de dados, tornando a colaboração mais fácil e rápida.

O compartilhamento multiplataforma alinha-se com a visão de compartilhamento aberto do Databricks, permitindo a troca de dados segura e contínua em diferentes plataformas, nuvens e regiões

Entendendo o compartilhamento de views

Para entender o compartilhamento de views, vamos primeiro entender as views. No Databricks, as views são representações somente leitura de dados criados a partir de tabelas ou outras views. Elas armazenam o texto da consulta, mas não os dados em si. As views fazem parte do Unity Catalog

O compartilhamento de views permite que os usuários compartilhem views usando o protocolo Delta Sharing. O Delta Sharing é o primeiro protocolo aberto do setor para compartilhamento seguro de dados, simplificando o compartilhamento de dados com outras organizações, independentemente de quais plataformas de dados elas usem. O compartilhamento de views promove a reutilização e reduz a redundância, pois vários usuários podem acessar e utilizar as mesmas views para análise.

Anteriormente, quando uma view era compartilhada entre contas do Databricks, os consumidores podiam consultá-la usando apenas o Databricks Serverless SQL. O Databricks Serverless SQL funciona nos três principais provedores de nuvem: AWS, Azure e Google Cloud Platform (GCP), de modo que as views podiam ser compartilhadas entre nuvens.

Agora, com o compartilhamento de views multiplataforma, os consumidores de dados podem aproveitar qualquer tipo de cluster do Databricks ou até mesmo utilizar clientes abertos do Delta Sharing para acessar e consultar views compartilhadas. Os clientes abertos do Delta Sharing são ferramentas ou plataformas que oferecem suporte ao protocolo Delta Sharing, permitindo que os usuários acessem views compartilhadas sem a necessidade de usar o Databricks. Esses clientes incluem sistemas populares como Apache Spark™, Pandas, Power BI, Tableau e outros. Isso torna possível para usuários em outras plataformas, ou seja, que não estão no Databricks, ainda assim acessarem e consultarem as views compartilhadas via Delta Sharing.

Vamos dar uma olhada nesta demonstração para ver o compartilhamento de views multiplataforma em ação

Casos de uso

Compartilhamento Databricks para Databricks (D2D)

Nesse cenário, dois clientes do Databricks podem compartilhar views de forma contínua dentro do ecossistema do Databricks. Por que isso é importante? As organizações colaboram com parceiros que podem estar em nuvens e regiões diferentes e desejam compartilhar views com clientes/parceiros em várias nuvens e regiões. Ao aproveitar a tecnologia Delta Sharing, eles podem compartilhar views de forma contínua e segura, sem fazer cópias duplicadas dos dados.

Compartilhamento Databricks para Aberto (D2O)

Nesse cenário, os clientes do Databricks podem compartilhar views com destinatários externos que não usam o Databricks. O compartilhamento de views multiplataforma oferece suporte a conectores abertos (como Apache Spark™, Pandas, Power BI, Tableau, etc.), permitindo que os destinatários acessem as views compartilhadas por meio do protocolo Delta Sharing. Essa capacidade é particularmente benéfica para analistas de negócios e usuários de linhas de negócios que necessitam de acesso simplificado aos dados sem precisar interagir diretamente com plataformas de dados complexas.

Os provedores de dados do Databricks Marketplace se beneficiam do compartilhamento de views multiplataforma ao expandir significativamente seu alcance de mercado e oportunidades de monetização. Essa capacidade permite que eles compartilhem views com um público mais amplo, incluindo clientes que não usam o Databricks, aumentando assim sua base de clientes potenciais. Os consumidores de dados não estão limitados a consultar views da plataforma Databricks, evitando o lock-in com o Databricks.

O compartilhamento de views multiplataforma muda o jogo para os nossos clientes. Trazer o compartilhamento de dados com cópia zero (zero-copy) para empresas complexas em escala exige flexibilidade. A capacidade de compartilhar views entre plataformas nos permite oferecer os benefícios de segurança e desempenho do Delta Sharing para mais clientes, ajudando-os a extrair valor de seus dados de clientes com mais rapidez—Derek Slager, CTO e cofundador da Amperity

O que vem pela frente

Nos próximos meses, os leitores podem esperar que o Databricks apresente vários recursos avançados de compartilhamento de dados. Os próximos recursos incluem o Sharing for Lakehouse Federation, que permite que os provedores de dados compartilhem dados diretamente de várias plataformas (por exemplo, Amazon Redshift, Azure Synapse, Google BigQuery, Snowflake) sem a necessidade de replicação.

Além disso, o suporte a OAuth para D2O aumentará a segurança, permitindo que os destinatários se autentiquem usando tokens OAuth de seus provedores de identidade (IdPs) confiáveis. Além disso, o compartilhamento de views materializadas e Delta Live Tables permitirá a distribuição eficiente de resultados de consultas pré-computados e dados de streaming, fornecendo dados atualizados com melhor desempenho e custos mais baixos.

Primeiros passos

O compartilhamento de views multiplataforma está disponível em Public Preview hoje para clientes da AWS, GCP e Azure. Saiba como você pode usar o protocolo de compartilhamento aberto Delta Sharing para compartilhar dados do seu workspace do Databricks habilitado para Unity Catalog com qualquer usuário em qualquer plataforma de computação, em qualquer lugar

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original