Novidades em compartilhamento de dados e colaboração

Na Databricks, nossa missão é democratizar os dados + AI. Uma abordagem aberta para compartilhamento e colaboração é fundamental para maximizar o alcance e o impacto. Em nossa plataforma de inteligência de dados, o protocolo aberto Delta Sharing ajuda nossos clientes a compartilhar dados e ativos de AI de forma fácil e segura para acelerar a inovação. Para colaboração com dados de terceiros, o Databricks Marketplace é o marketplace aberto para todas as suas necessidades de dados, analytics e AI. Com um ecossistema crescente de parceiros de dados que compartilham uma ampla variedade de ativos de dados e AI, o Databricks Marketplace capacita os consumidores de dados com a capacidade de entregar inovação. Databricks Clean Rooms oferece colaboração segura para a privacidade para que as empresas colaborem facilmente em um ambiente seguro em qualquer nuvem. Na semana passada, anunciamos 12 novos parceiros líderes do setor para expandir o ecossistema aberto do Delta Sharing. Hoje, temos o prazer de anunciar como estamos acelerando o crescimento do nosso ecossistema e novas atualizações sobre os lançamentos de recursos do Delta Sharing. Também temos a satisfação de anunciar a disponibilidade da colaboração segura para a privacidade com o Databricks Clean Rooms em Public Preview (em breve) na AWS e no Azure.

Acelerando o crescimento do compartilhamento de dados com o Delta Sharing

Os clientes da Databricks estão impulsionando colaborações entre plataformas e nuvens com seus clientes e parceiros em um ecossistema flexível, seguro e aberto, sem dependência de fornecedor (vendor lock-in). O compromisso da Databricks com a inovação e a colaboração gerou resultados significativos no ano passado, com o ecossistema apresentando um crescimento impressionante.

Vimos um crescimento massivo em todo o nosso ecossistema, com mais de 16.000 destinatários de dados de uma ampla gama de organizações que adotaram o Delta Sharing para colaborar com parceiros e clientes. Hoje, temos o prazer de anunciar um crescimento de mais de 300% YoY para Delta Shares ativos em nosso ecossistema aberto, com 40% dos Delta Shares usando nossos conectores abertos multiplataforma que oferecem suporte para Apache Spark, Pandas, Power BI e o recém-anunciado Tableau para acessar e ler dados compartilhados.

O grupo mais recente de parceiros do Delta Sharing está criando soluções de compartilhamento de dados, expandindo as parcerias "Built on" existentes para novos recursos e avançando em parcerias tecnológicas que ajudam os clientes em comum a compartilhar dados de forma integrada entre plataformas. Essas novas parcerias incluem Acxiom, Amperity, Atlassian, Aveva, HealthVerity, Shutterstock, Stocktwits, T-Mobile, TetraScience e The Trade Desk. A Databricks também está anunciando parcerias expandidas com Epsilon, LiveRamp, S&P Global e Tableau.

"O Atlassian Analytics lançou recentemente o Data Shares, aproveitando o Delta Sharing da Databricks, para aumentar a flexibilidade e acelerar o tempo para obter insights dos clientes. ... O ecossistema aberto de conectores do Delta Sharing, incluindo Tableau, PowerBI e Spark, permite que os clientes alimentem facilmente seus ambientes com dados diretamente do Atlassian Data Lake." —Ben Jackson, Gerente de Produto de Grupo Sênior, Dados e Analytics, Atlassian

Novas inovações do Delta Sharing impulsionam o sucesso de dados + AI

Há três anos, anunciamos o projeto Delta Sharing de código aberto — o primeiro protocolo aberto do setor para compartilhamento seguro de dados. Desde então, o Delta Sharing continuou a inovar e a facilitar para os clientes o compartilhamento de dados em tempo real e AI entre plataformas, nuvens e regiões — sem a necessidade de replicação.

Com base nessa abordagem aberta, nosso princípio orientador é tornar o Delta Sharing a ferramenta mais aberta, segura e flexível — onde qualquer pessoa possa compartilhar qualquer ativo de dados com qualquer destinatário em qualquer plataforma, para qualquer caso de uso, de SQL a AI. Para isso, continuamos desenvolvendo novos recursos de compartilhamento aberto para provedores e destinatários de dados e temos o prazer de anunciar várias novas inovações de produtos do Delta Sharing.

Lançados recentemente em Public Preview, temos o prazer de anunciar que dois recursos do Delta Sharing agora estão em disponibilidade geral: o Volume Sharing e o suporte ao Cloudflare R2. "Volumes" são um novo tipo de objeto no Unity Catalog para coleções de diretórios e arquivos. Com o Volume Sharing, agora você tem a flexibilidade de compartilhar grandes volumes de dados não estruturados ou não tabulares (por exemplo, imagens, áudio, vídeos ou arquivos PDF) entre workspaces e sem a necessidade de replicação dispendiosa. Esse novo recurso ajuda a acelerar a inovação para o processamento de dados não estruturados/não tabulares para cargas de trabalho de ciência de dados, AI e machine learning. O suporte ao Cloudflare R2 ajuda os clientes em comum da oferta de armazenamento de objetos distribuídos com taxa de saída zero (zero egress) da Cloudflare a aproveitar as taxas de saída zero sem replicação dispendiosa entre regiões e sem dependência de fornecedor. Essa parceria estratégica com a Cloudflare já ajudou clientes, como a Allium, a economizar até US$ 645 mil por ano usando o Delta Sharing e o Cloudflare R2.

O Cross-Platform View Sharing é um novo recurso empolgante que permite aos provedores de dados compartilhar facilmente views com quaisquer destinatários. Embora as Views sejam um mecanismo muito popular há anos para permitir o compartilhamento dinâmico de dados, o compartilhamento de Views geralmente se limita ao compartilhamento dentro da mesma plataforma e região de nuvem, dificultando o alcance de todos os usuários onde quer que estejam. Temos o prazer de compartilhar que os clientes da Databricks poderão compartilhar views com segurança com quaisquer destinatários, independentemente de qual nuvem, região ou plataforma utilizem. O Cross-Platform View Sharing estará disponível em Private Preview em breve, e você pode inscrever-se agora para solicitar acesso ao preview quando estiver disponível. Outro recurso do Delta Sharing que estamos lançando é o Materialized Views and Streaming Tables Sharing em Private Preview. Os clientes que usam o Delta Live Tables para criar facilmente pipelines de dados confiáveis e econômicos agora podem compartilhar facilmente a saída desses pipelines com seus destinatários, sem a necessidade de criar e manter cópias ou pipelines adicionais. Inscreva-se para solicitar acesso ao preview.

Os clientes nos disseram que precisam de um ecossistema de compartilhamento que possa acessar todos os dados de que precisam, onde quer que estejam. Temos o prazer de anunciar o Sharing for Lakehouse Federation, um novo recurso que permite aos clientes compartilhar dados diretamente de onde estão armazenados, sem a necessidade de copiá-los para o Databricks. Isso permite que os provedores de dados concedam acesso facilmente aos dados armazenados em seu data warehouse ou banco de dados (por exemplo, Snowflake, BigQuery, Redshift, MySQL, PostgreSQL, etc.) — permitindo que os clientes da Databricks acessem o conjunto mais amplo possível de conjuntos de dados sem qualquer sobrecarga adicional para os provedores. Esse recurso estará disponível em Private Preview em breve. Inscreva-se para solicitar acesso ao preview.

Todos esses novos recursos incríveis se somam às inovações recentes dos últimos seis meses, incluindo o AI Model Sharing, atualmente em Public Preview, que permite compartilhar modelos com seus parceiros e clientes, que podem implantá-los em seu ambiente Databricks usando o Mosaic AI. O AI Model Sharing oferece vantagens revolucionárias para compartilhar modelos facilmente entre nuvens e regiões, ao mesmo tempo que permite que os destinatários protejam a privacidade de seus dados ao usar modelos de terceiros.

Anunciando o Public Preview do Clean Rooms na AWS + Azure

O Databricks Clean Rooms oferece um ambiente seguro para a privacidade para colaboração em todos os seus ativos de dados e AI, sem acesso direto a dados confidenciais. Hoje, anunciamos que o Databricks Clean Rooms estará em Public Preview (em breve) na AWS e no Azure. Você pode inscrever-se aqui para obter acesso antecipado ao preview.

As organizações estão buscando maneiras de compartilhar seus dados com segurança e colaborar com parceiros externos para promover inovações baseadas em dados. No passado, as organizações tinham soluções limitadas de compartilhamento de dados, perdendo o controle sobre como seus dados confidenciais eram compartilhados com parceiros e tendo pouca ou nenhuma visibilidade de como esses dados eram consumidos. Isso criava o risco de possível uso indevido de dados e violações de privacidade de dados. Os clientes que tentaram usar outras soluções de clean room nos disseram que essas soluções são limitadas e não atendem às suas necessidades, pois geralmente exigem que todas as partes copiem seus dados para a mesma plataforma, não permitem análises sofisticadas além de consultas SQL básicas e oferecem visibilidade ou controle limitados sobre seus dados.

As organizações precisam de uma maneira aberta, flexível e segura para a privacidade para colaborar em dados, e o Databricks Clean Rooms atende a essas necessidades críticas.

• Qualquer nuvem, qualquer plataforma. A colaboração segura, aberta e flexível é impulsionada pelo Delta Sharing. O Clean Rooms permite que você colabore entre nuvens, regiões e até mesmo entre plataformas usando o novo Sharing for Lakehouse Federation (veja os detalhes acima).
• Qualquer linguagem e carga de trabalho de sua escolha: Ao contrário de outros data clean rooms no mercado, o Databricks Clean Rooms oferece suporte a qualquer linguagem ou carga de trabalho, incluindo suporte nativo para ML e AI com Python. O Clean Rooms é uma solução flexível e interoperável, permitindo que as organizações colaborem com qualquer pessoa, independentemente da nuvem ou plataforma, sem a necessidade de replicação.
• Qualquer escala: O Clean Rooms também oferece suporte a recursos operacionais e de colaboração em escala. Com suporte para APIs, comandos SQL e orquestração integrada do Databricks Workflows, você pode automatizar facilmente as cargas de trabalho do Clean Room. Os colaboradores também recebem dados de saída aprovados diretamente em seu Unity Catalog, que podem ser usados de forma conveniente para casos de uso subsequentes. Em breve, vários colaboradores poderão trabalhar juntos em um Databricks Clean Room.

Crescimento do ecossistema e inovação de produtos do Databricks Marketplace

Muitos marketplaces são ecossistemas fechados, restritos a nuvens ou data warehouses específicos e, muitas vezes, focados exclusivamente em dados ou aplicativos simples. Em junho de 2023, lançamos o Databricks Marketplace, uma plataforma aberta projetada para atender a todas as suas necessidades de dados, analytics e AI. Impulsionado pelo Delta Sharing, o Marketplace oferece uma gama diversificada de conjuntos de dados, modelos de AI, notebooks e soluções.

No ano passado, o Databricks Marketplace introduziu várias inovações, como o AI Model Sharing no Marketplace, Volume Sharing no Marketplace (consulte o blog recente, A Shutterstock usa o Volume Sharing para uma colaboração contínua), Databricks to Open Sharing, Private Exchanges e Aceleradores de soluções para ajudar os consumidores de dados a descobrir e avaliar produtos de dados mais rapidamente e acelerar suas iniciativas de analytics e AI. O gráfico abaixo fornece uma visão geral rápida desses lançamentos de recursos de produtos e os benefícios para os clientes.

O Databricks Marketplace também teve um crescimento notável, com mais de 2.000 listagens de conjuntos de dados, modelos de AI e aceleradores de soluções disponíveis no Databricks Marketplace, um aumento de 320% ano a ano nas listagens e um aumento de 300% em novos provedores de dados.

"A Shutterstock está trazendo sua vasta coleção de quase um bilhão de ativos de conteúdo criativo para o Databricks Marketplace, uma plataforma conhecida por promover a colaboração aberta de dados e AI. Essa integração oferece acesso sem precedentes à nossa extensa biblioteca de conteúdo visual de origem ética, impulsionando iniciativas de AI e ML responsáveis em vários setores. Estamos entusiasmados em adicionar o Delta Sharing como um método para fornecer dados. Os clientes que utilizam nosso rico conjunto de dados no Databricks podem aproveitar novas oportunidades, catalisar inovações de produtos e garantir uma vantagem competitiva." —Aimee Egan, Chief Enterprise Officer, Shutterstock

Comece a usar o compartilhamento de dados e a colaboração no Databricks

O Databricks permite o compartilhamento e a colaboração de dados abertos, e estamos ansiosos para ver como você usa o Delta Sharing, o Databricks Marketplace e o Databricks Clean Rooms para inovar e realizar suas iniciativas de dados e AI.

Fique por dentro de todas as nossas atualizações de compartilhamento de dados e colaboração no Data and AI Summit de 10 a 13 de junho, ou assista às transmissões ao vivo das palestras principais e sessões selecionadas.

Envie seu interesse para participar do nosso formulário de interesse do Databricks Clean Rooms antes do lançamento do Public Preview. Você também pode se inscrever para o private preview do Delta Sharing Cross-Platform View Sharing e para o private preview do Delta Sharing Materialized Views and Streaming Table Sharing.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original