Quais são as novidades no compartilhamento e colaboração de dados no Lakehouse

O Databricks oferece a primeira abordagem de código aberto para compartilhamento e colaboração de dados em dados, analytics e AI. Os clientes podem compartilhar conjuntos de dados ao vivo, bem como modelos de AI, aplicativos e Notebooks, entre plataformas, nuvens e regiões, sem dependência de fornecedor. Acelere a inovação e gere novos fluxos de receita com oportunidades ampliadas para entregar produtos de dados transformadores. Essa flexibilidade é obtida com segurança e governança fortes, integrando o Delta Sharing ao Databricks Unity Catalog para controlar, monitorar e auditar o acesso a conjuntos de dados compartilhados. Temos o prazer de anunciar novos recursos para aprimorar a Lakehouse Collaboration Platform. Temos o prazer de anunciar que a Databricks está expandindo nosso ecossistema Delta Sharing com novos parceiros, a disponibilidade geral do Databricks Marketplace e os Databricks Clean Rooms em Private Preview na AWS.

Acelere o compartilhamento de dados com o Delta Sharing

Há dois anos, iniciamos o projeto de código aberto Delta Sharing. O primeiro protocolo aberto do setor para compartilhamento seguro de dados. Desde o lançamento, muitas organizações estão adotando o Delta Sharing. Mais de 6.000 organizações estão consumindo dados usando o Delta Sharing. Mais de 300 petabytes de dados são compartilhados diariamente usando o Delta Sharing no Databricks. São dados lidos e processados entre organizações. Enquanto muitas outras soluções de fornecedores geram dependência, vimos um impulso incrível com os clientes que usam o Delta Sharing. As empresas podem compartilhar e consumir dados de qualquer plataforma ou fornecedor que ofereça suporte ao protocolo aberto Delta Sharing. Com uma abordagem aberta impulsionada pelo Delta Sharing, as organizações podem usar seus dados mais rapidamente e descobrir percepções com mais agilidade.

Temos o prazer de anunciar que a Databricks está expandindo o ecossistema Delta Sharing com novos parceiros, incluindo Cloudflare, Dell, Oracle e Twilio, para compartilhar dados de forma transparente entre suas plataformas, Databricks, Apache Spark™, pandas, PowerBI, Excel e qualquer outro sistema que ofereça suporte ao protocolo aberto.

O Databricks Marketplace já está disponível globalmente

Construídos sobre o Delta Sharing, há outros recursos de colaboração, incluindo o Databricks Marketplace. Anunciamos recentemente a Versão Prévia Pública do Databricks Marketplace e hoje temos o prazer de anunciar a disponibilidade geral do Databricks Marketplace.

Muitos provedores de nuvem oferecem marketplaces de dados, mas, quando perguntamos aos provedores de dados, eles compartilharam que encontram limitações:

• Os marketplaces são fechados para sua cloud específica ou um data warehouse específico.
• Restrito apenas a dados ou talvez a aplicações simples.
• A entrega de dados exige ETL ou o uso de um mecanismo de entrega proprietário.

Databricks Marketplace é um marketplace aberto para soluções de dados, para que qualquer cliente que possa ler compartilhamentos delta possa acessar o marketplace. Isso traz grandes benefícios para os provedores alcançarem mais usuários. Para os consumidores, eles podem descobrir facilmente mais do que apenas conjuntos de dados, avaliar produtos de dados mais rapidamente porque os ativos incluem Notebooks e visualizações e não precisam ser clientes da Databricks para aproveitar o marketplace. É verdadeiramente aberto.

Disponível hoje, o Databricks Marketplace permite que você compartilhe e troque ativos de dados, incluindo conjuntos de dados e notebooks, no marketplace público ou em trocas privadas. O Databricks Marketplace também está aberto para usuários que não são da Databricks.

Novos provedores de dados no Databricks Marketplace

Nos últimos meses, continuamos a aumentar o número de parceiros de vários setores e temos centenas de listagens em nosso marketplace que você pode explorar em nosso Open Marketplace. O Databricks Marketplace também recebe novos provedores de dados de várias indústrias:

• Serviços financeiros: S&P Global, Experian, London Stock Exchange Group, Corelogic, YipitData, Morningstar e Bloomberg Government
• Saúde e Ciências da Vida: IQVIA, Definitive Healthcare, Datavant e Ontada
• Geoespacial: Foursquare, Divirod, Accuweather Veraset, Safegraph e Carto
• Publicidade e Marketing: LiveRamp, Acxiom
• Serviços de Informação Empresarial: LexisNexis e ZoomInfo
• Varejo: Circana (antiga IRI)

“À medida que a adoção de AI e analítica avançada cresce, estamos entusiasmados com a parceria com a Databricks para ajudar os clientes a obter percepções mais rapidamente. Esta colaboração visa capacitar as empresas com acesso a dados unificados e em tempo real, promovendo a colaboração e impulsionando analítica aprimorada e capacidades de tomada de decisão quantitativa no setor financeiro e além.” — Stuart Brown, chefe do grupo de soluções de dados empresariais da London Stock Exchange

Em breve: recursos de compartilhamento de modelos de IA

A Databricks também oferecerá o compartilhamento de modelos de IA no Databricks Marketplace, permitindo que consumidores e provedores de dados descubram e monetizem modelos de IA e integrem a IA em todas as suas soluções de dados. Com o compartilhamento de modelos de IA, os clientes da Databricks terão acesso aos melhores modelos da categoria, que podem ser aplicados de forma rápida e segura sobre seus dados. A própria Databricks fará a curadoria e publicará modelos de código aberto para casos de uso comuns, como o acompanhamento de instruções e o resumo de texto, e otimizará o ajuste ou a implantação desses modelos na Databricks. O compartilhamento de modelos de AI no Databricks Marketplace está previsto em versão de prévia para o próximo ano.

Em breve: Lakehouse Apps no Databricks Marketplace

Aplicações de dados e IA estão entre as categorias de software que mais crescem, e o crescimento em IA generativa e modelos de linguagem grandes (LLMs) acelerou essa tendência. Para os clientes, Lakehouse Apps será a maneira mais segura de executar aplicações que desbloqueiam todo o valor dos dados em seu Lakehouse, aproveitam os serviços nativos do Databricks e estendem o Databricks com novos recursos. Os Lakehouse Apps darão aos usuários acesso seguro e fácil a uma ampla variedade de novos aplicativos inovadores e reduzirão o tempo e o esforço para adotar, integrar e gerenciar aplicativos de dados e IA.

Os Lakehouse apps são uma nova maneira de construir, implantar e gerenciar aplicativos para a plataforma Databricks. Os desenvolvedores se beneficiarão da distribuição mais fácil ao listar seus Lakehouse Apps no Databricks Marketplace, permitindo que os clientes descubram e implantem rapidamente seu software. A pré-visualização do Lakehouse Apps no Databricks Marketplace está prevista para o próximo ano.

Colaboração com privacidade segura com o Databricks Clean Rooms

Hoje, temos o prazer de anunciar o Databricks Clean Rooms em Private Preview na AWS. Uma data clean room permite a colaboração segura e isolada entre organizações, permitindo a junção e o processamento dos respectivos datasets, garantindo que nenhuma das partes tenha acesso direto ou visibilidade aos dados brutos da outra ou, em alguns casos, pacotes proprietários ou modelos de AI.

O Databricks Clean Rooms oferece um ambiente seguro para que as empresas colaborem com clientes e parceiros em qualquer cloud, priorizando a flexibilidade, a escalabilidade e a interoperabilidade. Diferentemente de outras soluções, o Databricks Clean Rooms oferece suporte a várias linguagens (SQL, R, Scala, Java, Python), permitindo tanto cargas de trabalho analíticas simples, como joins, quanto computações complexas, como machine learning. Ele oferece escalabilidade para colaboração com vários colaboradores, reduzindo a necessidade de gerenciar múltiplos fornecedores. Construído sobre o Delta Sharing aberto, os participantes podem compartilhar dados com segurança, sem replicação de dados ou aprisionamento de plataforma, evoluindo do simples compartilhamento de dados para a computação conjunta segura.

Introdução ao compartilhamento de dados e Colaboração no Databricks

A Databricks possibilita o compartilhamento e a colaboração abertos, e mal podemos esperar para ver como você usará o Delta Sharing, o Databricks Marketplace, os Lakehouse Apps e os Databricks Clean Rooms para colaborar com facilidade e confiança.

Não perca mais atualizações interessantes sobre compartilhamento de dados e colaboração e nossas sessões no Data and AI Summit. As sessões serão disponibilizadas sob demanda logo após o término da conferência.

Inscreva-se para se tornar um fornecedor de dados (escolha "Marketplace" como o programa de interesse).

Envie seu interesse para juntar-se a nossa pré-visualização privada do Databricks Clean Rooms, ou aguarde para se inscrever em nossa pré-visualização pública, que estará disponível ainda este ano.