Ampliando o suporte para o OneLake no Unity Catalog

Hoje marca um marco importante para os padrões abertos e para a comunidade de dados em geral. Estamos trabalhando com a Microsoft para integrar os dados gerenciados tanto no Unity Catalog quanto no OneLake usando padrões abertos. A especificação da Open API do Unity Catalog fornece uma interface para trocar dados em ambas as direções, com cópia zero, para abrir o acesso a todo o ecossistema de lakehouse para os engines em qualquer uma das plataformas.

Há quase uma década, a Databricks e a Microsoft têm uma parceria para ajudar as organizações a extrair o valor de seus dados por meio da abertura e da flexibilidade do lakehouse. Hoje, essa parceria dá mais um o passo, dando aos clientes mais opções de como acessar e governar dados entre plataformas.

O caminho para a interoperabilidade aberta

À medida que formatos de tabela abertos como Delta Lake e Iceberg ganharam adoção, novos silos surgiram no nível do catálogo. Para resolver isso, a Databricks lançou as Open APIs do Unity Catalog, estabelecendo um padrão aberto para governança unificada de dados e AI, ao mesmo tempo em que oferece suporte total à API de catálogo REST do Iceberg para dados tabulares. Essa abordagem de API dupla permite que as organizações adotem as melhores soluções da categoria e evitem a dependência de fornecedores (vendor lock-in), enquanto fazem o compartilhamento de dados de forma transparente em diversas plataformas de dados e aplicativos SaaS.  Também introduzimos a federação de catálogos para fornecer uma view única e governada em todas as plataformas de dados. Este modelo, de Open APIs que potencializam a federação de catálogos, tornou-se o padrão da indústria para interoperabilidade.

Hoje, estamos felizes em ver essa visão aberta validada por nossos parceiros da Microsoft.

Microsoft adiciona suporte para as Open APIs do Unity Catalog

Conforme anunciamos com nossos parceiros da Microsoft hoje, nossa colaboração está se aprofundando.

A Microsoft já adicionou suporte para leitura do Azure Databricks com o OneLake Mirroring, permitindo que os engines do Fabric acessem todos os dados gerenciados no Unity Catalog de forma transparente.   Diferentemente de outras integrações do OneLake com plataformas proprietárias, isso torna todos os dados do Unity Catalog, incluindo as tabelas de maior desempenho, disponíveis no OneLake sem cópia, alteração de código ou custos adicionais.

Hoje, a Microsoft e a Databricks estão ampliando sua abertura com uma integração ainda mais nativa. Com o suporte do Microsoft OneLake ao padrão da Unity Catalog Open API, os usuários do Azure Databricks poderão ler dados do OneLake de forma transparente.

Com o OneLake adicionando suporte a APIs de catálogo aberto, incluindo Iceberg REST e as APIs abertas do Unity Catalog, a Microsoft está tornando os dados estruturados e não estrutrados do OneLake, provenientes de serviços como Dynamics, Dataverse, Blob store etc., nativamente acessíveis a todo o ecossistema de lakehouse aberto, incluindo o Databricks.

Databricks se baseia na fundação aberta

Aproveitando essa capacidade expandida, a Databricks está adicionando suporte para tornar todos os dados do OneLake perfeitamente disponíveis no Unity Catalog.

Isso permite a leitura com cópia zero dos dados do OneLake de dentro do Databricks, garantindo interoperabilidade e acesso transparentes entre ambas as plataformas, dando aos clientes da Databricks acesso a todos os seus dados no ecossistema da Microsoft para potencializar suas cargas de trabalho mais avançadas de AI, machine learning e engenharia de dados em grande escala.

Integração de catálogo

1. Leitura do Unity Catalog no Fabric – Disponível para o público geral agora
   A Microsoft lançou o espelhamento do Azure Databricks. Os clientes podem espelhar dados do Azure Databricks no OneLake, através do Unity Catalog, garantindo que TODOS os dados gerenciados pelo Azure Databricks fiquem instantaneamente disponíveis em todas as cargas de trabalho do Microsoft Fabric. Ambas as plataformas podem trabalhar sobre a mesma cópia de dados, sem movimentação de dados.
2. Leitura do OneLake no Azure Databricks - Final de 2025 
   Essa nova capacidade permite que o Azure Databricks leia dados do OneLake por meio de suas Open APIs do Unity Catalog e que todos os seus dados do OneLake sejam aproveitados de forma transparente no Databricks. Os clientes podem criar conexões do Unity Catalog com o OneLake com base em identidades gerenciadas do EntraID e podem montar itens de dados de qualquer workspace do Fabric de forma transparente, diretamente como um catálogo no Unity.

Conectando-se a dados do OneLake no Azure Databricks

O futuro é aberto

Este marco reflete o quanto a indústria avançou em direção a um ecossistema de dados aberto e interoperável. Os clientes não precisam mais escolher entre inovação e interoperabilidade — eles podem ter ambos.

Com a Microsoft agora adotando o padrão de catálogo aberto, estamos entusiasmados em continuar construindo o futuro de dados e AI sobre esta fundação.  Fique ligado para mais anúncios e atualizações do roteiro, incluindo suporte para o Azure Databricks gravar dados diretamente no OneLake, à medida que aprofundamos nossa integração.

Comece a usar o Azure Databricks gratuitamente →

(This blog post has been translated using AI-powered tools) Original Post