Interoperabilidade entre Unity Catalog e Google BigQuery via Federação de Catálogos

Hoje, temos o prazer de anunciar que os clientes agora podem acessar a mesma cópia de dados do Databricks Unity Catalog ou do BigQuery sem duplicação. Este é um marco importante para padrões abertos e para a comunidade de dados em geral.

À medida que formatos de tabela abertos como Delta Lake e Apache Iceberg ganharam adoção, o próximo desafio foi conectar os catálogos que os gerenciam. Primeiro, as APIs Abertas do Unity Catalog permitiram que qualquer motor externo acessasse os dados do Unity Catalog. Em seguida, introduzimos a federação de catálogos, que permite aos clientes registrar catálogos externos, acessar tabelas estrangeiras no Databricks sem cópia de dados e unificar a governança em todo o seu patrimônio de dados com o Unity Catalog.

A federação de catálogos se tornou o padrão da indústria para interoperabilidade e o Unity Catalog já suporta interoperabilidade bidirecional com plataformas de dados, incluindo AWS, Microsoft Azure e Snowflake. Hoje, aprofundamos nossa colaboração com o Google Cloud, adicionando o BigQuery e o Lakehouse do Google Cloud à crescente lista de plataformas que interoperam com o Unity Catalog.

Federação de catálogos bidirecional entre Unity Catalog e Lakehouse do Google Cloud

Se você é um cliente Databricks com dados no BigQuery, ou um usuário do BigQuery que precisa acessar tabelas do Unity Catalog, veja o que agora é possível e como começar:

Ler tabelas gerenciadas pelo Unity Catalog usando o Google BigQuery

Para ajudá-lo a descobrir e analisar facilmente todos os seus dados corporativos armazenados no Unity Catalog, o Google Cloud está anunciando a federação de catálogos em preview (saiba mais). Clientes que usam motores como o BigQuery agora podem ler tabelas gerenciadas pelo Unity Catalog sem cópia de dados.

Ler tabelas gerenciadas pelo Lakehouse do Google Cloud usando Databricks

Estamos entusiasmados em anunciar o preview privado da federação do Lakehouse do Google Cloud (inscreva-se para o preview). Essa nova funcionalidade permite que clientes Databricks que usam o Google Cloud governem e leiam tabelas Iceberg estrangeiras gerenciadas pelo Lakehouse na nuvem. Os clientes podem criar uma conexão com seu Lakehouse e, em seguida, montar tabelas Iceberg estrangeiras no Unity Catalog de forma transparente.

Governança unificada para dados federados

As políticas do Unity Catalog, controles de acesso de granularidade fina e rastreamento de linhagem se aplicarão consistentemente, quer uma tabela Iceberg seja criada no Unity Catalog ou federada do Lakehouse do Google Cloud. Seus usuários de negócios agora podem usar o Genie para consultar dados usando linguagem natural, pois todo o seu patrimônio de dados é protegido e contextualizado para a lógica de negócios com o Unity Catalog.

O futuro é aberto

O anúncio de hoje reflete o quanto a indústria avançou em direção a um ecossistema de dados aberto e interoperável. À medida que aprofundamos nossa colaboração com o Google Cloud, nossa visão é que os clientes não precisem mais escolher entre inovação e interoperabilidade, mas sim possam ter ambos. Fique atento a mais atualizações do ecossistema, incluindo novos recursos como a troca de metadados de catálogo via catálogo REST Iceberg, que permite definir políticas de governança uma vez e aplicá-las em todas as plataformas.

Comece

• Saiba mais sobre a federação de catálogos do Google para o Unity Catalog
• Inscreva-se para a federação do Lakehouse do Google Cloud do Unity Catalog

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original