Ir para o conteúdo principal

Avançando na interoperabilidade de catálogos com Unity Catalog e o Borderless Lakehouse do Google Cloud

Saiba como o Databricks e o Google estão avançando na interoperabilidade por meio de padrões abertos.

por Alex Jiang, Parth Desai e John Spencer

  • Os clientes podem acessar a mesma cópia de dados do BigQuery ou do Databricks sem duplicação.
  • O Google e o Databricks estão comprometidos com uma visão de longo prazo de metadados de catálogo compartilhados.

A arquitetura lakehouse está cada vez mais aberta. O que começou com formatos de tabela abertos – Delta Lake e Iceberg – evoluiu para a federação de catálogos para acesso sem cópia em várias plataformas. Por meio de nossa parceria e contribuições de código aberto, Databricks e Google Cloud continuam impulsionando os avanços na comunidade do Open Lakehouse.

Hoje, temos o orgulho de anunciar um marco importante na interoperabilidade de catálogos em colaboração com o Google: os clientes agora podem acessar uma única cópia de dados tanto do Unity Catalog quanto do lakehouse sem fronteiras do Google Cloud. A parceria entre Databricks e Google Cloud continua prosperando, e estamos comprometidos em tornar a interoperabilidade bidirecional simples e integrada.

Unity Catalog e o Lakehouse do Google Cloud: Federação Bidirecional

Trazer dados do Google Cloud para o Databricks é simples. Com a Federação do Lakehouse para o Google Cloud, agora disponível em geral, os clientes podem montar tabelas Iceberg gerenciadas pelo catálogo de tempo de execução do lakehouse do Google Cloud no Unity Catalog para análise no Databricks.

Página do catálogo do Databricks listando tabelas de dados de mercado visualizadas recentemente.

Essas tabelas Iceberg do catálogo de tempo de execução do lakehouse do Google podem então ser consultadas pelo Databricks Lakehouse, nosso data warehouse sem servidor, ou analisadas por meio do Genie, que responde inteligentemente a perguntas sobre dados a partir de linguagem natural – sem código ou SQL necessários.

A interoperabilidade funciona na outra direção também. Os dados do Databricks também podem ser trazidos para o lakehouse do Google Cloud (saiba mais). Isso permite que clientes que usam engines como o BigQuery leiam tabelas gerenciadas pelo Unity Catalog sem cópia de dados.

A Próxima Fronteira: Tornando os metadados de catálogo interoperáveis

Databricks e Google Cloud estão dando grandes passos para fortalecer a interoperabilidade, tornando os metadados de catálogo abertos. Nossa crença é que a semântica de negócios e governança deve ser acessível, em vez de ficar presa a um fornecedor específico. Na comunidade Iceberg, ajudamos a impulsionar e implementar rótulos de catálogo – uma proposta que permite que os catálogos compartilhem metadados por meio de pares chave-valor (também conhecidos como rótulos). Dessa forma, uma tabela marcada como "domain=finance" e "status=certified" com uma coluna marcada como "pii=ssn" continua a ser marcada mesmo quando a tabela é federada de um catálogo para outro (saiba mais).

Diagrama de tags na tabela t1 sincronizando entre o Unity Catalog e o Lakehouse por meio de federação de catálogos e IRC.

Rótulos compartilhados são fundamentais para a governança na era dos agentes, pois os metadados do catálogo podem ser usados para sinalizar dados confidenciais para mascaramento e fornecer contexto aos agentes que buscam ativos para responder a perguntas sobre dados. Por meio de nossa parceria, Databricks e Google Cloud estão comprometidos em avançar com a visão de governança aberta. À medida que os volumes de dados crescem e os agentes de IA se tornam mais integrados aos fluxos de trabalho empresariais, esse compromisso compartilhado se torna cada vez mais importante. Estamos caminhando para um futuro onde a governança e o contexto de negócios podem acompanhar os dados sem exigir que as empresas os redefinam em cada sistema.

Comece hoje mesmo

Comece a usar a Federação de Catálogos entre o Unity Catalog e o lakehouse sem fronteiras do Google Cloud lendo nossa documentação. Você também pode saber mais sobre a federação de catálogos do Google para o Unity Catalog aqui.

Se você tiver interesse em compartilhar suas necessidades de interoperabilidade ou quiser saber mais sobre nossa visão para a interoperabilidade, entre em contato com a equipe da sua conta Databricks.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original

Tags relacionadas:

Unity Catalog, Lakehouse, Anúncios e Parceiros

Receba os posts mais recentes na sua caixa de entrada

Assine nosso blog e receba os posts mais recentes diretamente na sua caixa de entrada.