Saiba como o Databricks e o Google estão avançando na interoperabilidade por meio de padrões abertos.
por Alex Jiang, Parth Desai e John Spencer
A arquitetura lakehouse está cada vez mais aberta. O que começou com formatos de tabela abertos – Delta Lake e Iceberg – evoluiu para a federação de catálogos para acesso sem cópia em várias plataformas. Por meio de nossa parceria e contribuições de código aberto, Databricks e Google Cloud continuam impulsionando os avanços na comunidade do Open Lakehouse.
Hoje, temos o orgulho de anunciar um marco importante na interoperabilidade de catálogos em colaboração com o Google: os clientes agora podem acessar uma única cópia de dados tanto do Unity Catalog quanto do lakehouse sem fronteiras do Google Cloud. A parceria entre Databricks e Google Cloud continua prosperando, e estamos comprometidos em tornar a interoperabilidade bidirecional simples e integrada.
Trazer dados do Google Cloud para o Databricks é simples. Com a Federação do Lakehouse para o Google Cloud, agora disponível em geral, os clientes podem montar tabelas Iceberg gerenciadas pelo catálogo de tempo de execução do lakehouse do Google Cloud no Unity Catalog para análise no Databricks.

Essas tabelas Iceberg do catálogo de tempo de execução do lakehouse do Google podem então ser consultadas pelo Databricks Lakehouse, nosso data warehouse sem servidor, ou analisadas por meio do Genie, que responde inteligentemente a perguntas sobre dados a partir de linguagem natural – sem código ou SQL necessários.
A interoperabilidade funciona na outra direção também. Os dados do Databricks também podem ser trazidos para o lakehouse do Google Cloud (saiba mais). Isso permite que clientes que usam engines como o BigQuery leiam tabelas gerenciadas pelo Unity Catalog sem cópia de dados.
Databricks e Google Cloud estão dando grandes passos para fortalecer a interoperabilidade, tornando os metadados de catálogo abertos. Nossa crença é que a semântica de negócios e governança deve ser acessível, em vez de ficar presa a um fornecedor específico. Na comunidade Iceberg, ajudamos a impulsionar e implementar rótulos de catálogo – uma proposta que permite que os catálogos compartilhem metadados por meio de pares chave-valor (também conhecidos como rótulos). Dessa forma, uma tabela marcada como "domain=finance" e "status=certified" com uma coluna marcada como "pii=ssn" continua a ser marcada mesmo quando a tabela é federada de um catálogo para outro (saiba mais).

Rótulos compartilhados são fundamentais para a governança na era dos agentes, pois os metadados do catálogo podem ser usados para sinalizar dados confidenciais para mascaramento e fornecer contexto aos agentes que buscam ativos para responder a perguntas sobre dados. Por meio de nossa parceria, Databricks e Google Cloud estão comprometidos em avançar com a visão de governança aberta. À medida que os volumes de dados crescem e os agentes de IA se tornam mais integrados aos fluxos de trabalho empresariais, esse compromisso compartilhado se torna cada vez mais importante. Estamos caminhando para um futuro onde a governança e o contexto de negócios podem acompanhar os dados sem exigir que as empresas os redefinam em cada sistema.
Comece a usar a Federação de Catálogos entre o Unity Catalog e o lakehouse sem fronteiras do Google Cloud lendo nossa documentação. Você também pode saber mais sobre a federação de catálogos do Google para o Unity Catalog aqui.
Se você tiver interesse em compartilhar suas necessidades de interoperabilidade ou quiser saber mais sobre nossa visão para a interoperabilidade, entre em contato com a equipe da sua conta Databricks.
(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original
Assine nosso blog e receba os posts mais recentes diretamente na sua caixa de entrada.