Um Ano de Interoperabilidade: Como as Empresas Estão Escalando a Governança com o Unity Catalog

A Era da Governança Aberta

Um ano depois de abrirmos o código aberto do Unity Catalog (UC), os resultados são claros: abertura não é apenas um princípio, está funcionando na prática.

Desde então, centenas de empresas adotaram o Unity Catalog como sua base para governança aberta e interoperável no Delta Lake, Apache Iceberg e em todos os principais engines no stack de dados moderno. O que começou como um compromisso com padrões abertos evoluiu para um ecossistema próspero de APIs abertas, integrações de parceiros e impacto para o cliente em grande escala.

Hoje, o Unity Catalog se destaca como o catálogo aberto mais adotado para dados e AI. As equipes de dados não precisam mais fazer escolhas difíceis entre desempenho, interoperabilidade e governança; elas podem ter tudo.

De “por que aberto?” para “aberto em escala”

Em 2024, abrimos o código do UC e lançamos as UC Open APIs para aprimorar a interoperabilidade com ferramentas externas. Essas APIs facilitam para que qualquer engine se conecte com segurança ao Unity Catalog, leia ou grave tabelas Delta e Iceberg e aplique a governança automaticamente por meio de fornecimento de credenciais e políticas de acesso centralizadas.

Um ano depois, o ecossistema fala por si só:

• Mais de 700 empresas agora usam o UC para centralizar a governança em vários engines e ferramentas.
• Os SDKs de cliente do UC têm mais de 1 milhão de downloads por mês, impulsionando a adoção entre plataformas.
• Parceiros como Starburst, ClickHouse e Confluent criaram integrações profundas com base nas APIs abertas do UC, estendendo a governança para muito além do Databricks.

Esse impulso prova que a interoperabilidade escala melhor quando a abertura e a governança trabalham juntas.

O melhor catálogo para Delta Lake e Apache Iceberg

O Unity Catalog oferece suporte de primeira classe para Delta e Iceberg em governança, acesso e desempenho. Através das UC Open APIs e da Iceberg REST Catalog API, as organizações podem conectar com segurança qualquer engine por meio da leitura, escrita e criação de tabelas, enquanto aderem a políticas de acesso unificadas.

O Unity Catalog simplifica o acesso externo:

• Defina os controles de acesso uma vez, e o UC os aplica automaticamente em clouds, engines e formatos.
• O fornecimento de credenciais emite credenciais temporárias e com escopo definido nos bastidores, eliminando a necessidade de configurar permissões de armazenamento em cloud ou replicar políticas manualmente.
• Estenda a governança para a AI por meio de um plano de controle unificado que permite gerenciar datasets, recursos e versões de modelos.
• Conecte qualquer ferramenta ou engine, de Spark e Trino a ML pipelines personalizados, via Unity REST APIs e a Iceberg REST Catalog API.

Leve a governança um o passo adiante aproveitando as Tabelas Gerenciadas do UC, onde a abertura encontra o desempenho. Essas tabelas otimizadas para Databricks usam Predictive Optimization e Liquid Clustering para entregar consultas até 20x mais rápidas e custos de armazenamento 50% menores, enquanto permanecem totalmente abertas e acessíveis por meio de APIs padrão. As tabelas gerenciadas representam o novo padrão: governança centralizada, formatos abertos e desempenho inteligente — tudo em um.

O impulso da indústria e do ecossistema por trás das UC Open APIs

No último ano, as APIs Abertas do UC ajudaram centenas de organizações a quebrar silos de formato, unificar a governança e ampliar a interoperabilidade em todas as partes de seu stack.

PepsiCo: Governança de dados unificada em analítica multi-engine

A PepsiCo executa um ecossistema de analítica diversificado com vários mecanismos de compute, como o Spark no Kubernetes. Historicamente, esses engines precisavam contornar o UC e se conectar a tabelas externas por meio de acesso baseado em caminho. Com as UC Open APIs, a PepsiCo agora pode adotar tabelas gerenciadas e permitir que engines externos acessem os dados por meio de uma governança única e centralizada, sem exigir soluções alternativas no nível do armazenamento.

Com as APIs Abertas do Unity Catalog, capacitamos nossas equipes a usar suas ferramentas preferidas, mantendo a governança e a consistência dos dados. Podemos aproveitar os benefícios das tabelas gerenciadas dentro de uma plataforma de dados e AI verdadeiramente interoperável que funciona em vários engines de compute.— Sudipta Das, Diretor de Operações de Dados Empresariais

Coinbase: query de gráfico em escala com fornecimento de credenciais

A Coinbase utiliza o PuppyGraph para processar terabytes de dados diariamente. As UC Open APIs e o fornecimento de credenciais eliminam a necessidade de pipelines de ETL, permitindo que a Coinbase query tabelas Delta e Iceberg diretamente enquanto aplica políticas e captura logs de auditoria.

Usando as APIs abertas do Unity Catalog, o PuppyGraph consegue query mais de 2 TB de dados diariamente com credenciais temporárias, analisando dependências de serviço em escala, tudo isso enquanto mantém a governança centralizada no UC.— Eric Sun, Head da Plataforma de Dados na Coinbase

Parcerias de ecossistema

O Unity Catalog está no centro de um ecossistema crescente de parceiros, ampliando a governança para além do Databricks:

• Confluent Tableflow se integra ao UC para converter transmissões de eventos do Kafka em tabelas Delta. Essas tabelas são acessíveis via UC Open APIs e têm políticas de governança aplicadas automaticamente.
• ClickHouse permite que seus usuários aproveitem as UC Open APIs para descobrir e query tabelas Delta e Iceberg para analítica em tempo real e observabilidade. Com essa integração, os usuários podem acessar tabelas Delta e Iceberg governadas pelo UC diretamente do ClickHouse, mantendo o UC no centro da governança.
• Starburst Trino desenvolveu um conector Delta Lake que suporta a leitura de tabelas gerenciadas governadas pelo Unity Catalog. Para dar suporte a gravações em tabelas gerenciadas, a Starburst também se integrou à private preview de gravações externas via UC Open APIs.

A Starburst compartilha a visão da Databricks de abertura e interoperabilidade em todo o ecossistema de dados. Com a integração com o Databricks Unity Catalog, permitimos que os clientes criem uma única fonte da verdade para todos os seus dados, com governança centralizada e a flexibilidade para usar as ferramentas de sua escolha.— Justin Borgman, CEO, Starburst Data

O que vem a seguir para a Conectividade Aberta do UC?

O Unity Catalog continua a evoluir como a camada de governança mais aberta e interoperável para o lakehouse. Veja o que vem a seguir:

• Gravações externas e criação de tabelas para tabelas gerenciadas pelo UC: Atualmente, mecanismos externos podem ler tabelas gerenciadas pelo UC. Em breve na Public Preview, habilitaremos gravações externas via APIs REST do Unity e a criação de tabelas diretamente de clientes externos. Tem interesse em testar? Participe da nossa Private Preview.
  • Observação: Já oferecemos suporte completo para a Iceberg REST Catalog API, permitindo que engines externos leiam (Disponibilidade Geral) e escrevam (Pré-visualização Pública) em tabelas Iceberg gerenciadas pelo Unity Catalog
• Acesso seguro além das tabelas: O fornecimento de credenciais está sendo estendido para volumes, para que dados não estruturados possam ser acessados com segurança a partir de ferramentas como Daft e Ray para fluxos de trabalho de AI/ML.
• Migre facilmente para as Tabelas Gerenciadas do UC: Com alguns comandos simples, você poderá converter tabelas externas do UC ou tabelas estrangeiras federadas de catálogo em tabelas totalmente gerenciadas, preservando o histórico, as configurações, as permissões e as views do Delta.
• Lançamento do Unity Catalog 0.4: no próximo lançamento do UC (v0.4), estamos adicionando suporte a tabelas gerenciadas e implementando a renovação de credenciais no cliente Spark do UC para Jobs de longa duração.

Comece hoje

As Unity Catalog Open APIs estão disponíveis para clientes Delta e Iceberg. Você pode começar:

• Consultando a documentação da Unity REST API no repo do Unity Catalog
• Fazendo download dos SDKs para Python ou Java
• Experimentando uma query de exemplo no seu engine preferido. Veja a lista de nossas integrações compatíveis aqui.

Comece a construir com as UC Open APIs hoje mesmo e veja como a interoperabilidade e a governança unificada podem ser fáceis. Para começar a usar o Unity Catalog, siga os guias para AWS, Azure e GCP.

(This blog post has been translated using AI-powered tools) Original Post