Novidades do Databricks Unity Catalog no Data + AI Summit 2025

Há quatro anos, a Databricks identificou uma enorme complexidade no cenário de dados: catálogos separados para cada plataforma, ferramentas de governança isoladas entre as nuvens e nenhuma maneira unificada de proteger os ativos de IA. Fomos pioneiros na Governança Unificada ao lançar o Unity Catalog, uma camada de catálogo aberta e flexível para gerenciar acesso, linhagem, auditoria e descoberta em todos os dados e ativos de IA.

Hoje, o Unity Catalog se tornou a base da Plataforma de Inteligência de Dados Databricks e a única solução de governança unificada do setor para dados e IA em todos os formatos, nuvens e engines. Do compartilhamento de dados abertos à segurança refinada e governança do conhecimento, o Unity Catalog ajuda as organizações a trazer contexto, controle e confiança para seu patrimônio de dados.

Na Data + AI Summit deste ano, estamos anunciando grandes inovações no Unity Catalog, oferecendo o melhor catálogo para Apache Iceberg™, novas experiências de usuário de negócios e governança inteligente para proteger dados confidenciais e garantir a qualidade de dados confiáveis em escala.

Confira as novidades.

O melhor catálogo para Apache Iceberg™

As organizações que adotam um lakehouse geralmente são forçadas a escolher entre Delta Lake e Apache Iceberg™. Essa escolha cria silos artificiais: restringindo o acesso aos dados e às ferramentas de IA que as equipes podem usar, fragmentando a governança e bloqueando os metadados em catálogos específicos do formato.

O Unity Catalog elimina a necessidade de escolher. Construído em padrões abertos, o Unity Catalog é o único catálogo unificado que funciona perfeitamente em formatos, engines e nuvens, tornando-o a base do lakehouse aberto. Ao longo do ano passado, após a aquisição da Tabular, investimos profundamente no Apache Iceberg para estender essa visão. Temos o prazer de anunciar:

• Suporte total para a API Iceberg REST Catalog, permitindo que engines externos leiam (Disponibilidade Geral) e gravem (Versão Prévia Pública) em tabelas Iceberg gerenciadas pelo Unity Catalog. Este é um grande diferencial no mercado, eliminando o bloqueio de formato e permitindo interoperabilidade total incomparável a qualquer outra solução. 
• Tabelas gerenciadas do Iceberg agora estão na Versão Prévia Pública, oferecendo o melhor preço e desempenho da categoria, clustering líquido, otimização preditiva e integração total com o Databricks e entre engines externos, incluindo Trino, Snowflake e Amazon EMR.
• Federação de catálogo do Iceberg está na Versão Prévia Pública, permitindo que você governe e consulte tabelas Iceberg gerenciadas no AWS Glue, Hive Metastore e Snowflake Horizon sem copiar dados.
• Delta Sharing para Iceberg agora está na Versão Prévia Privada, permitindo que você compartilhe tabelas do Unity Catalog e tabelas Delta com qualquer destinatário usando o Delta Sharing e as consuma em qualquer cliente que suporte a API Iceberg REST Catalog.

Juntas, essas funcionalidades quebram os silos de formato e destacam o Unity Catalog como o único catálogo que oferece governança e interoperabilidade verdadeiramente abertas e unificadas. Confira nosso blog sobre suporte ao Iceberg para saber mais sobre esses anúncios. 

Expandindo o Unity Catalog para usuários de negócios

As plataformas de dados não devem parar no usuário técnico. Os usuários de negócios precisam de uma maneira clara e consistente de encontrar, confiar e trabalhar com dados. O Unity Catalog agora oferece uma base unificada para o contexto de negócios para preencher a lacuna entre as equipes de dados e de negócios. 

Métricas do Unity Catalog: uma camada semântica para todas as cargas de trabalho de dados e IA

Definições de métricas inconsistentes entre ferramentas e equipes há muito causam confusão, desalinhamento e falta de confiança nos dados. Métricas do Unity Catalog, agora em Versão Prévia Pública no AWS, Azure e GCP e Disponibilidade Geral ainda neste verão, resolve isso tornando as métricas de negócios ativos de primeira classe no lakehouse. Ao contrário das métricas definidas apenas na camada de BI, que limitam a reutilização e a integração, definir métricas na camada de dados torna a semântica de negócios reutilizável em todas as cargas de trabalho, como painéis, modelos de IA e trabalhos de engenharia de dados. As Métricas do Unity Catalog também são totalmente endereçáveis via SQL para garantir que todos na organização possam ter a mesma visão das métricas, independentemente da ferramenta que escolherem.

• Defina uma vez, use em todos os lugares: Crie métricas uma vez no Unity Catalog e use-as em painéis de IA/BI, Genie, Notebooks, SQL e trabalhos do Lakeflow. As próximas integrações estenderão o suporte a ferramentas de BI como Tableau, Hex, Sigma, ThoughtSpot, Omni e ferramentas de observabilidade como Anomalo e Monte Carlo.
• Governado e auditável por padrão: As métricas certificadas vêm com auditoria e linhagem prontas para uso, permitindo insights confiáveis e compatíveis entre as equipes.

"As Métricas do Unity Catalog nos dão um local central para definir KPIs de negócios e padronizar a semântica entre as equipes, garantindo que todos trabalhem com as mesmas definições confiáveis em painéis, SQL e aplicativos de IA." — Richard Masters, Vice-Presidente, Dados e IA, Virgin Atlantic

"As Métricas do Unity Catalog representam uma oportunidade interessante para os clientes do Tableau aproveitarem o valor da governança centralizada com o Databricks Unity Catalog. Por meio de nossa profunda integração e roteiro de expansão com o Databricks, estamos entusiasmados em ajudar a remover o atrito para nossos clientes no aproveitamento do Databricks para definir suas principais métricas de negócios." — Nicolas Brisoux, Diretor Sênior de Gerenciamento de Produtos, Tableau

Novas experiências de descoberta selecionadas com insights inteligentes

Para capacitar totalmente os usuários de negócios, você deve tornar os dados confiáveis fáceis de encontrar, entender e usar. O Unity Catalog está estendendo sua governança com reconhecimento de negócios com uma nova experiência Discover, agora em Versão Prévia Privada, um marketplace interno selecionado de produtos de dados certificados organizados por domínios de negócios como Vendas, Marketing ou Finanças. 

Recomendações baseadas em IA e curadoria de data steward ajudam a revelar os ativos de maior valor, como métricas, painéis, tabelas, agentes de IA e espaços Genie que são enriquecidos com documentação, propriedade e insights de uso. Novos sinais inteligentes destacam a qualidade dos dados, padrões de uso, relacionamentos e status de certificação, ajudando os usuários a avaliar rapidamente a confiança e a relevância. Além disso, com o Databricks Assistant integrado, os usuários podem fazer perguntas em linguagem natural e obter respostas claras e contextuais com base em métricas governadas.

Também estamos introduzindo novos recursos inteligentes em todo o Databricks para tornar a descoberta de dados mais fácil e intuitiva, onde quer que os usuários trabalhem na plataforma. Impulsionados pelo Unity Catalog, esses recursos ajudam as equipes a encontrar dados confiáveis mais rapidamente e a entender seu contexto rapidamente.

• Domínios (Em breve): Organize os dados por área de negócios para alinhar a descoberta com as operações da organização.
• Certificações e Tags de Descontinuação (Beta): Sinalize a confiança nos dados e a relevância dos negócios em conjuntos de dados, métricas e painéis. Os ativos marcados exibem de forma proeminente seu status em superfícies de criação como o editor SQL, mantendo os sinais de qualidade dos dados visíveis em todo o fluxo de trabalho do usuário. As certificações e as tags de descontinuação estão disponíveis como parte do Tag Policies Beta. 
• Solicitação de Acesso (Versão Prévia Privada): Para agilizar a entrega, os usuários podem solicitar instantaneamente acesso aos dados diretamente ao ativo.

Recursos adicionais de governança avançada agora disponíveis 

Governança de alto nível com controles escaláveis e orientados por atributos

A escalabilidade da governança de dados se torna cada vez mais desafiadora à medida que as organizações crescem, com mais usuários, equipes e ativos de dados para gerenciar. As políticas estáticas e os controles manuais não conseguem acompanhar, levando a lacunas de governança, riscos de segurança e gargalos operacionais. 

Para enfrentar esses desafios, o Unity Catalog agora fornece automação inteligente e controles flexíveis e escaláveis para classificar dados confidenciais, aplicar políticas de forma consistente e acelerar o acesso seguro aos dados em todo o lakehouse. 

• Controle de acesso baseado em atributos (ABAC): Defina políticas de acesso flexíveis usando tags que podem ser aplicadas no nível do catálogo, esquema ou tabela. O ABAC está disponível em Beta para segurança em nível de linha e coluna no AWS, Azure e GCP. 

• Políticas de tag: As políticas de tag impõem uma camada de governança para como as tags são criadas, atribuídas e usadas no Databricks. Essas políticas no nível da conta garantem que as tags permaneçam consistentes e confiáveis, suportando tudo, desde a classificação de dados até a atribuição de custos. As políticas de tag estão disponíveis em Beta no AWS, Azure e GCP. 

• Classificação de dados: Detecte e marque de forma inteligente dados confidenciais em todo o Unity Catalog. Novos dados são escaneados em 24 horas para detectar automaticamente novos PIIs, minimizando o esforço manual e permitindo que as equipes fiquem por dentro do acesso aos dados. Quando usado com ABAC, a classificação de dados protege automaticamente os dados confidenciais com base em suas políticas de controle de acesso. A classificação de dados está disponível em Beta no AWS, Azure e GCP. 

“Implementar o mascaramento de coluna em mais de 5.000 tabelas costumava ser um enorme esforço manual. Com o ABAC, podemos aplicar políticas consistentes dinamicamente, melhorando drasticamente a velocidade e a governança.” — Ramesh Balasubramanyan, Databricks Admin, SAIF

“A Classificação de Dados do Databricks tem sido uma virada de jogo em nossa estratégia de privacidade e segurança de dados. Combinado com o ABAC, ele nos permite proteger automaticamente dados confidenciais sem restringir os dados de que nossos analistas precisam. O maior benefício tem sido a velocidade, com a classificação e o mascaramento automatizados reduzindo significativamente a sobrecarga manual, liberando nossos recursos e economizando inúmeras horas por semana para nossa equipe.” — Mary Tesfay, Líder de Dados e Análise, Corp IT, Navitas

Monitoramento automatizado da qualidade de dados em escala

O Unity Catalog agora detecta de forma inteligente e ajuda a resolver problemas de qualidade de dados em todas as suas tabelas com monitoramento da qualidade de dados, disponível em beta no AWS, Azure e GCP. O monitoramento da qualidade dos dados verifica a atualização—com que frequência os dados foram atualizados recentemente—e a integridade—se os volumes de dados estão como esperado—usando inteligência de dados em esquemas inteiros. Os consumidores podem entender a integridade dos dados rapidamente com indicadores de integridade, enquanto os proprietários dos dados podem entender a prioridade dos problemas com base na linhagem downstream, descobrir a causa raiz e definir alertas usando logs e painéis integrados. 

Comece a usar o Unity Catalog, a base da Inteligência de Dados

O Unity Catalog continua evoluindo como a única camada de governança unificada do setor, a base para plataformas de dados seguras, inteligentes e com reconhecimento de negócios. Esteja você criando agentes de IA, fornecendo painéis de BI ou compartilhando dados entre organizações, o Unity Catalog conecta tudo por meio de um único catálogo aberto.

Para começar, siga os guias do Unity Catalog para AWS, Azure e GCP. 

Assista à apresentação principal da Data + AI Summit 2025 de Matei Zaharia, cofundador e diretor de tecnologia da Databricks, para saber mais sobre esses anúncios recentes. 

Registre-se para a Data + AI Summit e explore a trilha de governança de dados e IA

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original