O que há de novo no Unity Catalog da Databricks no Data + AI Summit 2025

Quatro anos atrás, a Databricks viu uma tremenda complexidade na paisagem de dados: catálogos separados para cada plataforma, ferramentas de governança isoladas em nuvens e nenhuma maneira unificada de proteger ativos de IA. Nós pioneirizamos Governança Unificada ao lançar Catálogo Unity, uma camada de catálogo aberta e flexível para gerenciar acesso, linhagem, auditoria e descoberta em todos os dados e ativos de IA.

Hoje, o Unity Catalog se tornou a base do Plataforma de Inteligência de Dados Databricks e a única solução de governança unificada da indústria para dados e IA em diferentes formatos, nuvens e motores. Desde o compartilhamento de dados abertos até a segurança e governança de conhecimento detalhados, o Unity Catalog ajuda as organizações a trazer contexto, controle e confiança para seu conjunto de dados.

No Data + AI Summit deste ano, estamos anunciando grandes inovações no Unity Catalog, oferecendo o melhor catálogo para o Apache Iceberg™, novas experiências para usuários de negócios e governança inteligente para proteger dados sensíveis e garantir a qualidade de dados confiável em escala.

Aqui está o que há de novo.

O Melhor Catálogo para Apache Iceberg™

Organizações que adotam um lakehouse são frequentemente forçadas a escolher entre Delta Lake e Apache Iceberg™. Essa escolha cria silos artificiais: restringindo o acesso aos dados e às ferramentas de IA que as equipes podem usar, fragmentando a governança e bloqueando metadados em catálogos específicos de formato.

O Catálogo Unity elimina a necessidade de escolher. Construído com base em padrões abertos, o Catálogo Unity é o único catálogo unificado que funciona perfeitamente entre formatos, motores e nuvens, tornando-o a base do lago de dados aberto. No último ano, após a aquisição da Tabular, investimos profundamente no Apache Iceberg para estender essa visão. Estamos animados para anunciar:

• Suporte total para a API REST do Catálogo Iceberg, permitindo que motores externos leiam (Disponível Geralmente) e escrevam (Pré-visualização Pública) em tabelas Iceberg gerenciadas pelo Catálogo Unity. Isso é um grande diferencial no mercado, eliminando o bloqueio de formato e permitindo total interoperabilidade incomparável por qualquer outra solução. 
• Tabelas gerenciadas pelo Iceberg estão agora em Pré-visualização Pública, oferecendo o melhor preço e desempenho, agrupamento líquido, otimização preditiva, e total integração com Databricks e em motores externos, incluindo Trino, Snowflake e Amazon EMR.
• Federação de catálogos Iceberg está em Visualização Pública, permitindo que você governe e consulte tabelas Iceberg gerenciadas no AWS Glue, Hive Metastore e Snowflake Horizon sem copiar dados.
• Compartilhamento Delta para Iceberg agora está em Visualização Privada, permitindo que você compartilhe tabelas do Unity Catalog e tabelas Delta com qualquer destinatário usando o Compartilhamento Delta e as consuma em qualquer cliente que suporte a API do Catálogo REST Iceberg.

Juntas, essas capacidades quebram os silos de formato e destacam o Unity Catalog como o único catálogo que oferece governança e interoperabilidade verdadeiramente abertas e unificadas. Confira nosso blog sobre suporte ao Iceberg para saber mais sobre esses anúncios. 

Expansão do Catálogo Unity para usuários de negócios

As plataformas de dados não devem parar no usuário técnico. Os usuários de negócios precisam de uma maneira clara e consistente de encontrar, confiar e trabalhar com dados. O Unity Catalog agora oferece uma base unificada para o contexto de negócios para preencher a lacuna entre as equipes de dados e de negócios. 

Métricas do Catálogo Unity: Uma camada semântica para todas as cargas de trabalho de dados e IA

Definições inconsistentes de métricas entre ferramentas e equipes há muito tempo causam confusão, desalinhamento e falta de confiança nos dados. Métricas do Catálogo Unity, agora em Visualização Pública em AWS, Azure, e GCP e Disponível Geralmente ainda neste verão, resolve isso tornando as métricas de negócios ativos de primeira classe no lakehouse. Ao contrário das métricas definidas apenas na camada de BI, que limitam a reutilização e integração, definir métricas na camada de dados torna a semântica de negócios reutilizável em todas as cargas de trabalho, como painéis, modelos de IA e trabalhos de engenharia de dados. As Métricas do Catálogo Unity também são totalmente endereçáveis via SQL para garantir que todos na organização possam ter a mesma visão das métricas, independentemente da ferramenta que escolherem.

• Defina uma vez, use em todos os lugares: Crie métricas uma vez no Unity Catalog e use-as em painéis de AI/BI, Genie, Notebooks, SQL e trabalhos do Lakeflow. Integrações futuras estenderão o suporte para ferramentas de BI como Tableau, Hex, Sigma, ThoughtSpot, Omni e ferramentas de observabilidade como Anomalo e Monte Carlo.
• Regulado e auditável por padrão: Métricas certificadas vêm com auditoria e linhagem prontas, permitindo insights confiáveis e em conformidade com as equipes.

"Unity Catalog Metrics nos dá um lugar central para definir KPIs de negócios e padronizar semânticas entre equipes, garantindo que todos trabalhem a partir das mesmas definições confiáveis em painéis, SQL e aplicações de IA." — Richard Masters, Vice-Presidente, Dados & IA, Virgin Atlantic

"Unity Catalog Metrics representa uma oportunidade empolgante para os clientes do Tableau aproveitarem o valor da governança centralizada com o Databricks Unity Catalog. Por meio de nossa integração profunda e roteiro em expansão com o Databricks, estamos entusiasmados em ajudar a remover o atrito para nossos clientes ao usar o Databricks para definir suas métricas de negócios principais." — Nicolas Brisoux, Sr. Diretor de Gestão de Produtos, Tableau

Novas experiências de descoberta curadas com insights inteligentes

Para capacitar totalmente os usuários de negócios, você deve tornar os dados confiáveis fáceis de encontrar, entender e usar. O Unity Catalog está estendendo sua governança consciente de negócios com uma nova experiência Discover, agora em Visualização Privada, um mercado interno selecionado de produtos de dados certificados organizados por domínios de negócios como Vendas, Marketing ou Finanças. 

Recomendações alimentadas por IA e curadoria de administradores de dados ajudam a destacar os ativos de maior valor, como métricas, painéis, tabelas, agentes de IA e espaços Genie que são enriquecidos com documentação, propriedade e insights de uso. Novos sinais inteligentes destacam a qualidade dos dados, padrões de uso, relações e status de certificação, ajudando os usuários a avaliar rapidamente a confiança e a relevância. Além disso, com o Databricks Assistant integrado, os usuários podem fazer perguntas em linguagem natural e obter respostas claras e conscientes do contexto com base em métricas governadas.

Também estamos introduzindo novas capacidades inteligentes em todo o Databricks para tornar a descoberta de dados mais fácil e intuitiva, onde quer que os usuários trabalhem na plataforma. Alimentadas pelo Unity Catalog, essas funcionalidades ajudam as equipes a encontrar dados confiáveis mais rapidamente e entender seu contexto de forma rápida.

• Domínios (Em breve): Organize os dados por área de negócio para alinhar a descoberta com as operações da organização.
• Certificações e Tags de Depreciação (Beta): Sinalize a confiança nos dados e a relevância dos negócios em conjuntos de dados, métricas e painéis. Ativos marcados exibem proeminentemente seu status em superfícies de autoria como o editor SQL, mantendo os sinais de qualidade dos dados visíveis ao longo do fluxo de trabalho do usuário. Certificações e tags de depreciação estão disponíveis como parte do Beta de Políticas de Tags. 
• Solicitação de Acesso (Visualização Pública): Para agilizar a entrega, os usuários podem solicitar instantaneamente o acesso aos dados diretamente no ativo.

Capacidades avançadas de governança agora disponíveis 

Governança de alta alavancagem com controles escaláveis e orientados por atributos

A governança de dados se torna cada vez mais desafiadora à medida que as organizações crescem, com mais usuários, equipes e ativos de dados para gerenciar. Políticas estáticas e controles manuais não conseguem acompanhar, levando a lacunas de governança, riscos de segurança e gargalos operacionais. 

Para enfrentar esses desafios, o Unity Catalog agora oferece automação inteligente e controles flexíveis e escaláveis para classificar dados sensíveis, aplicar políticas de forma consistente e acelerar o acesso seguro aos dados em toda a lakehouse. 

• Controle de acesso baseado em atributos (ABAC): Defina políticas de acesso flexíveis usando tags que podem ser aplicadas no nível do catálogo, esquema ou tabela. O ABAC está disponível em Beta para segurança em nível de linha e coluna em AWS, Azure, e GCP. 

• Políticas de tags: As políticas de tags impõem uma camada de governança sobre como as tags são criadas, atribuídas e usadas em todo o Databricks. Essas políticas de nível de conta garantem que as tags permaneçam consistentes e confiáveis, apoiando tudo, desde a classificação de dados até a atribuição de custos. As políticas de tags estão disponíveis em Beta em AWS, Azure, e GCP. 

• Classificação de dados: Detecte e marque de forma inteligente dados sensíveis em todo o Catálogo Unity. Novos dados são verificados em até 24 horas para detectar automaticamente novos PII, minimizando o esforço manual e permitindo que as equipes fiquem por dentro do acesso aos dados. Quando usado com ABAC, a Classificação de Dados protege automaticamente os dados sensíveis com base em suas políticas de controle de acesso. A Classificação de Dados está disponível em Beta em AWS, Azure, e GCP. 

“Implementar a ocultação de colunas em mais de 5.000 tabelas costumava ser um esforço manual enorme. Com o ABAC, conseguimos aplicar políticas consistentes dinamicamente, melhorando drasticamente tanto a velocidade quanto a governança.” — Ramesh Balasubramanyan, Administrador do Databricks, SAIF

“A Classificação de Dados da Databricks tem sido um divisor de águas em nossa estratégia de privacidade e segurança de dados. Juntamente com o ABAC, nos permite proteger automaticamente os dados sensíveis sem restringir os dados de que nossos analistas precisam. O maior benefício tem sido a velocidade, com classificação e mascaramento automatizados reduzindo significativamente o trabalho manual, liberando nossos recursos e economizando inúmeras horas para nossa equipe todas as semanas.” — Mary Tesfay, Líder de Dados & Analytics, Corp IT, Navitas

Monitoramento automatizado da qualidade dos dados em escala

O Catálogo Unity agora detecta e ajuda a resolver problemas de qualidade de dados em todas as suas tabelas com monitoramento de qualidade de dados, disponível em beta em AWS, Azure, e GCP. O monitoramento de qualidade de dados verifica frescor—quão recentemente os dados foram atualizados—e completude—se os volumes de dados estão conforme o esperado—usando inteligência de dados em todos os esquemas. Os consumidores podem entender a saúde dos dados de relance com indicadores de saúde, enquanto os proprietários de dados podem entender a prioridade dos problemas com base na linhagem downstream, descobrir a causa raiz e definir alertas usando registros e painéis integrados. 

Comece com o Unity Catalog, a base da Inteligência de Dados

O Unity Catalog continua evoluindo como a única camada de governança unificada da indústria, a base para plataformas de dados seguras, inteligentes e conscientes do negócio. Seja você está construindo agentes de IA, entregando painéis de BI ou compartilhando dados entre organizações, o Catálogo Unity conecta tudo através de um único catálogo aberto.

Para começar, siga os guias do Catálogo Unity para AWS, Azure, e GCP. 

Assista ao Data + AI Summit 2025 keynote de Matei Zaharia, Co-fundador e Diretor de Tecnologia da Databricks, para saber mais sobre esses recentes anúncios. 

Registre-se para o Data + AI Summit e explore o track de governança de dados e IA

(This blog post has been translated using AI-powered tools) Original Post