Anunciando Disponibilidade Geral e Código Aberto dos Semânticos de Negócios do Unity Catalog

Com dados e IA se tornando centrais em todas as empresas, um entendimento consistente dos conceitos de negócios é essencial. Analistas, engenheiros, executivos e agora agentes de IA frequentemente interpretam os mesmos dados de maneiras diferentes, resultando em desvio de métricas, relatórios conflitantes e diminuição da confiança.

Por anos, esses conceitos de negócios viveram dentro de ferramentas de BI e dashboards. Na era da IA agentiva, onde agentes raciocinam sobre dados e agem autonomamente, definições fragmentadas não criam apenas confusão, elas a escalam. As empresas precisam de uma base semântica unificada, definida no núcleo da plataforma de dados e IA, governada uma vez e aplicada em todos os lugares. E ela precisa ser aberta. A semântica de negócios define como as organizações medem receita, crescimento, valor do cliente e risco. Essas definições são ativos estratégicos que não podem ser trancados em sistemas proprietários ou confinados a uma única camada de aplicação.

Hoje, estamos mudando isso com a Disponibilidade Geral de Unity Catalog Business Semantics, uma base semântica unificada e aberta que entrega contexto consistente e confiável em dashboards de BI, fluxos de trabalho de desenvolvedores e agentes de IA. Para tornar essa base verdadeiramente portátil, também estamos abrindo a implementação principal em Apache Spark, com suporte em Unity Catalog OSS v0.5 em breve.

Por que abordagens tradicionais para semântica de negócios falham

Os clientes usam há muito tempo camadas semânticas específicas de ferramentas de BI que entregam consistência dentro dessa ferramenta, mas essa abordagem tem limitações:

• Proprietário e fragmentado: Em um mundo multi-ferramenta e multi-agente, cada modelo de BI fala sua própria língua. Como resultado, as definições ficam trancadas dentro de dashboards, modelos e planilhas, tornando quase impossível governar, impor políticas de acesso ou rastrear linhagem em toda a organização.
• Definições muito downstream: Como essas camadas ficam na camada de apresentação em vez da base de dados, as equipes redefinem repetidamente as mesmas métricas para diferentes dashboards e relatórios. Essa abordagem downstream torna a semântica frágil, inconsistente e difícil de escalar.
• Inflexível para IA: Camadas tradicionais dependem de modelagem pesada e antecipada que não consegue acompanhar perguntas de negócios em rápida mudança ou os prompts abertos de agentes de IA. Cada mudança requer intervenção de especialista, atrasando a resposta e erodindo a confiança.

Essas limitações frustraram equipes de dados e IA por muito tempo. No cenário atual impulsionado por IA, onde agilidade e respostas confiáveis são inegociáveis, elas se tornaram uma barreira crítica para o progresso.

Unity Catalog Business Semantics: Uma abordagem unificada e aberta para semântica de negócios

Unity Catalog Business Semantics representa uma mudança fundamental, pois a semântica agora é unificada e governada no núcleo da Databricks Data Intelligence Platform. Construídas diretamente no Unity Catalog, elas estendem a mesma governança, segurança e linhagem em que você já confia e tornam essas definições disponíveis onde quer que você trabalhe.

Essa abordagem entrega três benefícios principais:

1. Aberto e reutilizável: Acessada via SQL e APIs, a semântica de negócios pode ser consultada em dashboards, notebooks, aplicações e agentes de IA. Armazenada em um formato aberto, é totalmente portátil e não confinada a ferramentas proprietárias.
2. Governado no núcleo: Herda as mesmas políticas de governança dos dados subjacentes. Essa abordagem upstream garante uso consistente, governança, linhagem e controle de acesso para fornecer uma única fonte de verdade tanto para os dados quanto para o significado de negócios.
3. Projetado para IA: Metadados semânticos ricos fornecem o contexto que os agentes precisam para responder novas perguntas com precisão e se adaptar à medida que os conceitos de negócios evoluem, sem modelagem pesada antecipada.

Metric Views nos ajudou a padronizar nossas métricas e a reduzir drasticamente o trabalho de reconciliação de números. As consultas são significativamente mais rápidas, em alguns casos até 10x, os dashboards são mais fáceis de construir e vimos melhorias significativas na precisão do Genie graças a dados pré-agregados mais consistentes. — Pedro Alves, Gerente de Dados, Tech Growth, iFood

Unity Catalog Business Semantics apresenta uma oportunidade empolgante para estabelecer consistência, confiança e controle na forma como as métricas de negócios são definidas e consumidas em toda a Zalando. É uma contribuição promissora para decisões alinhadas e orientadas por dados em nossos dashboards de BI, notebooks e outras ferramentas. — Timur Yüre, Gerente de Engenharia, Zalando

Base de código aberto para semântica de negócios

Um dos principais objetivos com Unity Catalog Business Semantics é garantir que os clientes possam definir o significado de negócios de uma forma aberta, portátil e projetada para funcionar em todo o seu ecossistema existente, sem aprisionamento tecnológico. As definições semânticas devem se integrar perfeitamente com ferramentas de BI, cargas de trabalho SQL e agentes de IA, e permanecer duráveis à medida que plataformas e padrões de consumo evoluem.

Para entregar isso, estamos abrindo a implementação principal de Metric View no Apache Spark OSS, visando a próxima versão do Apache Spark (Você pode acompanhar o progresso em SPARK-54119), com suporte em Unity Catalog OSS v0.5 em breve. Isso permite que os clientes definam a semântica de negócios usando SQL padrão em sistemas abertos, governados na base de dados em vez de embutidos em ferramentas downstream, e reutilizados consistentemente em superfícies de análise e IA.

A Databricks também apoia esforços mais amplos da indústria para melhorar a interoperabilidade em torno da semântica de negócios. A empresa aderiu à iniciativa Open Semantic Interchange (OSI) e está contribuindo ativamente para ela. Vemos iniciativas como a OSI como um passo importante para o alinhamento do ecossistema e contribuiremos de acordo, enquanto continuamos focados em construir uma base semântica aberta e governada na qual os clientes possam confiar em escala.

Detalhando as novidades na versão GA

Metric Views: KPIs confiáveis e consistentes

No coração desta versão GA estão os Metric Views, que estabelecem definições confiáveis e consistentes de KPIs de negócios com metadados semânticos como nomes de exibição, formatos e sinônimos que ajudam tanto humanos quanto IA a interpretar e aplicar essas definições com confiança. Metric Views permitem definir mapeamentos de dados, medidas e dimensões centralmente em SQL e governá-los diretamente no Unity Catalog. As definições se tornam portáteis em todas as superfícies: Dashboards de IA/BI, Genie, Notebooks, aplicações SQL e ferramentas de terceiros conectadas ao Databricks. Como cada métrica é definida declarativamente, o motor compila e executa o SQL subjacente de forma determinística no momento da consulta, garantindo que cada consumidor, seja humano ou agente de IA, obtenha o mesmo resultado da mesma definição, independentemente de como ou onde a acessa.

O que há de novo:

Materialização para desempenho de consulta:  Unity Catalog Business Semantics combina definições governadas com desempenho em escala através de materializações. Em vez de forçar as equipes a decidir qual tabela de agregação acessar, duplicar lógica para diferentes níveis de desempenho ou construir pipelines separados para diferentes cargas de trabalho, a camada semântica lida com o desempenho automaticamente. Veja como:

• Pré-agregação automática: Ao definir materializações para uma métrica, a plataforma mantém resultados otimizados e pré-agregados sem intervenção manual
• Atualização incremental: Resultados materializados permanecem atualizados por meio de atualizações incrementais, para que as métricas nunca fiquem desatualizadas e a recomputação completa raramente seja necessária
• Reescrita inteligente de consultas: No momento da consulta, o mecanismo reescreve as consultas para aproveitar a melhor materialização disponível
• Roteamento transparente: Os usuários consultam métricas da mesma forma de sempre, enquanto o sistema roteia cada solicitação para o caminho mais rápido nos bastidores

A materialização está em Preview e para saber mais, consulte a documentação (AWS, Azure, GCP).

Criação com nova interface e experiências de IA agentiva: Agora, em Public Preview, você pode criar e gerenciar Metric Views por meio de uma nova interface de apontar e clicar no Unity Catalog Explorer, tornando a modelagem semântica acessível para usuários técnicos e não técnicos, sem a necessidade de SQL complexo ou expertise profunda em modelagem de dados. A interface permite definir relacionamentos entre tabelas visualmente, criar gráficos de métricas inline e testar tudo de ponta a ponta antes de publicar, tudo sem sair do navegador. Para saber mais sobre a criação baseada em interface, consulte a documentação (AWS, Azure, GCP).

Genie Code acelera ainda mais o processo de criação, trazendo IA agentiva diretamente para o fluxo de trabalho de criação. Em vez de começar com uma página em branco, o Genie Code pode:

• Acelerar a criação de modelos semânticos: Sugerir medidas, dimensões, sinônimos e documentação para que as equipes comecem em minutos, em vez de semanas
• Refinar e refatorar: Identificar problemas em definições existentes e recomendar melhorias à medida que a lógica de negócios evolui
• Validar alterações: Testar edições propostas em dados reais para que você possa identificar erros antes que eles se propaguem
• Permitir gerenciamento granular de alterações: Revisar e aprovar alterações individuais de métricas com visibilidade total do que mudou e por quê


Metric Views vão além da definição de KPIs. Cada Metric View carrega metadados semânticos ricos, nomes de exibição, formatos e sinônimos, que a tornam compreensível e utilizável por humanos e IA, garantindo apresentação consistente em dashboards e interfaces de conversação, ao mesmo tempo que ajuda a IA a interpretar corretamente a terminologia de negócios e as consultas em linguagem natural.

Como a semântica de negócios potencializa a IA/BI da Databricks

Com este lançamento GA, os Dashboards de IA/BI e o Genie agora estão totalmente integrados com a Semântica de Negócios do Unity Catalog. Na prática, isso desbloqueia três benefícios principais:

Na prática, isso desbloqueia três benefícios principais:

1. Dashboards de IA/BI potencializados por métricas governadas: Agora você pode criar dashboards diretamente em Metric Views no Unity Catalog. Cada visual, filtro, drill-through e comparação usa o mesmo conjunto certificado de medidas e dimensões, garantindo números consistentes entre equipes e ferramentas.
2. Genie baseado na sua linguagem de negócios: Espaços Genie podem ser criados diretamente sobre Metric Views, o que significa que cada consulta em linguagem natural que o Genie responde é baseada em definições governadas e determinísticas, não em lógica inferida. Como as Metric Views são compiladas em consultas lógicas em tempo de execução, os usuários sempre obtêm resultados corretos e consistentes. O Genie não está mais alucinando métricas; ele as está resolvendo a partir de uma única fonte de verdade.
3. Promova a lógica do dashboard para sua camada semântica: Ao criar um novo Dashboard de IA/BI sem uma Metric View existente, quaisquer junções de tabelas, filtros ou campos calculados que você construir agora podem ser promovidos para uma nova Metric View no Unity Catalog com uma única ação. Ela se torna instantaneamente parte da camada semântica da sua organização, disponível em Genie, SQL, notebooks e ferramentas de BI externas. Além disso, seu dashboard se beneficiará automaticamente da materialização de Metric View, melhorando significativamente o desempenho de suas consultas subjacentes.

Estenda sua semântica para suas ferramentas favoritas

Uma base semântica forte se torna ainda mais valiosa quando viaja além de uma única plataforma. É por isso que trabalhamos em estreita colaboração com um rico ecossistema de parceiros de tecnologia que se integram diretamente com a Semântica de Negócios do Unity Catalog.



• Tableau: O Tableau planeja adicionar suporte para semânticas delegadas de provedores de métricas externas, incluindo a Semântica de Negócios do Unity Catalog da Databricks, dentro de seu modelo de dados relacional. Isso garantirá que os analistas possam confiar que as métricas são definidas de forma consistente e agregadas com precisão pela camada semântica subjacente. A integração está prevista para o final de 2026.

  O Tableau está animado para trazer a Semântica de Negócios do Unity Catalog para nosso modelo de dados relacional, dando a analistas e organizações a capacidade de definir métricas e metadados uma vez e ter o Tableau aplicando automaticamente a semântica correta para insights consistentes e confiáveis. — Nicolas Brisoux, Sr. Director Product Management, Tableau

• Sigma Computing: O Sigma se integra diretamente com a Semântica de Negócios do Unity Catalog consultando Metric Views em tempo real, garantindo que as definições mais atuais sejam refletidas instantaneamente sem movimentação de dados. Essa arquitetura permite que o Sigma funcione como uma extensão transparente do seu Lakehouse, herdando estritamente os protocolos de segurança e governança do Unity Catalog no ponto de execução.

  Na Sigma, estamos trabalhando duro para nos integrar com a Semântica de Negócios do Unity Catalog porque isso permite que nossos clientes combinem a experiência semelhante a uma planilha do Sigma com definições de negócios governadas, garantindo análises rápidas, consistentes e confiáveis para todos. — Jordan Stein, Gerente de Produto, Sigma

• ThoughtSpot: Mais tarde este ano, a ThoughtSpot adicionará suporte nativo para Metric Views do Unity Catalog, permitindo que usuários do Spotter consultem instantaneamente métricas governadas da Databricks em linguagem natural. Isso elimina SQL personalizado e oferece às organizações acesso flexível, preciso e rápido a métricas de negócios confiáveis em toda a sua pilha de dados.

  A ThoughtSpot está entusiasmada em aprofundar nossa parceria com a Databricks por meio da Semântica de Negócios do Unity Catalog, dando aos clientes muito mais flexibilidade em como e onde eles gerenciam sua semântica de negócios. — Francois Lopitaux, SVP de Produto, ThoughtSpot

• Hex: As Visualizações de Métricas do Unity Catalog agora estão totalmente integradas ao Hex. Os usuários podem navegar pelas Visualizações de Métricas diretamente de suas conexões Databricks, consultá-las com SQL em notebooks Hex e criar aplicativos de dados com base em definições governadas. Isso facilita a transição da exploração para aplicativos de produção sem redefinir métricas.

Com as Visualizações de Métricas do Unity Catalog no Hex, as equipes trabalham com métricas confiáveis e governadas - reduzindo inconsistências e avançando mais rapidamente com insights confiáveis. — Armin Efendic, Partner Engineer, Hex

• Omni: Com o Omni, as equipes podem analisar Visualizações de Métricas através de experiências familiares, como planilhas, SQL ou chat com IA.  O Omni também permite que usuários de negócios definam novas métricas e dimensões à medida que exploram dados, e então enviem essas atualizações de volta ao Unity Catalog via API. Isso cria uma única fonte de verdade no Unity Catalog, ao mesmo tempo que permite que especialistas de negócios contribuam diretamente para o modelo semântico da organização. Isso permite que equipes de dados e especialistas de negócios contribuam diretamente para o modelo semântico.

  Fundamentar a IA no contexto de negócios é a única maneira de torná-la confiável. Nossa integração com as Visualizações de Métricas do Unity Catalog traz definições governadas para todas as interfaces - IA, planilhas, dashboards e SQL. Com a sincronização bidirecional entre Omni e Databricks, as equipes podem definir e atualizar métricas em qualquer um dos sistemas, mantendo tudo alinhado. Essa consistência ajuda os clientes a escalar o autoatendimento, acelerar a adoção de IA e potencializar produtos de dados confiáveis voltados para o cliente. — Jamie Davidson, Co-founder, Omni

• Atlan: A integração nativa da Atlan com as Métricas UC traz suas métricas mais críticas diretamente para o Context Graph da Atlan, associando-as a linhagem, proprietários e definições de negócios sem adicionar sobrecarga de permissões. Isso oferece às equipes uma visão única e confiável das métricas no fluxo de trabalho, permitindo solução de problemas mais rápida, melhor tomada de decisão e dados prontos para IA em escala.

  As métricas são o pulso da plataforma de Dados e IA de toda empresa. Ao trazer as Métricas UC para o Context Graph da Atlan - com linhagem, contexto de negócios e zero permissões adicionais - nossos clientes obtêm inteligência operacional que antes estava fora de alcance. Este é um passo significativo em direção a dados prontos para IA em escala. — Chandru, Product Leader, Atlan

• Monte Carlo: O Monte Carlo agora suporta Visualizações de Métricas no Unity Catalog, oferecendo observabilidade de ponta a ponta em suas métricas de negócios padronizadas e nos pipelines que as alimentam.

  Dados e IA confiáveis começam com métricas de negócios governadas. As Métricas do Unity Catalog facilitam a padronização de KPIs em escala, e com o Monte Carlo, os líderes de dados podem confiar nesses insights para impulsionar o impacto real nos negócios. — Lior Gavish, Co-founder and CTO, Monte Carlo

• Collibra: A Collibra traz visibilidade confiável para suas métricas Databricks para que humanos e agentes de IA possam descobri-las e usá-las facilmente para decisões de negócios. A integração aprimorada melhora a visualização de métricas, permite que métricas aprovadas pela Collibra fluam diretamente para o Databricks e adiciona sincronização bidirecional para garantir métricas consistentes e confiáveis em todo o seu patrimônio de dados.

  Métricas governadas e consistentes são necessárias para que agentes de IA e usuários de dados entendam, confiem e automatizem fluxos de trabalho. Nossos clientes conjuntos continuam querendo uma colaboração próxima entre Databricks e Collibra. — Tom Dejonghe, VP, Product Management, Data Governance, Collibra

• Domo: Agora se integra às Visualizações de Métricas do Unity Catalog, permitindo que métricas governadas do Databricks fluam diretamente para os dashboards, análises e fluxos de trabalho com IA do Domo. Isso reduz a duplicação, fortalece a governança e acelera o tempo de obtenção de insights sobre KPIs confiáveis.

  Integrar as métricas governadas do Databricks com o Domo ajuda os clientes a reduzir a duplicação, melhorar a governança e acelerar insights sobre KPIs confiáveis. — Matthew Payne, VP Engineering, Domo

• Anomalo: A Anomalo se junta como parceira de lançamento para Métricas Governadas do Unity Catalog, combinando a camada semântica unificada do Databricks com o monitoramento automatizado de métricas da Anomalo. Essa integração ajuda as empresas a detectar desvios e problemas de qualidade de dados precocemente, garantindo métricas precisas e confiáveis para decisões críticas.

  Ao combinar a camada semântica unificada do Databricks com o monitoramento de métricas da Anomalo, ajudamos os clientes a detectar desvios precocemente e manter suas métricas precisas e confiáveis em escala. — Amy Reams, Vice President of Business Development and Marketing, Anomalo

Juntas, essas e futuras integrações garantem que semânticas consistentes e governadas fluam por todo o ecossistema de análise e IA, indo muito além do Databricks.

Começando com Semânticas de Negócios do Unity Catalog

Estamos incrivelmente animados com este lançamento. Com a semântica agora como parte central da sua plataforma de dados, o contexto corporativo flui para todos os lugares, de dashboards e agentes de IA a notebooks e ferramentas de BI externas, eliminando silos de métricas, vendor lock-in e inconsistências entre ferramentas. Construída sobre uma base aberta, sua camada semântica funciona onde quer que seus dados estejam.
Explore a  documentação  (AWS, Azure,  GCP) para um guia detalhado sobre como começar a definir semânticas de negócios, controlar permissões e vários métodos de consumo. 
Explore demonstrações de produtos para ver as semânticas de negócios em ação com dashboards de IA/BI e espaços Genie.

• Visão Geral das Visualizações de Métricas do Unity Catalog
• Exibindo Visualizações de Métricas em IA/BI
• Consultando Visualizações de Métricas de um Editor SQL

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original