Operacionalizando a Ontologia do Genie no seu Data Stack

Além do modelo semântico: Construindo contexto de negócios compartilhado para agentes de AI

Grandes modelos de linguagem sabem como raciocinar, mas não conhecem o seu negócio. Dar à AI empresarial o contexto de negócios de que ela precisa significa mais do que conectá-la aos dados. Os agentes também precisam entender suas definições, relacionamentos, regras de negócios, fontes autorizadas e permissões. A Genie Ontology preenche essa lacuna combinando a semântica de negócios modelada com o contexto aprendido a partir de tabelas governadas, consultas, dashboards, notebooks e outros ativos compatíveis que suas equipes já usam. O Genie classifica esse contexto por autoridade e relevância, aplica permissões e entrega o contexto mais útil ao Genie no momento da resposta. Agentes externos também podem acessar a inteligência do Genie por meio do MCP.

Um bom modelo semântico fornece um núcleo de autoridade. Os modelos semânticos capturam os conceitos de negócios que você define deliberadamente; uma ontologia estende essa base com relacionamentos mais amplos, conhecimento e o contexto de que a AI precisa para entender como o negócio realmente opera. No jargão da Databricks, as Unity Catalog Semantics combinam Metric Views, Pages e Domains para estabelecer suas definições de negócios confiáveis. A Genie Ontology, então, baseia-se nesse núcleo modelado incorporando o contexto inferido de seus ativos existentes, dando aos agentes uma compreensão muito mais ampla do negócio do que um modelo semântico sozinho poderia fornecer.

A chave é modelar a "cabeça" e deixar a Genie Ontology inferir a "cauda". O Genie trabalha a partir do que pode aprender automaticamente no primeiro dia, enquanto a curadoria deliberada melhora as definições e fontes críticas que precisam estar corretas.

As seis camadas a seguir são práticas progressivas para aumentar a confiança ao longo do tempo, não pré-requisitos para o Genie começar a entregar valor.

Vamos analisar cada camada para obter uma compreensão mais profunda.

Camada 0: Acerte a base de dados para os agentes

Antes de descrever ou modelar qualquer coisa, os dados subjacentes precisam estar em um formato sobre o qual um agente possa raciocinar. Esta camada trata da base física: tabelas de dados limpas, esquemas sólidos e uma identidade consistente por entidade do mundo real. A modelagem lógica de negócios vem mais tarde, na Camada 2. É fácil pular esta camada, mas custa caro corrigi-la depois, pois nenhuma quantidade de bons metadados ou modelagem semântica pode compensar uma base física corrompida.

Acertar a base de dados significa focar em duas áreas principais:

1. Modele a camada gold durável em torno dos processos de negócios. Isso inclui identificar fatos com uma granularidade clara e dimensões conformadas e reutilizáveis. Um star schema ou modelo híbrido oferece uma base confiável de fatos e dimensões sem copiar a lógica de negócios em cada tabela downstream. Isso não significa que os agentes devam raciocinar sobre tabelas dimensionais brutas. A interface que um agente vê pode ser mais estreita, e frequentemente deve ser: uma Metric View ou uma visualização criada especificamente que pré-combina as dimensões comuns para um domínio, expõe apenas os campos que importam, documenta a granularidade e define suas medidas de forma canônica. Você construirá exatamente isso na Camada 2. O objetivo é moldar a superfície de consumo deliberadamente sobre um modelo sólido, em vez de expor o agente a um despejo de dados. Uma tabela larga não é o problema. Uma tabela larga com granularidades mistas, conceitos de negócios duplicados e sem definições de métricas canônicas é um convite a adivinhações.
2. Resolva entidades em registros golden. Se "cliente" significa contas ativas em Vendas e absolutamente todas as contas no Suporte, o agente não saberá em qual definição confiar. Se o mesmo cliente tiver três IDs diferentes em vários sistemas, ele também poderá ser contado duas vezes. Reconcilie a mesma entidade do mundo real entre as fontes para que um cliente seja, de fato, um cliente.

Camada 1: Enriqueça seus metadados

Os metadados são a base descritiva que ajuda tanto a camada semântica quanto a extração de contexto a entender seus dados. Quando uma tabela se chama fct_rev_daily e uma coluna se chama rev_amt, o agente precisa adivinhar o que elas significam. Quando a mesma tabela traz uma descrição que diz "receita diária reconhecida, líquida de reembolsos, por produto" e a coluna tem um comentário que diz "receita reconhecida em USD", o agente tem algo real para raciocinar. Boas descrições são um dos investimentos de maior retorno e menor custo que você pode fazer, e elas melhoram todas as ferramentas downstream, não apenas o Genie.

Aqui estão três etapas essenciais a serem seguidas.

1. Adicione descrições de tabelas e comentários de colunas no Unity Catalog. Escreva para um novo analista que não conhece seu esquema: diga o que os dados representam, qual é o seu objetivo de negócios e sinalize quaisquer ressalvas conhecidas. Concentre o esforço onde ele traz mais retorno, nas tabelas selecionadas e prontas para os negócios que os dashboards e agentes realmente consultam.
2. Aplique tags para classificar e organizar. As descrições fornecem o significado narrativo; as tags fornecem sinais estruturados para classificação, descoberta e governança. Use-as para capturar confidencialidade (PII, PHI, PCI), propriedade, função de negócios e outros atributos que precisam ser compreendidos de forma consistente em todo o acervo de dados. As tags governadas permitem que os administradores definam um conjunto aprovado de chaves e valores para que a classificação permaneça consistente, em vez de variar de equipe para equipe. Esses sinais também podem alimentar políticas de acesso e outros controles de governança posteriormente.
3. Automatize a primeira etapa onde o volume torna o trabalho manual inviável. O Databricks Solution Accelerator, dbxmetagen, usa grandes modelos de linguagem para gerar descrições, detectar e marcar dados confidenciais e propor classificações. Nada é gravado no Unity Catalog até que um humano revise e aprove, de modo que ele acelera o trabalho em vez de substituir o julgamento humano.

Camada 2: Modele o negócio com uma camada semântica

Os metadados explicam tabelas individuais. A camada semântica define a lógica de negócios por cima, para que as métricas mais importantes signifiquem a mesma coisa onde quer que sejam usadas. Enquanto a Camada 0 estabeleceu a base física, esta camada cria o modelo lógico: medidas, relacionamentos, domínios e termos.

Aqui estão três etapas importantes:

1. Declare seus relacionamentos. Os agentes realizam o join de tabelas para responder a perguntas e, se precisarem adivinhar como as tabelas se conectam, às vezes adivinharão errado. Declarar chaves primárias e estrangeiras no Unity Catalog diz aos agentes como as tabelas se relacionam, para que eles façam o join corretamente em vez de inventar caminhos. Essas restrições são informativas e não obrigatórias, portanto, seu processo de governança precisa mantê-las precisas, mas declará-las é uma das maneiras mais diretas de reduzir erros de join. Os relacionamentos fazem parte do modelo tanto quanto as próprias métricas.
2. Construa um modelo semântico usando Metric Views. Uma Metric View é um objeto do Unity Catalog que define suas medidas (os números agregados, como receita total) e dimensões (as formas como você os divide, como região ou mês) uma única vez, como código governado. Como a agregação é resolvida no momento da consulta em vez de ser integrada, os consumidores que consultam a Metric View usam a mesma definição governada. Esta é uma das etapas mais importantes para a precisão, pois elimina a ambiguidade que faz com que os agentes escolham a definição errada. Defina seus KPIs críticos como Metric Views primeiro: esses são os números que absolutamente não podem estar errados, como receita, clientes ativos e medidas essenciais de conformidade.
3. Adicione metadados voltados para o agente às suas métricas. As Metric Views podem conter nomes de exibição e sinônimos, para que a linguagem natural como "vendas" seja mapeada para a medida correta, padrões de formato para moeda e datas, além de consultas de exemplo. Esses metadados fluem para a Genie Ontology, de modo que o trabalho realizado para modelar uma métrica também facilita para o agente encontrá-la e usá-la corretamente.
4. Organize e documente. Os Domínios e subdomínios do Unity Catalog agrupam ativos em coleções alinhadas ao negócio para que o contexto permaneça delimitado. Isso melhora a velocidade e a precisão do Genie, pois ele pode focar sua descoberta em ativos dentro de áreas de negócios relevantes, em vez de pesquisar em todo o acervo. As Páginas do Unity Catalog capturam os termos, conceitos e definições de negócios compartilhados que os usuários de negócios e agentes usam para raciocinar. Cada Página lista os ativos autoritativos vinculados a esse conceito, de modo que, quando a ontologia resolve um termo de uma pergunta, ela já sabe em quais tabelas, Metric Views e consultas se basear, em vez de pesquisar no acervo e adivinhar. A revisão do proprietário mantém essas definições confiáveis e, por serem declaradas e revisadas por humanos, elas têm mais autoridade do que o contexto inferido quando a ontologia precisa resolver um conflito.

Automatizando a modelagem semântica com o Genie Code

É claro que o processo de modelagem semântica não precisa ser um esforço puramente manual. Você pode aproveitar o Genie Code para criar e manter Metric Views usando instruções em linguagem natural. No prompt do Genie Code, descreva as tabelas de origem, junções, campos, medidas e filtros, e ele gerará o YAML para você revisar antes de salvar. Você também pode usar a habilidade /importBI no Genie Code para importar modelos semânticos do Tableau ou do Power BI, e ele criará uma Metric View, que você poderá promover para o Unity Catalog para reutilização, governança, linhagem e descoberta.

O Genie Code também pode rascunhar Páginas. No editor de Páginas, selecione um domínio, anexe arquivos relevantes, links, ativos do Unity Catalog ou conteúdo conectado por MCP, e o Genie Code rascunhará os campos estruturados e o corpo da Página em formato rich text. Revise o rascunho, adicione as Fontes e ativos Relacionados apropriados e, em seguida, salve ou publique. Para múltiplos conceitos, use a Importação em lote de páginas. O Genie Code extrai e elimina duplicatas de Páginas propostas a partir de seus documentos e fontes, sinaliza conflitos, duplicatas e termos de baixa confiança para revisão, e cria as Páginas aprovadas como rascunhos para posterior edição e publicação.

Camada 3: Fazer a curadoria de ativos ricos em contexto

A parte inferida da ontologia aprende com os ativos que suas equipes já produzem, como dashboards, notebooks, consultas SQL, Agentes Genie e documentação. Quanto mais rico e confiável for o seu acervo de dados, mais útil se tornará o contexto inferido. A Camada 3 trata de fazer com que valha a pena aprender com esses ativos.

Aqui estão quatro etapas essenciais:

1. Construa uma base de ativos profunda e bem utilizada. Um espaço de trabalho com muitos dashboards, consultas e Agentes Genie bem documentados e amplamente utilizados fornece à ontologia mais material para aprender do que um espaço de trabalho esparso. À medida que esses ativos são usados e aprimorados, os sinais disponíveis para extração de contexto tornam-se mais ricos.
2. Torne seus ativos ricos em contexto. Quanto mais rico for um ativo, mais a ontologia poderá aprender com ele. Ao enriquecer um Agente Genie com definições, exemplos e instruções, você não apenas obtém um agente com melhor desempenho, mas também fornece à Ontologia do Genie um contexto mais forte para extrair e classificar em todo o acervo. Faça o mesmo para seus outros ativos: documente notebooks com células Markdown, consultas SQL salvas com comentários e dashboards de AI/BI com descrições e anotações. Juntos, eles fornecem o conhecimento de negócios rico e de cauda longa no qual a Ontologia do Genie se baseia.
3. Certifique os ativos em que você confia. A Certificação marca seus ativos de dados e AI, como Metric Views, Agentes Genie ou Notebooks, como validados e aprovados, e serve como um forte sinal para determinar quais fontes são autoritativas. Ativos certificados e amplamente utilizados têm mais autoridade do que os não verificados, portanto, certificar seus ativos confiáveis influencia diretamente qual contexto prevalece em um conflito. Descontinuar ativos obsoletos é a outra metade disso: afasta pessoas e agentes de conteúdos que você não apoia mais.
4. Classifique dados confidenciais e monitore a qualidade. A classificação de dados identifica e marca dados confidenciais para que possam ser governados de forma consistente, e o monitoramento de qualidade de dados detecta desvios e anomalias antes que afetem as pessoas e agentes que dependem dos dados. Ambos ajudam a garantir que os ativos que alimentam a ontologia sejam confiáveis.

Camada 4: Construir a camada de governança

A governança é o que torna as respostas do Genie seguras e confiáveis. Como as permissões determinam qual contexto a Ontologia do Genie pode recuperar, duas pessoas podem fazer a mesma pergunta e receber respostas diferentes com base no que cada uma está autorizada a ver.

Vamos analisar a governança em três áreas específicas:

1. Comece com os controles de acesso do Unity Catalog. O modelo de privilégios do Unity Catalog é a base. Ele controla o acesso a catálogos, esquemas, tabelas e outros ativos do espaço de trabalho, e a Ontologia do Genie respeita essas permissões. O Genie usa apenas o conteúdo que a pessoa que pergunta está autorizada a ver, de modo que perguntas idênticas podem produzir respostas diferentes dependendo do usuário. Gerenciar o acesso por meio de grupos, em vez de indivíduos, torna as permissões mais fáceis de manter à medida que você escala.
2. Adicione controles refinados onde os dados exigirem. Para dados confidenciais, a segurança em nível de linha restringe quais linhas um usuário pode ver, e o mascaramento de colunas oculta valores confidenciais. Ambos são aplicados no momento da consulta. O controle de acesso baseado em atributos permite que você direcione essas proteções a partir de tags governadas, de modo que uma política vinculada a uma tag de sensibilidade se aplique a todos os lugares onde essa tag aparece, em vez de ser definida tabela por tabela. Isso fornece uma maneira escalável de aplicar proteção em nível de linha e coluna de forma consistente em um grande acervo.
3. Governe a camada de AI. O Unity AI Gateway oferece aos administradores um local central para gerenciar o acesso a modelos, limites de taxa, registro de payload e controles de custo para cargas de trabalho de AI, bem como controles de segurança e dados confidenciais sobre o que é enviado aos modelos. É o ponto de controle para governar o comportamento do agente e seus gastos à medida que o uso cresce.

Juntos, esses controles determinam qual contexto a ontologia pode recuperar e quais usuários podem recebê-lo. O conteúdo não autorizado não participa da recuperação, portanto não pode influenciar uma resposta indiretamente.

Camada 5: Avaliar e aprimorar

As primeiras cinco camadas constroem o contexto de negócios que o Genie usa para responder a perguntas. A camada de avaliação e aprimoramento mantém esse contexto preciso à medida que os negócios mudam. Métricas são redefinidas, tabelas tornam-se desatualizadas e novos produtos são introduzidos. Medir regularmente a qualidade das respostas ajuda a identificar quando a ontologia precisa se adaptar, antes que respostas desatualizadas ou incorretas desgastem a confiança do usuário.

Há quatro áreas principais a serem consideradas:

1. Valide a experiência antes do lançamento. Comece com um conjunto representativo de perguntas de negócios para cada domínio prioritário. Defina a resposta esperada, a fonte autoritativa e os critérios de aceitação para cada pergunta. Em seguida, teste essas perguntas no Genie One, garantindo que elas utilizem as Metric Views, Páginas, Agentes Genie, dashboards, consultas e outras fontes das quais os usuários dependerão. Os Genie Agent Benchmarks fornecem uma maneira integrada de avaliar um Agente Genie individual ao longo do tempo. No modo Chat, os benchmarks podem comparar os resultados com respostas SQL validadas; no modo Agent, as respostas são avaliadas usando um juiz LLM e critérios de avaliação opcionais. Para o Genie One e, de forma mais ampla, para a Ontologia do Genie, sua equipe deve definir e ser proprietária do conjunto de perguntas, ground truth, validação de fontes, processo de revisão manual e limites de aceitação. Quando uma resposta falhar, rastreie-a de volta à fonte ou contexto subjacente e corrija a causa raiz. Isso pode significar definir a lógica de métrica governada em uma Metric View, esclarecer uma definição de negócio em uma Página, melhorar os metadados do Unity Catalog, certificar ou descontinuar um ativo, ou refinar a curadoria de um Agente Genie específico do domínio.
2. Monitore as respostas, o uso e a qualidade da fonte. Use o recurso de monitoramento dos ativos aproveitados pela Genie Ontology. O Genie Agent Monitor oferece visibilidade sobre perguntas individuais do Agent, respostas, feedback, respostas sinalizadas e tendências de uso. No Genie One, as citações de fontes ajudam usuários e administradores a inspecionar quais fontes da Ontology contribuíram para uma resposta. O Query History, os logs de auditoria e as tabelas do sistema de faturamento podem fornecer visibilidade adicional sobre a execução de SQL, eventos e uso.
3. Feche o ciclo de feedback na camada certa. Capture o feedback do usuário e as solicitações de revisão e, em seguida, encaminhe o problema para o ativo responsável pela resposta. A correção deve ser feita onde reside o significado de negócio:
   • Uma Page, quando o problema for uma definição de negócio ou sinônimo.
   • Uma Metric View, quando o problema for uma medida governada, dimensão, relacionamento ou cálculo.
   • Metadados, permissões, certificação ou descontinuação do Unity Catalog, quando o problema for com um ativo de origem.
   • Instruções de um Genie Agent, exemplos de SQL, expressões SQL, respostas confiáveis ou o Knowledge Store, quando o problema for específico do domínio daquele Agent. Os Genie Agents têm vários recursos integrados para capturar e agir de acordo com o feedback do usuário, incluindo polegar para cima e polegar para baixo, solicitar revisão, inspeção de SQL gerado, adicionar como instrução e adicionar como benchmark.
4. Fique atento ao desvio (drift) em seus ativos. O desvio pode ocorrer em muitos lugares: definições de negócios, lógica de KPI, metadados de tabela, joins, dashboards, notebooks, pipelines, instruções do Genie Agent e padrões de uso de origem. Estabeleça proprietários e uma cadência de revisão para os ativos de cada domínio crítico. Ao lidar com o desvio, aproveite o modelo que você já criou: Pages para conceitos autoritativos, Metric Views para medidas e dimensões governadas, Domains para organização e curadoria, e certificação ou descontinuação para marcar o que é recomendado ou obsoleto. Mantenha as tabelas de origem, views, dashboards, notebooks e consultas atualizados, pois todos eles alimentam o contexto inferido, e use permissões para manter o conteúdo experimental ou descontinuado longe de pessoas e agentes que não devem vê-lo. Para Genie Agents, execute novamente suas suítes de benchmark após alterações substanciais em seus dados, instruções, exemplos ou ativos confiáveis.

A avaliação não é uma etapa única antes do lançamento; é um hábito contínuo em cada ativo que alimenta uma resposta. A Databricks oferece os ativos semânticos governados, recuperação de ontologia e citações, avaliação e monitoramento no nível do Agent e telemetria de tabelas do sistema. Você traz o ground truth, a propriedade (ownership), o processo de revisão e a manutenção recorrente que mantém o Genie confiável.

Comece com um domínio e depois expanda

Uma lição fundamental é que você não precisa criar todas as seis camadas de uma vez. Você não deve tentar cobrir toda a empresa antes de entrar em operação. O caminho prático é simplesmente começar a usar o Genie, escolher um domínio de alto valor e fortalecer deliberadamente as definições, fontes, governança e avaliação que mais importam. Essa é uma abordagem de "expandir à medida que aprende" em vez de tentar abraçar o mundo.

Escolha esse primeiro domínio deliberadamente. Comece com um fluxo de trabalho recorrente e de alto atrito, onde as equipes já gastam tempo reconciliando números manualmente, como uma chamada de previsão (forecast) ou um ciclo de planejamento. Esses são os locais onde uma resposta confiável tem o maior valor e onde você já sabe como é o resultado "correto". Na prática, comece de forma restrita: escolha um domínio como Vendas (Sales) e uma métrica como ARR e, em seguida, consolide a base. Certifique a métrica crítica, defina os termos importantes, identifique os ativos autoritativos, governe o acesso e avalie as perguntas que importam. Use os resultados para guiar o próximo domínio.

Esse último ponto importa mais do que parece. O objetivo dessas práticas não é a completude técnica por si só; é a confiança: se um usuário de negócios acredita em uma resposta o suficiente para agir com base nela. Cada camada conquista um pouco dessa confiança, e o ciclo de avaliação torna essa confiança visível e defensável, em vez de uma questão de opinião.

Duas coisas se somam ao longo do caminho. Cada entidade resolvida, ativo documentado, métrica certificada, definição de página de glossário e conjunto de dados governado fortalece o núcleo autoritativo. E cada interação pode revelar feedbacks que as equipes usam para melhorá-lo. O resultado é um entendimento de negócios compartilhado que melhora com o uso, em vez de se deteriorar.

Operacionalizar a Genie Ontology não é um megaprojeto de modelagem. É um investimento constante e em camadas no seu modelo de dados, metadados, semântica de negócios, contexto empresarial, governança e avaliação, entregue um domínio de cada vez, que dá à AI uma compreensão real do seu negócio.

Saiba mais

Se quiser saber mais, leia o blog de anúncio da Genie Ontology e visite as páginas da web do Genie One e dos Genie Agents. Além disso, confira a página da web do Unity Catalog Semantics para se aprofundar em Metric Views. Estamos apenas começando a ver o que se torna possível quando a AI pode contar com uma compreensão compartilhada e confiável do negócio. Mal podemos esperar para ver como os clientes usarão a Genie Ontology para tomar decisões mais rápidas, agir com maior confiança e criar novas maneiras de trabalhar.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original