Ir para o conteúdo principal
Produção industrial

Desbloqueando a semântica para IA: como a Mercedes-Benz Coreia construiu um "Talk to Data" confiável em escala

Como a Mercedes-Benz Korea e a Databricks pilotaram semânticas prontas para AI e agentes de AI usando Unity Catalog, Metric Views, Genie e Agent Bricks

por Sai Yang, Fares Kamal, Alina Kamal, Andreas Jäck, Johannes Laufer e Manuel Culebras

  • Uma camada de KPI: A Mercedes-Benz Korea construiu sobre sua estrutura consolidada de Lakehouse e Power BI, disponibilizando mais de 500 definições de KPI em uma camada semântica aberta e pronta para AI em visualizações de métricas do Unity Catalog, utilizando um transpilador automatizado de DAX para Metric View da Databricks para acelerar a transição.
  • Semântica governada para BI e AI: Com as visualizações de métricas do Unity Catalog, a Mercedes-Benz Korea estendeu sua camada semântica governada para KPIs corporativos. Essa camada oferece suporte tanto aos relatórios de BI existentes quanto às novas experiências de “Talk to Data”, com o Genie e o Agent Bricks fornecendo respostas consistentes com as definições de KPI existentes.
  • Escalonando o “Talk to Data” entre mercados: Com base nas visualizações de métricas do Unity Catalog, no Genie e no Agent Bricks, a Mercedes-Benz Korea está desenvolvendo um guia para agentes de AI baseados em personas sobre uma camada de KPI compartilhada, que pode servir como referência para outros mercados de vendas da Mercedes-Benz na viabilização de análises de autoatendimento para as equipes de vendas, produto, finanças e marketing.

“Talk to Data” está se tornando rapidamente um recurso importante em diversos setores, e entregá-lo com qualidade empresarial exige uma base semântica sólida. A confiabilidade das respostas é maior quando a AI pode se basear em uma lógica de negócios claramente governada, em vez de inferi-la a partir de esquemas complexos, lógica de KPI específica de relatórios ou painéis desconectados. Definições consistentes de KPI, lógica de negócios alinhada e junções e agregações bem definidas são o que dão aos executivos as respostas explicáveis de que precisam.

A Mercedes-Benz Korea e a Databricks abordaram isso juntas. Em vez de tratar o “Talk to Data” como um projeto de chatbot, a Mercedes-Benz Korea expandiu sua base de analytics existente com uma camada semântica governada para AI empresarial. Para permitir uma semântica que possa alimentar tanto BI quanto AI, a Mercedes-Benz Korea disponibilizou a lógica de KPI no Unity Catalog Business Semantics, além do Power BI. Com base no Metric Views, Genie e Agent Bricks na Databricks Data Intelligence Platform, a Mercedes-Benz Korea pilotou uma arquitetura unificada para dados, semântica e AI agentiva. Os aprendizados do piloto da Coreia podem servir de referência para outros mercados da Mercedes-Benz.

A visão da Mercedes-Benz Korea no “Talk to Data”: semântica unificada para BI e AI

A Mercedes-Benz é líder de mercado no segmento automotivo de luxo de alto padrão, operando uma rede global de vendas na qual a tomada de decisões baseada em dados e específica de cada mercado é uma prioridade contínua. O self-service analytics do “Talk to Data” é um dos recursos que estão sendo explorados para apoiar ainda mais essa prioridade.

A Mercedes-Benz Korea possui uma base de dados madura. Com o tempo, a Mercedes-Benz Korea estabeleceu dados de relatório na camada gold, um catálogo mestre de KPI e definições compartilhadas no Lakehouse e no Unity Catalog na Databricks. Essa base serve como a única fonte de verdade para relatórios de BI, automação e outros produtos de dados, abrangendo mais de 500 KPIs em domínios de negócios como vendas, produto, marketing, atendimento ao cliente e finanças. Diante dessa base, a Mercedes-Benz Korea foi selecionada para pilotar a abordagem “Talk to Data”.

Ao mesmo tempo, uma parte significativa da semântica de negócios na Mercedes-Benz Korea estava definida no Power BI. Como parte da preparação para casos de uso de AI, essas definições foram complementadas por uma camada semântica aberta e pronta para AI no Lakehouse.

A visão mais ampla da Mercedes-Benz Korea para o “Talk to Data” era estabelecer uma base semântica unificada, pronta para AI e governada para a tomada de decisões empresariais que possa dar suporte a relatórios, self-service analytics e experiências de AI em um conjunto consistente de definições de negócios. Alinhada a essa visão, a Mercedes-Benz Korea não abordou o “Talk to Data” como uma migração para fora do Power BI, mas buscou três objetivos principais:

  • Contexto consistente para AI: A lógica de negócios e os KPIs já estavam definidos em duas camadas: na linguagem DAX do Power BI para relatórios, e em tabelas silver e gold selecionadas no Lakehouse que estavam prontas para serem consumidas por AI. O próximo passo é mover o contexto semântico dos relatórios de BI para o Unity Catalog para enriquecer os produtos de dados existentes no Lakehouse. Isso permite que o Genie e outros agentes de AI acessem todas as definições de KPI em um só lugar, de modo que a mesma pergunta, por exemplo, “Qual é o total de nossas vendas no varejo MTD por classe de veículo?”, gere respostas consistentes em todas as experiências de AI.
  • Arquitetura evoluindo em direção à AI agentiva: A Mercedes-Benz Korea possui uma stack de BI madura que combina a Databricks para engenharia de dados e data warehousing com o Power BI para modelagem semântica e relatórios. O próximo passo nessa evolução é estendê-la com uma camada semântica unificada e pronta para AI com base na lógica de negócios dos relatórios de BI, para que as ferramentas de BI downstream e os agentes de AI possam operar nos mesmos KPIs governados.
  • De usuários de relatórios a agentes baseados em personas: A governança para usuários finais no nível de tabela e relatório já estava em vigor como parte da infraestrutura de dados existente. O próximo passo é estender essa governança com controle de acesso baseado em personas no Unity Catalog e regras de orquestração para agentes de personas, para que cargos como o CFO ou o VP de Vendas possam ter uma experiência de agente personalizada para seus domínios sem alterar a semântica de negócios subjacente.

Seguir esses princípios apoia o objetivo de que as futuras ferramentas de AI e BI possam consumir a mesma lógica de negócios validada. Isso contribui para a consistência, explicabilidade e qualidade de resposta exigidas para o uso empresarial.

Uma arquitetura unificada para dados, semântica e AI

image12.png

Para habilitar a semântica pronta para AI, a Mercedes-Benz Korea implementou o “Talk to Data” com uma arquitetura unificada na Databricks Data Intelligence Platform, impulsionando uma AI confiável em escala.

A solução se baseia em diferentes recursos da Databricks trabalhando juntos:

  1. Lakeflow e Lakehouse ingerem dados empresariais de vários sistemas de origem e os preparam para cargas de trabalho de BI e AI.
  2. A semântica de negócios do Unity Catalog serve como a única fonte de verdade para KPIs, traduzindo medidas DAX do Power BI em metric views: origens, junções, medidas, dimensões, comentários e sinônimos vivem todos ao lado dos dados, governados pelas mesmas permissões das tabelas subjacentes.
  3. Os espaços Genie permitem que as equipes de negócios “conversem” com seus dados. Os espaços Genie são organizados por domínio de negócios, cada um apoiado por um conjunto selecionado de metric views. Como os KPIs nas metric views são definidos diretamente sobre os dados da camada gold, o Genie não precisa de adivinhações ou junções complexas para descobrir as respostas certas, aumentando a velocidade e a precisão de suas respostas.
  4. O Agent Bricks compõe agentes baseados em personas sobre múltiplos espaços Genie, de modo que o CFO, o VP de vendas e o diretor de marketing tenham, cada um, uma experiência “Talk to Data” ajustada à sua função.
  5. O Databricks Apps fornece um front-end personalizado, conexões com serviços externos e outros recursos estendidos para agentes compostos, com memória e estado armazenados no Lakebase.

Antes deste piloto, os dados de relatórios eram armazenados no Hive metastore, e o “Talk to Data” era explorado com outras soluções de AI baseadas em semântica centrada em relatórios nos relatórios do Power BI. Nessa configuração, o contexto semântico para BI e AI era distribuído por vários componentes, o que tornava mais difícil para a camada de AI capturar a semântica de forma consistente entre usuários e cargas de trabalho. O controle de acesso baseado em personas nos KPIs também não estava disponível, e outras soluções de AI exigiam orientações mais explícitas e ajuste de prompts (prompt tuning) do que o Genie, que opera diretamente na camada de KPI governada no Unity Catalog.

A adoção dessa arquitetura na Databricks fornece a base para uma experiência “Talk to Data” simplificada para usuários de negócios.

Acelerando o piloto: um transpiler automatizado de DAX para Metric View

Disponibilizar a lógica de negócios do Power BI DAX também nas metric views do Unity Catalog foi um passo fundamental na construção de uma camada semântica aberta. Com mais de 500 KPIs definidos em DAX na Mercedes-Benz Korea, era necessária uma abordagem eficiente e padronizada. Para apoiar isso, a Databricks desenvolveu um transpiler automatizado de DAX para Metric View para a equipe da Mercedes-Benz Korea.

image3.png

O transpiler funciona como um pipeline que transforma as medidas DAX do Power BI em metric views implantáveis da Databricks. Ele:

  • Analisa modelos semânticos do Power BI e extrai cada medida DAX.
  • Cria um catálogo de metadados, como tabelas de fatos, tabelas de dimensões, relacionamentos de junção, chaves de junção, etc., para cada medida extraída dos modelos semânticos do Power BI.
  • Mapeia as tabelas de origem de cada medida para suas correspondentes no Unity Catalog.
  • Gera rascunhos de definições de metric view (origem, junções, dimensões, medidas), traduzindo a semântica do DAX em medidas de metric view e nas instruções SQL prontas para execução que criam as metric views.
  • Sinaliza medidas não automatizáveis, normalmente aquelas que envolvem recursos complexos específicos do DAX, como manipulação de contexto de linha, para revisão manual.
  • Valida a sintaxe e a lógica de agregação antes de compilar as visualizações de métricas.
image9.png

Quando o pipeline termina, ele gera um relatório de avaliação com estatísticas de conversão, lacunas e estratégias de correção para a conversão de medidas DAX não automatizáveis.

O resultado é um excelente ponto de partida com visualizações de métricas prontas para uso para medidas DAX automatizáveis, economizando centenas de horas de trabalho manual na migração semântica. A partir daí, a equipe valida cada medida em relação ao relatório correspondente do Power BI e itera com o Genie Code, que refina e otimiza as definições de visualização de métricas a partir de entradas em linguagem natural.

Após o sucesso inicial com este transpilador, a Databricks integrou esses recursos em uma nova habilidade do Genie Code para migração do Power BI, agora em Private Preview e acessível diretamente no Genie Code sem ferramentas adicionais, apoiando a expansão contínua na Mercedes-Benz.

Construindo uma semântica confiável e pronta para IA

A qualidade das respostas é prioridade máxima para os usuários de negócios do “Talk to Data” na Mercedes-Benz Korea. A integração de KPIs como visualizações de métricas nos Genie spaces é uma etapa fundamental, mas por si só não garante respostas confiáveis de IA agentiva. Uma visualização de métrica só está pronta para IA quando as respostas do Genie são validadas. A meta interna da Mercedes-Benz Korea é o alinhamento total das respostas do Genie com os relatórios correspondentes do Power BI — uma correspondência de 100% para cada KPI no escopo.

Durante o piloto, a Mercedes-Benz Korea e a Databricks documentaram conjuntamente as melhores práticas para curadoria, integração e otimização de visualizações de métricas e Genie spaces, incluindo o uso de metadados de agentes e benchmarks. Essas práticas oferecem suporte a uma semântica de negócios pronta para IA e respostas consistentes para as equipes de negócios que interagem com dados corporativos.

Seguindo um processo iterativo de cinco fases documentado durante o piloto, a Mercedes-Benz Korea construiu uma semântica de negócios pronta para IA na Databricks Data Intelligence Platform na qual os usuários de negócios podem confiar. A Databricks também está desenvolvendo uma solução de aplicativo (App) para automatizar esse processo, que a Mercedes-Benz poderá aproveitar para a expansão contínua.

Fase 1: Preparação. Escolha os KPIs a serem integrados e mapeie cada um deles para suas tabelas de origem no Unity Catalog. Para migrações semânticas do Power BI, identifique as medidas DAX e os modelos semânticos relevantes. Esta fase estabelece o escopo e a fonte da verdade.

Fase 2: Construção da camada semântica. Crie visualizações de métricas do Unity Catalog com fontes de dados, dimensões, medidas, comentários e metadados de agentes. Valide cada KPI individualmente antes de adicionar o próximo. Para KPIs que abrangem várias tabelas fato, crie primeiro uma visualização base e sobreponha a visualização de métrica. Sempre adicione descrições no nível de visualização de métrica, dimensão e medida; o Genie analisa os três níveis.

Fase 3: Organização por domínio, não por relatório. Estruture os Genie spaces em torno de domínios de negócios (por exemplo, "Marketing") e visualizações de métricas em torno de grupos de KPIs dentro de subdomínios (por exemplo, "Métricas de conversão de marketing online"). Limite cada Genie space a 30 itens do Unity Catalog e sempre inclua uma descrição do espaço para que um sistema multiagente possa rotear as perguntas corretamente.

Fase 4: Testes incrementais. Integre as medidas de forma incremental. Valide cada uma com perguntas de exemplo. Salve as consultas verificadas como exemplos de SQL. Em seguida, crie benchmarks: variações de formulação de cada pergunta combinadas com o SQL de referência (ground-truth), usadas para medir sistematicamente a precisão das respostas. Ative a correspondência de prompts para que o Genie possa mapear a linguagem do usuário para os valores reais dos dados.

Fase 5: Validação e lançamento. Execute testes de regressão após cada alteração; se um benchmark que passava anteriormente falhar, a adição mais recente é a causa mais provável. Uma vez estável, envie para um pequeno grupo de usuários de negócios para obter feedback do mundo real. Use a guia Monitor para rastrear, revisar e gerenciar todos os feedbacks dos usuários em um só lugar. Tanto as falhas de regressão quanto o feedback dos usuários alimentam diretamente a Fase 4.

O resultado é uma camada semântica onde as respostas da IA se alinham com o relatório de BI correspondente para cada KPI no escopo, oferecendo a confiabilidade que os usuários de negócios esperam.

De um único Genie space a um sistema multiagente com governança integrada

Um único Genie space pode responder a perguntas sobre um único domínio. Uma experiência real de “Talk to Data” para um mercado da Mercedes-Benz precisa abranger vendas, produto, marketing, atendimento ao cliente, finanças e muito mais — adaptando o que cada persona visualiza com base em sua função e permissões.

image11.png

É aí que entra o Agent Bricks. A arquitetura que a Mercedes-Benz Korea implantou:

  • Um agente supervisor principal direciona cada pergunta a um agente de persona com instruções específicas para a função.
  • O agente de persona (por exemplo, “CFO”, "Gerente de Vendas", "Analista de Marketing") consolida insights dos Genie spaces apropriados em domínios relevantes, selecionando o escopo correto de visualizações de métricas para responder à pergunta.
  • As políticas de governança do Unity Catalog aplicam o acesso em nível de linha e coluna, de modo que um gerente regional veja apenas os dados que sua função permite, mesmo ao fazer perguntas em linguagem natural.
  • Os agentes são disponibilizados por meio do Databricks Apps com um front-end personalizado e recursos estendidos, como visualização personalizada, memória de agente e bancos de dados transacionais no Lakebase. O aplicativo também permite que os agentes compostos sejam integrados às ferramentas e serviços que os usuários de negócios já utilizam, para que o "Talk to Data" faça parte do fluxo de trabalho diário, em vez de ser um destino separado.

Como as visualizações de métricas residem no Unity Catalog, elas são abertas e reutilizáveis em todos os Genie spaces, agentes e aplicativos. Cada resposta é totalmente governada, auditável e com linhagem rastreada até os dados de origem. Esse padrão multiagente pode servir de referência para levar o “Talk to Data” a outros mercados da Mercedes-Benz.

Escalando o piloto: um playbook replicável para mercados globais

A Coreia ainda está no início desta jornada, e os resultados iniciais são animadores. O piloto atual mostra que, quando o “Talk to Data” é fundamentado em uma semântica governada, os usuários de negócios podem receber respostas que se alinham com as definições de KPI estabelecidas e com a lógica de relatórios existente. Com base nesses resultados, a Mercedes-Benz Korea documentou um playbook que outros mercados podem reutilizar:image10.png

  1. Integre os dados de mercado de sistemas de origem globais e locais no Unity Catalog.
  2. Crie Lakeflow Spark Declarative Pipelines para fazer a curadoria dos dados de relatórios da camada ouro.
  3. Estabeleça a qualidade dos dados e a documentação de KPIs na camada ouro.
  4. Execute o transpilador de DAX para visualização de métrica (Metric View) para gerar os primeiros rascunhos dos modelos semânticos.
  5. Valide as visualizações de métricas (Metric Views) em relação ao catálogo mestre de KPIs da Mercedes-Benz.
  6. Construa, teste e otimize os Genie spaces usando o processo de cinco fases descrito acima.
  7. Implante agentes de persona com o Agent Bricks sobre o Genie e o Unity Catalog.
  8. Incorpore agentes personalizados no Databricks Apps ou em ferramentas de terceiros, onde quer que o usuário já trabalhe.

Os mercados que optarem por adotar o playbook poderão reutilizar a arquitetura e focar no que lhes é local: seus dados, seus KPIs e seus agentes de IA. Juntamente com a Databricks, a Mercedes-Benz Korea está documentando os aprendizados do piloto do “Talk to Data” que podem servir de referência para outros mercados da Mercedes-Benz.

Primeiros passos

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original

Receba os posts mais recentes na sua caixa de entrada

Assine nosso blog e receba os posts mais recentes diretamente na sua caixa de entrada.