Análise baseada em AI: criando visualizações de dados com linguagem natural vs. SQL

Richard Tomlinson, que lidera o marketing de produtos para os produtos de business intelligence e analytics da Databricks, passou sua carreira defendendo tecnologias que dominam os dados para ajudar as pessoas a tomar melhores decisões e impulsionar a inovação. Nesta conversa, ele discute como as consultas em linguagem natural para visualizações podem finalmente oferecer mais do que o SQL, como garantir que o analytics impulsionado por AI seja confiável e por que o contexto de negócios é fundamental.

Por que as consultas em linguagem natural para visualizações não entregaram o esperado

As consultas em linguagem natural para visualizações já existem há uma década. Por que elas não cumpriram sua promessa?

Richard Tomlinson: Essa promessa existe desde os primeiros dias do analytics guiado por busca, mas ela falhou consistentemente porque os sistemas conseguiam analisar a pergunta, mas não conseguiam entender o negócio.

As gerações anteriores do NL-to-SQL tratavam o problema puramente como uma tradução de linguagem para esquema: mapear palavras para colunas, gerar uma consulta e retornar um gráfico. Isso funciona para buscas simples, mas se desfaz diante da complexidade dos dados empresariais. Na vida real, você pode ter definições concorrentes da mesma métrica entre equipes, junções ambíguas entre tabelas, regras de negócios que vivem na cabeça das pessoas e não nos metadados, e nenhuma maneira de decidir qual fonte é autoritativa quando dois números entram em conflito.

Os LLMs não eram o gargalo; o contexto era. Mesmo com a evolução impressionante dos modelos, eles ainda adivinhavam o significado a partir de nomes de tabelas e cabeçalhos de colunas em bruto, e é por isso que a mesma pergunta feita duas vezes podia gerar duas respostas diferentes.

O que mudou não foi apenas o surgimento de modelos melhores; foi o reconhecimento de que é necessária uma camada semântica governada sob o modelo de linguagem que diga ao agente o que "receita" significa para essa equipe, qual tabela é a fonte certificada, como os anos fiscais são definidos e quais filtros devem ser sempre aplicados. Sem isso, a consulta em linguagem natural era uma demonstração que impressionava em uma sala de reuniões, mas falhava com dados empresariais reais.

Gerando respostas confiáveis para cada usuário

A linguagem natural abriu o analytics impulsionado por AI para todos. Mas como garantir que pessoas não especializadas obtenham respostas nas quais possam confiar?

Richard Tomlinson: Permitir que mais pessoas façam perguntas é a parte fácil. O difícil é tornar as respostas confiáveis o suficiente para que se possa tomar atitudes com base nelas. Três coisas precisam ser verdadeiras por trás disso.

Primeiro, os próprios dados precisam ser governados. Você precisa de dados limpos e bem organizados, estruturados em torno de como a empresa realmente funciona, onde as categorias sejam consistentes em toda a empresa, cada registro esteja claramente definido e não existam clientes ou produtos duplicados. Tudo precisa ser protegido por controles de acesso granulares, para que cada usuário veja apenas o que tem autorização para ver.

Segundo, o significado desses dados deve ser explícito e legível por máquina, não enterrado no conhecimento empírico das pessoas ou na planilha de alguém. Você precisa de definições de métricas governadas, termos de negócios documentados, relacionamentos de chave primária e estrangeira claramente definidos e fontes certificadas, tudo registrado em um sistema como o Unity Catalog, onde um agente de AI possa consumi-los no momento da consulta.

Terceiro, deve haver uma camada de confiança e verificação, com a capacidade de rastrear cada resposta gerada por AI de volta às definições, fontes e permissões que a produziram. Isso permite que um usuário de negócios inspecione por que o sistema disse o que disse, e não apenas o que ele disse. Essa é a base do Genie One: dados governados, semântica explícita e procedência inspecionável. Sem isso, você está apenas dando a todos uma forma mais rápida de obter a resposta errada.

Como o grounding semântico muda o jogo

O que é grounding semântico e como ele contribui para visualizações de dados eficazes baseadas em linguagem natural?

Richard Tomlinson: O grounding semântico é o processo de ancorar a interpretação de uma pergunta feita por um agente de AI às definições, relacionamentos e regras de negócios reais da organização, em vez de deixar o modelo inferir o significado a partir dos nomes das colunas e torcer pelo melhor.

Na prática, isso significa que antes de uma única linha de SQL ser gerada, o agente já sabe que a "receita líquida" usa um cálculo aprovado específico, que ela deve ser extraída de uma tabela de finanças certificada em vez de um resumo de marketing, que os trimestres fiscais começam em fevereiro e que os usuários de testes gratuitos são excluídos das métricas de retenção, por exemplo.

Na Databricks, a Genie Ontology oferece uma camada de contexto unificada que combina conhecimentos modelados explicitamente — como exibições de métricas, páginas governadas, domínios e fontes certificadas — com contexto aprendido automaticamente a partir do funcionamento real da organização. Esse contexto é extraído diretamente de dashboards, consultas, notebooks e outros ativos empresariais.

Cada pedaço de contexto aprendido, chamado de Ontology Snippet, carrega uma pontuação de autoridade baseada em sua fonte, frequência de uso, atualização e status de certificação. No momento da consulta, um sistema de ranqueamento avalia os snippets concorrentes quanto à relevância e autoridade, resolve conflitos e fornece apenas o contexto que o usuário tem permissão para ver.

Uma visualização criada com esse processo não é apenas um gráfico bonito. Ela está fundamentada nas mesmas definições e lógicas que os especialistas do domínio da organização usariam, o que faz a diferença entre uma resposta plausível e uma resposta confiável.

Uma boa governança torna tudo possível

Qual é o papel da governança na criação bem-sucedida de visualizações de dados usando linguagem natural em vez de SQL?

Richard Tomlinson: A governança é a infraestrutura de suporte que torna o analytics em linguagem natural possível em escala empresarial, e não uma caixa de verificação de conformidade adicionada no final.

Quando um usuário de negócios faz uma pergunta em linguagem natural, o sistema deve tomar uma série de decisões que moldam a resposta, incluindo quais tabelas consultar, quais junções usar, qual definição de métrica aplicar e quais linhas e colunas um usuário específico tem permissão para ver. Em um mundo SQL, um analista treinado toma essas decisões. Em um mundo de linguagem natural, o agente de AI as toma, o que significa que a governança deve orientar cada decisão do agente, e não ser aplicada após o fato.

O Unity Catalog fornece essa base com controles de acesso granulares, filtros de linha e máscaras de coluna aplicados por usuário, sinais de certificação que dizem ao agente em quais ativos a organização confia e sinalizadores de descontinuação que afastam o agente de fontes desatualizadas.

A governança também se estende à própria camada semântica. Os Ontology Snippets seguem as mesmas permissões do Unity Catalog que os dados que descrevem, portanto, o agente usa apenas o contexto de negócios que o usuário tem permissão para ver. Com a governança adequada implementada, as organizações podem abrir o analytics self-service para um público muito mais amplo com confiança, porque os mecanismos de proteção são aplicados pelo sistema.

Mantendo as conversas no caminho certo

Como o analytics impulsionado por AI mantém o controle do contexto em uma conversa contínua, incluindo perguntas de acompanhamento?

Richard Tomlinson: Este é um dos desafios técnicos mais subestimados no analytics conversacional, e é onde a maioria dos sistemas NL-to-SQL falha. Quando um usuário pergunta "Quais foram as vendas no último trimestre?" e depois continua com "Detalhe isso por região", por exemplo, o sistema precisa entender que "isso" se refere à métrica, janela de tempo e filtros da consulta anterior e usar esse contexto em sua resposta.

O Genie retém o contexto conversacional em uma conversa mantendo o estado do diálogo. Metadados de tabelas e colunas, instruções fornecidas por editores do agente e o contexto de interações conversacionais anteriores informam como a próxima pergunta é interpretada. Se a pergunta de acompanhamento for ambígua, o Genie pode fazer uma pergunta de esclarecimento em vez de tentar adivinhar.

O Genie também pode recorrer a conversas anteriores para formular respostas. Um usuário pode fazer referência a um trabalho anterior ("Lembra quando falamos sobre ARR no último trimestre? Vamos detalhar isso por região") e o sistema traz esse contexto para a conversa atual sem que o usuário precise sair da tela.

A combinação de grounding semântico e filtragem de conversas mantém as respostas consistentes à medida que as conversas ficam mais longas. A ontologia fornece definições estáveis que persistem ao longo das interações, portanto, "receita" significa a mesma coisa no quinto turno que significava no primeiro. Enquanto isso, o gerenciamento de conversa seleciona o contexto relevante em vez de anexar tudo ingenuamente, o que acabaria sobrecarregando a janela de contexto e causando o tipo de desvio que os usuários experimentam em sistemas menos sofisticados.

Levando o Genie para as ferramentas do dia a dia com governança integrada

Como as organizações podem levar o Genie para os aplicativos e ferramentas de AI que suas equipes já usam, e como as permissões de acesso aos dados são aplicadas?

Richard Tomlinson: O Databricks oferece várias maneiras de integração. A Genie Conversation API permite que os desenvolvedores incorporem consultas de dados em linguagem natural diretamente em seus próprios aplicativos, chatbots e estruturas de agentes. Por meio da API, os usuários podem fazer perguntas, recuperar SQL gerado e resultados de consultas e obter respostas em conversas de vários turnos que lembram do contexto anterior.

As organizações também podem usar o Genie a partir dos assistentes de IA em que já confiam, como Claude, ChatGPT, Microsoft Copilot ou Cursor, por meio do servidor Genie One MCP. As respostas usam as mesmas definições de negócios e permissões de dados que existem dentro do Databricks.

Os Genie Agents também podem ser incorporados em outros aplicativos com as permissões intactas. As consultas são executadas em um SQL warehouse usando credenciais configuradas pelo autor do agente, mas o Unity Catalog determina o que cada usuário final pode ver com base em seus direitos de acesso. Filtros de linha, máscaras de coluna e privilégios em nível de tabela aplicam-se a cada usuário.

O padrão de autenticação recomendado para integrações externas é o OAuth em nome de (OBO), no qual o assistente externo age em nome do usuário e o Genie aplica as permissões dessa pessoa a cada solicitação. Assim, duas pessoas podem fazer a mesma pergunta ao mesmo chatbot e obter respostas adequadas com base apenas nos dados que têm permissão para ver, sem necessidade de configuração especial para cada usuário.

Uma conexão direta com o banco de dados apenas entrega os dados. Uma integração de analytics governada controla quem vê quais métricas e como elas são calculadas.

Cumprindo a promessa da análise em linguagem natural

A análise em linguagem natural há muito promete que qualquer pessoa poderia fazer uma pergunta e obter uma visualização de dados. Na realidade, os resultados frequentemente não eram confiáveis o suficiente para se tomar atitudes. À medida que a IA assume decisões tradicionalmente tomadas por analistas, o contexto subjacente se torna fundamental. Respostas confiáveis dependem de dados governados, definições compartilhadas, permissões claras e uma maneira de verificar como cada resposta foi gerada. Os sistemas também precisam acompanhar o contexto conforme as conversas continuam e trazer análises impulsionadas por IA para as ferramentas que os funcionários já usam. Com essa base consolidada, as organizações podem fornecer com confiança aos funcionários de toda a empresa acesso a análises em que podem confiar, onde quer que trabalhem, para ajudá-los a tomar decisões inteligentes.

Veja como o Genie transforma perguntas de negócios em respostas governadas e ação.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original