Por que a análise agentiva começa com uma camada de dados bem governada

À medida que a IA muda a forma como os executivos interagem com os dados, a análise está saindo da era dos dashboards e entrando em um modelo operacional muito mais dinâmico. Interfaces de linguagem natural, insights orientados por IA e fluxos de trabalho de agentes prometem acesso mais amplo à inteligência, mas também expõem um problema com o qual muitas organizações convivem há anos: definições fragmentadas, métricas inconsistentes e modelos de governança que nunca foram projetados para a escala da IA.

Para detalhar o que isso significa na prática, conversei com Nick Eayrs, Vice-Presidente de Engenharia de Campo para Ásia-Pacífico e Japão na Databricks. Com quase 25 anos de liderança em várias regiões, Eayrs tem uma visão ampla de como os insights de dados podem acelerar as organizações e do que é preciso para ter sucesso na nova era da análise de agentes. Esse histórico lhe confere uma visão ampla de como as estratégias de dados e IA se desenrolam em mercados, modelos operacionais e níveis de maturidade empresarial.

O fio condutor de nossa conversa foi sua convicção de que a IA não está eliminando a necessidade de semântica e governança. Pelo contrário, está tornando-as muito mais importantes. Em sua opinião, as organizações não obterão resultados de IA confiáveis até que corrijam a camada de dados subjacente: as definições de negócios, linhagem, controles de acesso e padrões abertos que permitem que a inteligência escale sem desmoronar sob o peso de custos e complexidade.

A IA Está Reescrevendo as Regras da Análise

Catherine Brown: Por que a IA exerce pressão semântica e de governança sobre a análise de uma forma que o BI legado nunca precisou lidar?

Nick Eayrs: O BI legado era realmente um mundo de dashboards estáticos e relatórios predefinidos. Os usuários de negócios precisavam navegar por interfaces bastante complexas e, se tivessem uma pergunta de acompanhamento ou quisessem explorar algo mais profundamente, geralmente precisavam de suporte especializado. Havia muito pouca autoatendimento verdadeiro.

A camada semântica sob o BI tradicional também era relativamente estática e lenta para mudar. Se o negócio precisasse de uma nova definição para receita, churn ou valor de vida do cliente, isso geralmente significava voltar à TI ou a equipes especializadas para atualizar a camada semântica e reconstruir os relatórios. Era um modelo muito predeterminado.

A IA muda isso completamente. Não precisa mais ser estática e não precisa mais ser puramente descritiva. O BI tradicional é frequentemente uma análise de retrovisor. Ele diz o que aconteceu. Com a IA, você pode começar a prever o que pode acontecer, perguntar por que aconteceu e entender o que fazer a seguir. Você pode raciocinar sobre muito mais dados sozinho e gerar insights em tempo real.

Mas a semântica não desaparece nesse mundo. Se alguma coisa, ela se torna mais importante. A IA e os agentes ainda são informados pelos dados subjacentes. Isso remonta ao velho princípio de lixo entra, lixo sai. Quanto mais dados confiáveis e de alta qualidade você tiver, com o contexto de negócios correto em torno de seus produtos, serviços, taxonomia e terminologia, melhor será a experiência de IA.

Se alguém perguntar: “Por que não atingimos nossas metas do terceiro trimestre?”, o sistema precisa entender o que “metas” significa naquela organização, a qual período o usuário está se referindo e como essas métricas são definidas. Sem esse contexto semântico, o sistema está apenas adivinhando. Ele pode produzir respostas genéricas, mas não confiáveis.

Há outro ponto importante aqui também. Na visão da Databricks, a camada semântica deve ser aberta e interoperável. Fornecedores tradicionais de BI frequentemente travam o modelo semântico em sua própria ferramenta, o que significa que tudo deve passar por essa interface. Isso se torna uma grande restrição. Se você quiser que as experiências de IA e de agentes escalem, um forte exemplo personalizado em APJ seria a Takeda. Com as bases de dados e salvaguardas corretas implementadas, eles conseguiram desenvolver múltiplos casos de uso de IA em funções comerciais, P&D, fabricação e back office.

Catherine: Você pode falar mais especificamente sobre a pressão de governança que a IA exerce sobre a análise?

Nick: Tanto no lado do BI quanto no lado da IA, a governança se resume a confiança, linhagem e rastreabilidade.

Se você está produzindo dashboards ou insights de business intelligence, precisa entender como eles foram criados. Quais dados subjacentes foram usados? Como as métricas foram definidas? Se você não sabe isso, então não pode confiar no que está vendo.

O mesmo vale para o lado da IA. Você não vai confiar na saída de um modelo, um agente ou um aplicativo de agente se não conseguir entender como essa saída foi derivada. De qual tabela ela veio? Quais recursos foram usados? Qual modelo estava servindo a inferência? Essa linhagem de ponta a ponta é essencial.

Há também uma dimensão de conformidade. Em setores altamente regulamentados, as organizações serão cada vez mais obrigadas a comprovar essa rastreabilidade. Se uma decisão impulsionada por IA for exposta externamente a consumidores, cidadãos ou pacientes, você terá que ser capaz de defendê-la e auditar como ela foi criada. A IA está colocando mais pressão sobre a análise porque as expectativas em torno de confiança e rastreabilidade estão aumentando.

Métricas Fragmentadas Estão Retardando Decisões

Catherine: Quais são os padrões mais comuns de métricas conflitantes que você vê e qual o custo para as organizações?

Nick: O maior problema é a fragmentação. A maioria das organizações tem várias ferramentas de BI no parque tecnológico, e cada uma dessas ferramentas pode ter seu próprio modelo semântico e sua própria interpretação de métricas de negócios. Isso significa que você acaba sem uma única fonte de verdade e com muita lógica duplicada que pode não se alinhar.

Um dashboard pode definir receita de uma maneira. Outra ferramenta pode defini-la de forma diferente. Alguém do financeiro pode estar trabalhando com outra versão no Excel. Nesse ponto, a confiança começa a se erodir muito rapidamente. A tomada de decisão desacelera porque as pessoas não estão mais debatendo a decisão em si. Elas estão debatindo qual número está certo.

Por Que os Modelos de BI Legados Quebram na Escala da IA

Catherine: Por que a lógica do dashboard, quando está presa em ferramentas, desmorona sob a escala da IA?

Nick: Ferramentas tradicionais de BI geralmente extraem dados dos sistemas de origem, agregam-nos para um resultado de relatório específico, movem-nos para armazenamento proprietário e, em seguida, aplicam semânticas e dashboards proprietários sobre isso. Tudo fica travado na ferramenta.

Isso se torna um problema real em um mundo de IA porque os usuários sempre têm perguntas de acompanhamento. Eles querem ir mais fundo. Eles querem expor essa lógica a outros sistemas. Eles querem que cientistas de dados ou equipes de machine learning se baseiem nela. Se tudo estiver preso em uma camada proprietária, isso não funciona bem. Você tem que voltar à origem, extrair mais dados, transformá-los novamente e reconstruir a lógica. Torna-se repetitivo e caro.

Se, em vez disso, tudo for construído sobre formatos de dados abertos e interfaces abertas, então BI, IA, notebooks, agentes e equipes de ciência de dados podem trabalhar a partir da mesma base governada. Você armazena e processa os dados uma vez. Todos podem interagir com eles em linguagem natural. Todos podem se basear neles. Esse é um modelo muito melhor para escala.

Há também um fardo de engenharia significativo na maneira antiga de fazer isso. Você acaba mantendo muitos pipelines de sincronização e muito código personalizado apenas para manter sistemas fragmentados alinhados. Essa complexidade se torna muito difícil de justificar.

Como é uma Camada Semântica Legível por Máquina

Catherine: Como é uma camada semântica legível por máquina na prática?

Nick: Primeiro, as métricas de negócios devem ser tratadas como um pilar fundamental. Isso significa que as definições de coisas como receita, churn ou valor de vida do cliente precisam ser explicitamente definidas, certificadas e reutilizáveis em toda a organização.

Segundo, essas métricas precisam ser acessíveis por meio de linguagens padrão, principalmente SQL, e precisam ser consumíveis não apenas por ferramentas de BI, mas também por interfaces de IA, notebooks e agentes. Se não forem acessíveis e reutilizáveis, você não resolveu o problema.

Terceiro, você precisa de abertura e interoperabilidade. Você não quer inserir toda a sua lógica de negócios em um sistema do qual não consegue extraí-la. Padrões abertos são importantes porque lhe dão opcionalidade e uma estratégia de saída segura se você precisar mudar de sistemas ou fornecedores.

Você também precisa de governança habilitada para IA. Em um mundo de agentes, você pode ter milhares de modelos ou agentes interagindo com a camada semântica o tempo todo. Manter metadados, comentários e métricas de negócios atualizados é um grande desafio se tudo isso for feito manualmente. A IA pode ajudar a gerar e manter esses metadados para que a camada semântica permaneça utilizável em escala.

E então, é claro, você precisa de inteligência conversacional e contextual para que agentes e aplicativos possam interagir com essa camada por meio de APIs e interfaces de linguagem natural.

Catherine: Onde a avaliação se encaixa nisso? A certificação dos dados acontece primeiro, e depois a camada de IA e as avaliações vêm depois?

Nick: Sim. As bases de dados vêm primeiro. Você precisa dos metadados, da lógica de negócios, dos comentários e das métricas de negócios implementados antes que a IA possa usar esses dados bem. Em seguida, você constrói a camada de IA ou de agentes sobre ela. Depois disso, os frameworks de avaliação entram em jogo para validar se as saídas estão alinhadas com as expectativas e para refinar o que o sistema está fazendo. Mas a camada de avaliação não é um substituto para acertar as bases. Ela depende dessas bases.

Por Que os Modelos de BI por Assinatura Limitamm a Adoção e o Valor

Catherine: Onde os modelos de BI por assento estão limitando ativamente a adoção e a criação de valor?

Nick: O objetivo da democratização de dados e IA deve ser colocar a inteligência nas mãos de todos os trabalhadores do conhecimento na organização. Um modelo por assento vai diretamente contra esse objetivo.

Ele restringe a democratização porque força as organizações a escolher quais usuários, equipes ou unidades de negócios terão acesso. Ele também restringe a inovação porque agora você está decidindo quais projetos podem avançar com base na disponibilidade de licenças, em vez de valor de negócio.

Isso também afeta a criação de valor. Os melhores resultados geralmente vêm quando equipes diversas se unem em torno de um problema de negócio. Se apenas um subconjunto dessas equipes puder acessar o sistema, você limita a colaboração e limita a capacidade da organização de criar valor.

A outra questão é a eficiência. Em um modelo baseado em consumo, você paga pelo que usa. Se o uso aumenta, você paga pelo uso aumentado. Se cai para zero, você paga zero. Esse é um modelo muito mais racional do que pagar por licenças de assento que podem ser subutilizadas ou superprovisionadas.

Catherine: Algumas organizações podem argumentar que os limites de licença estão agindo efetivamente como uma camada de governança. O que você diria sobre isso?

Nick: Se você está tentando governar o acesso a dados restringindo licenças, você vai falhar. Esse não é o ponto de controle correto.

Uma boa governança começa na camada de plataforma e dados. Começa com controles baseados em função e atributos, com autenticação e autorização vinculadas aos seus sistemas de identidade e com segregação e classificação claras de ativos de dados. Você resolve as permissões e a aplicação de políticas antecipadamente.

Se você fizer isso corretamente, poderá expandir o acesso amplamente, garantindo ao mesmo tempo que as pessoas vejam apenas o que deveriam ver. Usar licenças por assento como seu mecanismo de governança não é escalável e não é um substituto para o trabalho de governança subjacente.

A Maneira Mais Rápida de Melhorar a Confiança e Reduzir Custos

Catherine: Qual é a mudança de arquitetura mais rápida que as organizações podem fazer para melhorar a confiança e reduzir o custo de análise ao mesmo tempo?

Nick: A mudança mais importante é estabelecer uma camada semântica unificada, fundamentada em uma forte base de governança.

Isso começa com a decisão do catálogo. Como você vai governar seus ativos de dados e IA? Uma vez que você tenha um catálogo implementado, você pode definir suas semânticas lá, certificar as métricas de negócio lá e criar uma única fonte de verdade. No modelo Databricks, essa fonte de verdade é aberta e interoperável, o que importa muito.

Depois de fazer isso, algumas coisas acontecem. Você obtém confiança porque tem linhagem, governança, auditabilidade e definições certificadas. Você obtém simplificação porque evita duplicação desnecessária e ETL repetido. E você reduz o fardo da TI porque não está mais reconstruindo a lógica toda vez que alguém faz uma nova pergunta.

O padrão de implementação é bastante claro. Primeiro, acerte as bases de dados. Segundo, construa a camada semântica e certifique as métricas de negócio. Terceiro, adicione IA e, em seguida, use frameworks de avaliação para monitorar e refinar esses resultados. Essa sequência é importante. A NTT Docomo é um ótimo exemplo disso. Tendo usado Databricks Lakehouse, Unity Catalog e fluxos de trabalho para automatizar a análise de logs, eles reduziram o tempo de processamento manual de 66 horas por mês para 6 horas e melhoraram a eficiência da análise em 90%. Esse é um forte exemplo de governança e base permitindo uma tomada de decisão muito mais rápida.

Por Que APJ Está Avançando Mais Rápido na Monetização de Dados e IA

Catherine: O que as empresas de APJ estão fazendo de diferente ou mais rápido quando se trata de monetizar a camada de dados para IA?

Nick: APJ é um mercado fascinante porque é incrivelmente diverso. Você está lidando com países, idiomas, níveis de maturidade e ambientes regulatórios muito diferentes. Mas um dos padrões comuns é que as organizações tendem a avançar muito rapidamente na transformação digital, e muitos governos em toda a região têm estratégias nacionais claras de IA em vigor.

O que vemos dos clientes é que eles geralmente começam com a camada de governança e base de dados, e depois avançam rapidamente para aplicativos nativos de IA assim que essa base está estabelecida. Essa sequenciação é importante.

Também vemos esse padrão em setores como serviços financeiros, onde os clientes estão consolidando análises em cima de uma camada de dados governada e, em seguida, democratizando o acesso.

Outro exemplo é a Net One Systems no Japão. Uma vez que eles tinham a base estabelecida, construíram uma ferramenta de conhecimento com IA integrada a outros sistemas e alcançaram uma redução de 75% no tempo de resposta a consultas de suporte, economizando 10.000 horas de trabalho por ano.

Uma das coisas que é especialmente única em APJ é a dimensão multilíngue. Os clientes estão construindo capacidades em japonês, mandarim, cantonês, tailandês e outros idiomas locais. Isso é poderoso, mas só funciona se a camada de dados subjacente for bem governada e estruturada o suficiente para suportá-la.

Os clientes de APJ tendem a acertar as bases rapidamente e, em seguida, pivotar rapidamente para o desenvolvimento de aplicativos com foco em IA em cima disso. Em muitos casos, eles estão avançando mais rápido do que outras regiões.

Considerações Finais

O ponto de Nick é técnico e estratégico. As organizações que criam valor a partir de IA não estão tratando análise, semântica e governança como conversas separadas. Elas as estão tratando como uma única base. Para os executivos, isso importa porque o retorno não é apenas uma arquitetura melhor. É uma tomada de decisão mais rápida, um acesso mais amplo a insights e um custo de análise menor em escala. A IA não consertará uma camada de dados fragmentada. Ela a exporá. As empresas que avançam mais rápido da experimentação para a inteligência confiável serão aquelas que definem suas métricas claramente, as governam centralmente e as tornam abertas o suficiente para que a análise e a IA construam sobre a mesma verdade.

Para saber mais sobre como construir um modelo operacional eficaz, baixe o Modelo de Maturidade de IA da Databricks.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original