O futuro da análise de dados: por que a AI está reescrevendo a descrição de cargo do analista

O papel do analista de dados foi declarado morto mais vezes do que podemos contar. A IA vai escrever consultas, criar dashboards e gerar insights. Então, por que se dar ao trabalho de contratar analistas?

Porque esse argumento confunde a tarefa com a função.

O que realmente está sendo automatizado é o trabalho que consumia o tempo dos analistas, mas nunca entregava valor de negócios: preparação manual de dados, reconstrução de dashboards para cada nova parte interessada, escrita de SQL ad hoc para solicitações pontuais. O analista que faz apenas essas coisas está sendo automatizado. O analista que estrutura problemas de negócios e direciona decisões está se tornando cada vez mais valioso.

Isso não é uma previsão. Já está acontecendo. E, neste artigo, explicaremos por que a IA não está acabando com o papel do analista; ela está restaurando-o para o que deveria ter sido desde o início.

Entre nós, já contratamos mais de 50 analistas, lideramos equipes de entrega multidisciplinares e projetamos frameworks de decisão habilitados por IA em diversos setores. Comparamos nossas anotações recentemente e o mesmo padrão continuou surgindo: os analistas que prosperam não são os que escrevem o melhor SQL. São os que fazem as melhores perguntas.

Plataformas como o Databricks AI/BI estão convergindo para análises orientadas por linguagem natural. Você pode descrever o que deseja em linguagem simples e obter um dashboard, uma métrica ou um insight. As ferramentas de texto para SQL estão resolvendo um problema com o qual o setor luta há décadas: o tempo e o conhecimento técnico necessários para ir de uma pergunta a um resultado. Isso é uma vitória real. Mas fechar essa lacuna apenas destaca a dimensão que sempre foi mais importante: a qualidade do próprio insight. Sempre existiu, e sempre existirá, uma lacuna diferente: saber qual pergunta fazer em primeiro lugar. O passo mais importante para ser um ótimo analista de dados não é apenas responder ao que está sendo perguntado, mas refinar e moldar para chegar a uma compreensão do que realmente precisa ser respondido. Quantas vezes lhe pediram para buscar os dados de um ponto específico, apenas para descobrir depois que não era bem isso que a empresa estava tentando avaliar?

Como chegamos aqui: a armadilha das ferramentas de BI

Esse tem sido um processo lento e gradual. Inicialmente, os analistas serviam como intermediários entre as equipes de negócios e de TI que possuíam os Data Warehouses, às vezes agindo mais como analistas de negócios. Mas então, com o surgimento de ferramentas como QlikView, Power BI e Tableau, essas equipes de analistas voltadas para os negócios não estavam mais presas a data warehouses legados para produzir seus dashboards. Isso permitiu uma iteração rápida, mas levou a um conjunto diferente de problemas.

Os analistas tornaram-se criadores de dashboards e "corretores" de dados, agindo às vezes como uma TI paralela (shadow IT). De repente, a função não exigia mais que fossem apenas excelentes comunicadores que entendiam o valor dos dados da empresa. O tempo deles era consumido por:

• Preparação manual de dados e resolução de problemas urgentes em pipelines
• Reconstrução de dashboards para cada nova parte interessada
• Escrita de SQL ad hoc para solicitações pontuais
• Preenchimento de lacunas entre ferramentas de BI e dados upstream

A habilidade de que as organizações realmente precisavam, a estruturação de problemas de negócios, acabou sendo pouco desenvolvida. Os analistas estavam ocupados e sobrecarregados, mas muitas vezes tinham dificuldades para demonstrar seu valor. Todos nós já vimos inúmeras rodadas de reestruturação em equipes de dados, enquanto as pessoas lutam para entender seu valor.

Existe uma tensão persistente no cerne dessa função: especialistas técnicos costumam ser péssimos em entender os negócios, enquanto pessoas com visão de negócios têm menos probabilidade de serem fortes tecnicamente. As organizações tentaram resolver isso contratando pessoas que pudessem fazer as duas coisas, mas esses profissionais são raros. Vimos isso ao longo de nossas experiências. Geralmente, os líderes optam por uma combinação de habilidades em toda a equipe, em vez de habilidades individuais, ou seja, ter algumas pessoas muito técnicas que não dominam o contexto de negócios e pessoas menos técnicas que são mais fortes em comunicação. Mas, geralmente, em equipes menores, isso faz com que esses indivíduos se sintam descontentes em suas funções, com ambos os grupos precisando assumir os dois tipos de trabalho. Os mais focados em negócios ficam frustrados com os desafios técnicos, e os funcionários técnicos ficam frustrados por terem que falar com a área de negócios. Muito disso levou a equipes de análise que se concentram em expor dados em vez de responder a perguntas. A proposta de valor central da análise, transformar informações em decisões, foi diluída pela mecânica de levar os dados do ponto A ao ponto B.

O resultado disso é uma geração de analistas que conseguem dizer o que aconteceu, mas não por que isso importa ou o que fazer a respeito.

A IA simplifica as coisas novamente

Cada onda de ferramentas prometia libertar os analistas da mecânica de entrega. Na prática, ela os enterrava ainda mais. A IA muda isso. Não substituindo os analistas, mas automatizando o trabalho que os sobrecarregava.

Plataformas como os AI/BI Dashboards com Genie Code permitem que os usuários descrevam o que desejam em linguagem simples e obtenham um dashboard funcional e com estilo consistente em minutos. Interfaces de linguagem natural como o Genie One significam que as partes interessadas podem fazer perguntas ad hoc diretamente, sem abrir uma solicitação ou esperar em uma fila. As definições de métricas podem ser geradas e refinadas automaticamente, com a IA agindo como um instrutor para aprimorá-las de acordo com a real necessidade do negócio. Essas não são melhorias incrementais. Elas removem classes inteiras de atrito que, ao longo do tempo, distorceram a função do analista além do reconhecimento. As tarefas técnicas tornaram-se commodities.

Vimos isso acontecer na prática. Um analista em uma organização do setor público precisava criar um modelo de segmentação de clientes, um esforço que antes levava dois meses e envolvia desenvolvimento em SQL, preparação de dados e ciclos iterativos com a engenharia. Usando o Genie Code, eles o construíram em meio dia. A IA cuidou da execução técnica; o analista concentrou-se em definir os segmentos que realmente importavam para o negócio. Essa é a mudança: não menos analistas, mas analistas dedicando seu tempo ao trabalho que realmente gera impacto.

Mas a velocidade por si só não é o valor. Uma IA que responde perfeitamente à pergunta errada continua errada. O que essa nova onda de ferramentas deixa claro é que o gargalo na análise de dados nunca foi o SQL ou os dashboards. Sempre foi o julgamento. Alguém ainda precisa:

• Definir o que a empresa realmente deve medir, e por quê
• Estruturar a pergunta certa antes que qualquer pessoa toque nos dados
• Validar se o resultado faz sentido no contexto
• Interpretar os pontos de dados em um curso de ação recomendado

A IA não faz nada disso. Esse é o trabalho do analista. Sempre foi, nós apenas nunca demos a eles tempo para fazê-lo.

A IA simplifica a execução. Ela não detém a intenção, a responsabilidade ou a consequência. Essa responsabilidade continua sendo estritamente humana.

“Com a IA aumentando os processos e automatizando as tarefas rotineiras, o julgamento humano, a responsabilidade e a propriedade das decisões continuam centrais” - Capgemini Research Institute, A vantagem plurianual da IA: construindo a empresa de amanhã, p.6

E é aqui que o papel do analista não desaparece, mas ressurge.

O analista renascido: menos SQL, mais "e daí?"

Com as tarefas técnicas automatizadas, o valor do analista muda para o trabalho que apenas os humanos podem fazer:

Estruturação de problemas

A coisa mais valiosa que um analista pode fazer é ajudar uma parte interessada a articular a pergunta certa antes que qualquer pessoa toque nos dados. Isso é mais difícil do que parece: o Capgemini Research Institute descobriu que "apenas 33% dos líderes conseguem articular suas necessidades para um sistema de Gen AI". Se você precisa medir uma campanha de marketing, medir a taxa de cliques pode parecer ótimo, e você poderia pedir para a IA medir isso para você e acreditar que tem uma campanha de sucesso. Se você desenvolveu a campanha, talvez não precise questionar mais nada. Mas você pode não ter feito a pergunta certa. E se o e-mail estivesse oferecendo um desconto de 90%? Bem, então você precisaria olhar para o cenário de receita total também. O analista é necessário para ajudar a estruturar o problema e fazer o papel de advogado do diabo e, sem precisar saber SQL, o analista pode se concentrar em entender o negócio e agir como um tradutor.

Contexto e julgamento

Um número sem contexto é apenas um número. Um analista que conhece o negócio pode lhe dizer que uma queda de 5% na retenção é alarmante, mas uma queda de 5% em uma métrica cuja definição você acabou de alterar não significa nada. A AI não tem essa percepção contextual. Um bom analista tem.

É isso que o conhecimento de domínio significa na prática. Não apenas familiaridade com o setor, mas saber que o pico de receita do trimestre passado foi uma promoção pontual. Ou que a migração de uma conta importante está distorcendo os dados. Ou que um campo específico tem sido corrigido manualmente no CRM há anos porque o sistema de origem nunca foi consertado. A AI não tem memória de nada disso.

À medida que a AI dimensiona o volume e a velocidade da geração de insights, essa lacuna não diminui; ela aumenta. Quanto mais resultados a AI produz, mais você precisa de alguém que possa confrontar cada um deles com a realidade institucional e perguntar se realmente faz sentido. A interpretação humana é a solução para as duas maiores falhas da AI:

• Alucinações, muitas vezes envoltas em otimismo e confiança excessivos na forma como a AI responde.
• Natureza probabilística - o que pode impactar a confiabilidade da AI.

O analista com profundo conhecimento de domínio é aquele que olha para um dashboard perfeitamente formatado e diz: "Este número está errado, e eu sei exatamente o porquê." Essa capacidade não é um prompt. Ela é construída sobre anos de familiaridade com o negócio.

Storytelling e influência

Dados não tomam decisões; histórias sim. O trabalho do analista não é apresentar uma tabela de números. É entrar em uma sala e dizer: "Aqui está o que está acontecendo, aqui está o porquê e aqui está o que eu acho que devemos fazer." Pesquisas mostram que combinar dados qualitativos e quantitativos é sempre mais persuasivo do que apenas números; as pessoas se lembram de histórias, não de estatísticas (Heath & Heath, Made to Stick). Chegar à decisão de negócios correta exige fortes habilidades de persuasão e compreensão do público (HBR: Data Science and the art of persuasion). Nenhum LLM vai substituir isso em uma sala de reuniões.

Governança e confiança

À medida que a AI gera mais insights, alguém precisa garantir que eles sejam fundamentados, auditáveis e corretos. Junto com uma boa ferramenta de catalogação, como o Unity Catalog, o analista se torna a camada de qualidade, fazendo a curadoria dos resultados da AI, validando-os em relação ao conhecimento de domínio e sinalizando quando o modelo está alucinando ou os dados estão errados. Este último é um problema muito comum. Muitos dados não são puros. Entrada manual de dados, novos valores de busca, eventos fora do sistema. Tudo isso introduz ruídos dos quais a AI não tem conhecimento. O analista experiente sabe disso e trata os dados de acordo.

Orquestração

O analista moderno não escreve o SQL; ele direciona os agentes de AI que o fazem. Eles fazem a curadoria dos espaços do Genie, definem as métricas corretas, estruturam as bases de conhecimento e projetam os fluxos de trabalho analíticos. Pense nisso como passar de jogador a treinador, que é o que eles deveriam ter sido desde o início.

O que isso significa para as organizações

As implicações são práticas e imediatas:

• Contratação: Pare de avaliar analistas pela proficiência em SQL. Comece a avaliar pela curiosidade, visão de negócios e habilidades de comunicação. As habilidades técnicas não são mais o fator definitivo. Considere treinar seus analistas atuais em habilidades de pensamento crítico.
• Time to Value: Com o advento da AI, as organizações devem ver melhorias no time to value. No entanto, elas precisam estar cientes de que isso trará um risco de interpretação incorreta devido a alucinações ou falta de contexto. As organizações precisam garantir que não dependam exclusivamente da AI para decisões de negócios importantes; a presença de um humano no circuito (human-in-the-loop) é fundamental.
• Ferramentas: Invista em plataformas que automatizem a camada técnica para que seus analistas possam se concentrar no "e daí?". Se a sua equipe ainda passa a maior parte do tempo preparando dados e criando dashboards, liberte seus analistas do débito técnico em que se encontram.
• Estrutura: Posicione os analistas mais próximos dos tomadores de decisão, e não isolados nas equipes de dados. O valor está na interface entre os dados e os negócios, não no pipeline.
• Métricas: Pare de avaliar os analistas pelo número de dashboards entregues ou consultas escritas. Avalie-os pelas decisões influenciadas, perguntas reformuladas e ações tomadas.

O ROI da AI em analytics não significa necessariamente menos analistas; significa analistas que realmente direcionam as decisões corretas.

O que devo fazer agora?

Se seus analistas estão gastando mais tempo criando dashboards do que respondendo a perguntas de negócios, capacite-os com as ferramentas certas para automatizar essas tarefas e aprimore suas habilidades na linguagem dos negócios.

O analista do futuro escreve menos SQL e faz perguntas melhores. Eles passam menos tempo no editor de consultas e mais tempo na sala de reuniões. Eles deixam de apenas apresentar dados e passam a moldar decisões. Para muitos analistas, era isso o que eles sempre quiseram fazer. E para aqueles que preferem o trabalho técnico, o campo em crescimento da engenharia de analytics é exatamente onde eles vão prosperar.

Pronto para libertar seus analistas da esteira de dashboards? Experimente o Databricks AI/BI e o Genie hoje mesmo.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original