Como a Indra unificou dados de carregamento de veículos elétricos na Databricks

Quando os dados crescem mais rápido do que os sistemas ao seu redor, a complexidade se torna o padrão. Esse foi o desafio da Indra Renewable Technologies, uma das empresas de carregamento de veículos elétricos (EV) que mais cresce no Reino Unido, que projeta, desenvolve e fabrica carregadores inteligentes para residências e estabelecimentos comerciais. À medida que seu ambiente de dados se expandia, o mesmo acontecia com o número de ferramentas, pipelines e custos associados a ele.

O resultado era familiar: sistemas fragmentados, lógica duplicada e muito tempo gasto na manutenção da infraestrutura em vez de usar os dados para impulsionar os negócios.

A resposta da Indra não foi adicionar outra solução pontual. Foi consolidar tudo no Databricks, criando uma única plataforma governada para análise, relatórios e acesso self-service em toda a empresa.

Assista ao CTO da Indra, Matthew Noonan, e à engenheira de dados, Meghana Ganatra, compartilhando sua jornada com o Databricks.

A jornada da Indra com o Databricks começou com uma migração de protótipo paralela do Synapse. Assim que os resultados atenderam às expectativas, a equipe expandiu para tabelas Delta mensais, consolidou seu pipeline de frota e transferiu mais carga operacional do Cosmos DB para o Databricks. A próxima fase focou em tornar os dados governados úteis além da engenharia, com dashboards de AI/BI automatizados e Genie Agents dando às equipes de negócios acesso direto às respostas.

O ponto de partida: ferramentas demais, sobrecarga excessiva

Os dados da Indra estavam espalhados pelo Cosmos DB, Synapse, Azure Data Lake Storage, Azure Functions, Power BI e outros serviços do Azure. Cada caso de uso havia evoluído por um caminho próprio.

Isso criou alguns problemas:

• Os custos cresceram organicamente em várias ferramentas
• Os pipelines eram criados individualmente, com pouca padronização
• Os dados estavam fragmentados
• A governança era limitada, sem um catálogo único ou visualização de linhagem
• As equipes de negócios ainda dependiam das equipes de dados para obter números rotineiros

A arquitetura funcionava, mas era cara e difícil de escalar de forma limpa.

Por que uma plataforma única era importante

O Databricks deu à Indra uma maneira de unir essas peças.

Em vez de manter vários serviços separados, a equipe migrou para uma única plataforma com conjuntos de dados governados, fluxos de trabalho padronizados e visibilidade central por meio do Unity Catalog. Essa mudança transformou tanto o modelo operacional quanto a pilha de tecnologia.

A equipe não precisava mais tratar cada caso de uso como uma criação separada. Eles podiam desenvolver uma única vez sobre os dados governados e reutilizar a plataforma em diferentes equipes e cargas de trabalho.

Na prática, isso significava uma plataforma de dados centralizada atendendo a múltiplos casos de uso, em vez de um conjunto isolado de ferramentas operando lado a lado.

O que mudou para a engenharia, usuários de negócios e clientes

Os benefícios não se limitaram à equipe de dados:

• Para a engenharia, o Databricks se tornou a base para o desenvolvimento sobre conjuntos de dados governados, em vez de fontes dispersas
• Para os usuários de negócios, reduziu a necessidade de solicitar números à equipe de dados
• Para os clientes externos, criou uma única fonte da verdade entregue a partir de uma só plataforma
• E para a equipe de dados, tornou o sistema mais fácil de dar suporte, mais escalável e mais simples de estender

Essa mudança da fragmentação para a padronização é um dos maiores ganhos em qualquer consolidação de plataforma: o valor não está apenas nos custos mais baixos, mas também em menos transferências de responsabilidade e menor fricção operacional.

Substituindo pipelines frágeis por uma arquitetura medalhão

Um dos exemplos mais claros da Indra foi seu pipeline de dados de frota.

Anteriormente, o sistema dependia de várias Azure Functions e etapas separadas para mover os dados pela pilha. O pipeline ingeria telemetria e transações, processava-as por meio de uma cadeia de serviços e, em seguida, enviava os resultados para ferramentas de relatório ou camadas de entrega do cliente.

A nova arquitetura simplificou esse caminho. Usando um design medalhão, a Indra trouxe seus dados de frota para uma camada bronze como a fonte única de verdade bruta, transformou-os em prata com o PySpark, e publicou tabelas ouro prontas para os negócios para relatórios e entrega ao cliente.

Essa consolidação eliminou a necessidade de três Azure Functions herdadas e permitiu que um único pipeline atendesse a três clientes em um cronograma diário.

O impacto foi direto:

• Uma única base de código em vez de lógica duplicada
• Menos partes móveis para manter
• Melhoria de desempenho de 60% a 70% em relação às funções herdadas

Transformando relatórios em self-service

A Indra também enfrentou um ponto de dor comum: relatórios manuais. Os KPIs mensais eram acompanhados no Excel, e alguns relatórios ficavam no Power BI com restrições de licenciamento. Isso atrasava a tomada de decisões e mantinha os usuários de negócios dependentes da equipe de dados.

O novo padrão de produção é executado a partir de tabelas ouro governadas na arquitetura medalhão, catalogadas por meio do Unity Catalog, e disponibilizadas por meio de um SQL warehouse serverless. Os dashboards de AI/BI são atualizados automaticamente conforme o cronograma e substituíram as planilhas manuais de Excel mantidas anteriormente por marketing, operações e outras equipes. Com o Genie One incorporado diretamente na tela do dashboard, os usuários podem passar de um visual estático para uma conversa em linguagem natural com os dados subjacentes sem sair da página.

Os dashboards apoiam decisões operacionais práticas. Um Relatório de Voltagem do Dispositivo monitora a conformidade em toda a frota de carregadores em campo, enquanto o dashboard de Análise de Tempo de Atividade do Carregador ajuda as equipes a entender a integridade da frota, por exemplo, mostrando 14.975 dispositivos com um tempo de atividade médio de 90,25% em um período selecionado. Um dashboard de Voltagem da Rede para Worcester adiciona contexto geográfico, ajudando a equipe a identificar pontos críticos de sobretensão e subtensão e a entender onde as condições locais podem afetar o design do carregador.

Os Genie Agents estendem os mesmos dados governados para análises conversacionais. A Indra possui Agents para telemetria, firmware de dispositivos e usuários, dispositivos e veículos. Um usuário de marketing ou operações pode perguntar quantos dispositivos forneceram energia para EVs em um determinado mês; a engenharia pode verificar a contagem de dispositivos por modelo ou versão de firmware; e as equipes de produto podem explorar as marcas de veículos representadas na plataforma. O Genie gera o SQL, retorna o resultando e aceita perguntas de acompanhamento sem a necessidade de uma nova solicitação para a equipe de dados.

Juntas, essas capacidades automatizam os relatórios, mantêm os dashboards atualizados sem atualização manual, permitem que os usuários façam perguntas em linguagem natural e dão respostas às equipes sem que precisem esperar por suporte ad hoc — reduzindo o tempo de resposta de perguntas rotineiras de dias para minutos, ao mesmo tempo em que criam uma visão compartilhada e governada dos dados.

Os números por trás da mudança e o que eles viabilizam

A simplificação arquitetônica da Indra entregou resultados mensuráveis:

• 80% a 90% de economia de custos de negócios com a migração do Synapse para o Databricks, além de 90% de economia em custos de armazenamento
• O custo por usuário ativo foi reduzido de £ 1,30 em janeiro para 45p em maio
• A latência de consulta melhorou de 24,4 segundos para 3,5 segundos

Esses ganhos vieram de uma mudança mais ampla na forma como a Indra lidava com os dados: menos sistemas, mais reutilização e uma plataforma de dados governada que apoia os relatórios atuais, o monitoramento operacional e os futuros trabalhos de IA. O valor dos dados aumenta quando mais pessoas podem usá-los. Uma plataforma governada não é apenas uma camada de controle; é o que torna o self-service viável na prática.

Da consolidação da plataforma para operações orientadas por dados

O carregamento de EVs é um ambiente de uso intenso de dados. Os carregadores geram telemetria continuamente, as condições da rede local variam e o desempenho operacional pode mudar rapidamente. Isso torna essencial ter um sistema que seja confiável e flexível ao mesmo tempo.

Os dashboards e espaços do Genie da Indra ajudam a equipe a monitorar esse ambiente sem precisar direcionar todas as perguntas para a equipe de dados. Sua arquitetura também abre espaço para o próximo passo: streaming, tabelas Delta, pipelines do Lakeflow e futuros casos de uso baseados em IA.

O conselho da equipe é prático: mantenha a curiosidade, leia a documentação, tire dúvidas logo no início, colabore com especialistas da Databricks e continue explorando novos recursos. Essa mentalidade é importante porque o valor da plataforma se acumula com o tempo. A primeira vitória pode ser a redução de custos; a vitória ainda maior é quando a mesma plataforma começa a desbloquear novas formas de trabalhar em toda a empresa.

A jornada da Indra mostra o que acontece quando um ambiente de dados fragmentado é substituído por uma plataforma governada e criada para reutilização. A empresa reduziu custos, simplificou as operações, melhorou o desempenho e deu aos usuários de negócios um acesso mais rápido aos números de que precisam. De forma igualmente importante, ela estabeleceu as bases para streaming e AI sem adicionar mais dispersão.

Para as equipes que enfrentam a mesma combinação de fragmentação de ferramentas, custos crescentes e relatórios manuais, a lição é simples: padronize a plataforma primeiro e, depois, dimensione os casos de uso a partir daí.

Quer saber mais? Assista à demonstração completa e à análise aprofundada de especialistas do nosso Energy Virtual Industry Forum: impulsione a transição energética com dados unificados, insights em tempo real e AI em escala.

FAQ

Quais desafios de dados as empresas de carregamento de EV enfrentam?

Os dados geralmente abrangem bancos de dados, armazenamento em nuvem, ferramentas de BI e pipelines separados, criando lógica duplicada, telemetria fragmentada, governança limitada e custos crescentes. Uma plataforma unificada fornece métricas consistentes e governadas.

Como a Databricks possibilita a análise de EV em autoatendimento?

O Genie One permite que os usuários consultem telemetria governada, dados de dispositivos, firmware e veículos em linguagem natural, enquanto os dashboards fornecem métricas consistentes e contexto operacional.

Como as empresas de carregamento de EV podem se preparar para streaming e AI?

Uma base governada da Databricks oferece suporte a relatórios hoje, ao mesmo tempo em que fornece um caminho para streaming, tabelas Delta, pipelines do Lakeflow e AI, sem adicionar dispersão à plataforma.

O que a Databricks oferece para as empresas de energia?

A Databricks combina engenharia de dados, SQL analytics, machine learning e AI para análise de medidores inteligentes, monitoramento de rede, carregamento de EV, previsão de demanda, detecção de fraudes e relatórios regulatórios.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original