Cómo Indra unificó los datos de carga de EV en Databricks

Cuando los datos crecen más rápido que los sistemas que los rodean, la complejidad se convierte en la norma. Ese fue el desafío para Indra Renewable Technologies, una de las empresas de carga de vehículos eléctricos (EV) de más rápido crecimiento en el Reino Unido, que diseña, desarrolla y fabrica cargadores inteligentes para ubicaciones comerciales y residenciales. A medida que su patrimonio de datos se expandía, también lo hacía la cantidad de herramientas, pipelines y costos asociados.

El resultado era familiar: sistemas fragmentados, lógica duplicada y mucho tiempo dedicado a mantener la infraestructura en lugar de utilizar los datos para impulsar el negocio.

La respuesta de Indra no fue agregar otra solución puntual. Fue consolidarse en Databricks, creando una única plataforma gobernada para analítica, generación de informes y acceso de autoservicio en toda la empresa.

Vea al CTO de Indra, Matthew Noonan, y a la ingeniera de datos, Meghana Ganatra, compartir su trayectoria con Databricks.

La trayectoria de Indra con Databricks comenzó con una migración de prototipo en paralelo desde Synapse. Una vez que los resultados cumplieron con las expectativas, el equipo se expandió a tablas Delta mensuales, consolidó su pipeline de flota y trasladó más carga operativa de Cosmos DB a Databricks. La siguiente fase se centró en hacer que los datos gobernados fueran útiles más allá de la ingeniería, con dashboards de AI/BI automatizados y Genie Agents que brindan a los equipos de negocio acceso directo a las respuestas.

El punto de partida: demasiadas herramientas, demasiada sobrecarga

Los datos de Indra estaban dispersos en Cosmos DB, Synapse, Azure Data Lake Storage, Azure Functions, Power BI y otros servicios de Azure. Cada caso de uso había evolucionado por su propio camino.

Eso creó algunos problemas:

• Los costos crecieron de forma orgánica a través de múltiples herramientas
• Los pipelines se crearon de forma individual, con poca estandarización
• Los datos estaban fragmentados
• La gobernanza era limitada, sin un catálogo único ni una vista de linaje
• Los equipos de negocio seguían dependiendo de los equipos de datos para obtener cifras rutinarias

La arquitectura funcionaba, pero era costosa y difícil de escalar de manera limpia.

Por qué era importante una plataforma única

Databricks le ofreció a Indra una manera de unir estas piezas.

En lugar de mantener múltiples servicios separados, el equipo migró a una sola plataforma con conjuntos de datos gobernados, flujos de trabajo estandarizados y visibilidad centralizada a través de Unity Catalog. Ese cambio transformó tanto el modelo operativo como el conjunto de tecnologías.

El equipo ya no tenía que tratar cada caso de uso como un desarrollo independiente. Podían compilar una vez sobre datos gobernados y reutilizar la plataforma en diferentes equipos y cargas de trabajo.

En la práctica, eso significaba una plataforma de datos de forma centralizada que atendía múltiples casos de uso, en lugar de un conjunto de herramientas aisladas que coexistían de forma independiente.

Qué cambió para la ingeniería, los usuarios de negocio y los clientes

Los beneficios no se limitaron al equipo de datos:

• Para ingeniería, Databricks se convirtió en la base para compilar sobre conjuntos de datos gobernados en lugar de fuentes dispersas
• Para los usuarios de negocio, redujo la necesidad de solicitar cifras al equipo de datos
• Para los clientes externos, creó una única fuente de verdad entregada desde una sola plataforma
• Y para el equipo de datos, hizo que el sistema fuera más fácil de soportar, más escalable y más sencillo de ampliar

Ese cambio de la fragmentación a la estandarización es una de las mayores ganancias en cualquier consolidación de plataformas: el valor no solo radica en menores costos, sino también en menos transferencias y menor fricción operativa.

Reemplazo de pipelines frágiles con una arquitectura medallion

Uno de los ejemplos más claros de Indra fue su pipeline de datos de flota.

Anteriormente, el sistema dependía de múltiples funciones de Azure y etapas separadas para mover los datos a través de la pila tecnológica. El pipeline ingería telemetría y transacciones, las procesaba a través de una cadena de servicios y luego enviaba los resultados a herramientas de generación de informes o capas de entrega al cliente.

La nueva arquitectura simplificó ese camino. Utilizando un diseño medallion, Indra llevó sus datos de flota a una capa de bronce como la fuente única de verdad en bruto, los transformó en plata con PySpark y publicó tablas de oro listas para el negocio para la generación de informes y la entrega a clientes.

Esa consolidación eliminó la necesidad de tres funciones heredadas de Azure y permitió que un solo pipeline atendiera a tres clientes en un horario diario.

El impacto fue directo:

• Una única base de código en lugar de lógica duplicada
• Menos piezas móviles que mantener
• Mejora del rendimiento del 60% al 70% en comparación con las funciones heredadas

Conversión de la generación de informes en autoservicio

Indra también abordó un punto de dolor común: la generación manual de informes. Los KPI mensuales se habían rastreado en Excel, y algunos informes residían en Power BI con limitaciones de licencia. Eso ralentizaba la toma de decisiones y mantenía a los usuarios de negocio dependientes del equipo de datos.

El nuevo patrón de producción se ejecuta a partir de tablas de oro gobernadas en la arquitectura medallion, catalogadas a través de Unity Catalog y servidas a través de un SQL warehouse serverless. Los dashboards de AI/BI se actualizan automáticamente según lo programado y han reemplazado a los rastreadores manuales de Excel que antes mantenían marketing, operaciones y otros equipos. Con Genie One integrado directamente en el lienzo del dashboard, los usuarios pueden pasar de un elemento visual fijo a una conversación en lenguaje natural con los datos subyacentes sin salir de la página.

Los dashboards respaldan decisiones operativas prácticas. Un Reporte de Voltaje de Dispositivos monitorea el cumplimiento en toda la población de cargadores en el campo, mientras que el dashboard de Análisis de Tiempo de Actividad de Cargadores ayuda a los equipos a comprender la salud de la flota, por ejemplo, mostrando 14,975 dispositivos con un tiempo de actividad promedio del 90.25% durante un período seleccionado. Un dashboard de Voltaje de Red para Worcester agrega contexto geográfico, lo que ayuda al equipo a identificar puntos críticos de sobretensión y subtensión y a comprender dónde las condiciones locales pueden afectar el diseño del cargador.

Los Genie Agents extienden los mismos datos gobernados al análisis conversacional. Indra tiene agentes para telemetría, firmware de dispositivos, y usuarios, dispositivos y vehículos. Un usuario de marketing u operaciones puede preguntar cuántos dispositivos suministraron energía a los EV en un mes determinado; ingeniería puede verificar el recuento de dispositivos por modelo o versión de firmware; y los equipos de producto pueden explorar las marcas de vehículos representadas en la plataforma. Genie genera el SQL, devuelve el resultado y admite preguntas de seguimiento sin necesidad de realizar una nueva solicitud al equipo de datos.

Juntas, estas capacidades automatizan la generación de informes, mantienen los dashboards actualizados sin necesidad de actualización manual, permiten a los usuarios hacer preguntas en lenguaje sencillo y ofrecen respuestas a los equipos sin tener que esperar soporte ad hoc, reduciendo el tiempo de resolución de preguntas rutinarias de días a minutos, al tiempo que crean una vista compartida y gobernada de los datos.

Los números detrás del cambio y lo que habilitan

La simplificación arquitectónica de Indra ofreció resultados medibles:

• Ahorro de costos comerciales del 80 al 90% gracias a la migración de Synapse a Databricks, junto con un ahorro del 90% en costos de almacenamiento
• El costo por usuario activo se redujo de £1.30 en enero a 45p en mayo
• La latencia de las consultas mejoró de 24.4 segundos a 3.5 segundos

Estas mejoras surgieron de un cambio más amplio en la forma en que Indra manejaba los datos: menos sistemas, mayor reutilización y una plataforma de datos gobernada que respalda la generación de informes actual, el monitoreo operativo y el futuro trabajo de AI. El valor de los datos aumenta cuando más personas pueden usarlos. Una plataforma gobernada no es solo una capa de control; es lo que hace que el autoservicio sea práctico.

De la consolidación de plataformas a las operaciones impulsadas por datos

La carga de EV es un entorno con un uso intensivo de datos. Los cargadores generan telemetría de forma continua, las condiciones de la red local varían y el rendimiento operativo puede cambiar rápidamente. Eso hace que sea importante contar con un sistema que sea tanto confiable como flexible.

Los dashboards y espacios de Genie de Indra ayudan al equipo a monitorear ese entorno sin obligar a que cada pregunta pase por el equipo de datos. Su arquitectura también deja espacio para el siguiente paso: streaming, tablas Delta, pipelines de Lakeflow y futuros casos de uso impulsados por AI.

El consejo del equipo es práctico: mantén la curiosidad, lee la documentación, haz preguntas pronto, colabora con expertos de Databricks y sigue explorando nuevas capacidades. Esa mentalidad es importante porque el valor de la plataforma se acumula con el tiempo. La primera victoria puede ser la reducción de costes; la mayor victoria es cuando la misma plataforma empieza a desbloquear nuevas formas de trabajar en toda la empresa.

La trayectoria de Indra demuestra lo que ocurre cuando un patrimonio de datos fragmentado se sustituye por una plataforma gobernada y diseñada para la reutilización. La empresa redujo costes, simplificó las operaciones, mejoró el rendimiento y ofreció a los usuarios de negocio un acceso más rápido a las cifras que necesitan. Con la misma importancia, sentó las bases para el streaming y la AI sin añadir una mayor dispersión.

Para los equipos que se enfrentan a la misma combinación de fragmentación de herramientas, costes crecientes e informes manuales, la lección es sencilla: primero estandarizar la plataforma y luego escalar los casos de uso a partir de ahí.

¿Listo para saber más? Ve la demostración completa y el análisis profundo de expertos de nuestro Energy Virtual Industry Forum: Impulse la transición energética con datos unificados, información en tiempo real y AI a escala.

FAQ

¿A qué desafíos de datos se enfrentan las empresas de carga de EV?

Los datos a menudo abarcan bases de datos, almacenamiento en la nube, herramientas de BI y pipelines independientes, lo que genera una lógica duplicada, telemetría fragmentada, gobernanza limitada y costes crecientes. Una plataforma unificada proporciona métricas coherentes y gobernadas.

¿Cómo permite Databricks el análisis de EV de autoservicio?

Genie One permite a los usuarios consultar datos gobernados de telemetría, dispositivos, firmware y vehículos en lenguaje natural, mientras que los dashboards proporcionan métricas coherentes y contexto operativo.

¿Cómo pueden las empresas de carga de EV prepararse para el streaming y la AI?

Una base gobernada de Databricks es compatible con la generación de informes hoy en día, al tiempo que proporciona un camino hacia el streaming, las tablas Delta, los pipelines de Lakeflow y la AI sin añadir dispersión a la plataforma.

¿Qué ofrece Databricks a las empresas de energía?

Databricks combina ingeniería de datos, análisis de SQL, machine learning y AI para el análisis de contadores inteligentes, la monitorización de la red, la carga de EV, la previsión de la demanda, la detección de fraudes y la elaboración de informes regulatorios.

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original