Mercedes-Benz crea una malla de datos entre nubes con Delta Sharing y replicación inteligente, reduciendo costos en un 66%

Mercedes-Benz, una de las marcas de automóviles de lujo más reconocidas del mundo, está navegando actualmente por dos grandes cambios en la industria: la digitalización y la transición a los vehículos eléctricos. Esta era se define por el concepto de "vehículo definido por datos".

• De Hardware a Datos: En el pasado, los vehículos estaban definidos por hardware, luego por software, pero ahora la industria está entrando en la era de los vehículos definidos por datos. Este cambio significa que los datos, incluida la telemetría del vehículo y la información del cliente, son el activo principal que impulsa la mejora del producto y la experiencia del cliente.
• La Necesidad de Compartir Datos: Para construir este vehículo definido por datos, varias unidades de negocio, como Investigación y Desarrollo (I+D), Postventa y Marketing, deben poder compartir datos de manera fluida, segura y rentable. Mercedes-Benz tenía como objetivo reemplazar métodos anteriores, inseguros o ineficientes como los servidores FTP y el correo electrónico para la transferencia de datos con un mercado de intercambio de datos central y robusto.

El desafío crítico surgió de la arquitectura multi-nube de la empresa (AWS y Azure). Los consumidores de datos en Azure necesitaban acceso a conjuntos de datos de postventa grandes y actualizados con frecuencia, almacenados principalmente en AWS. Este acceso entre nubes generó altos costos de salida (egress) y planteó importantes obstáculos técnicos para garantizar la frescura de los datos.

El Desafío Empresarial: Altos Costos de Salida y Silos de Datos

Mercedes-Benz opera una configuración multi-nube, utilizando AWS y Azure, junto con una configuración multi-región dentro de esas nubes. Este enfoque les permite seleccionar los servicios de hiperescalador que mejor se adaptan a los requisitos técnicos específicos.

Un ejemplo crucial involucra sus datos de postventa, que incluyen información de eventos del vehículo por aire (over-the-air) y visitas al taller. Estos datos son vitales para mejorar componentes en investigación y desarrollo (I+D) y analizar casos de garantía.

• Volumen de Datos: Los datos centrales de postventa son sustanciales, con un subconjunto de aproximadamente 60 TB necesario para servir a docenas de casos de uso que se ejecutan en Azure. Este volumen crece continuamente.
• Barrera de Costos: Cuando los consumidores basados en Azure consultaban directamente este gran conjunto de datos residiendo en AWS, los costos de salida se convertían en una consideración para los casos de uso conscientes de los costos. Si bien el acceso directo era adecuado para ciertas necesidades de análisis en tiempo real, el equipo buscaba un enfoque más económico para cargas de trabajo menos sensibles al tiempo.
• Latencia y Frescura de los Datos: Antes de la nueva solución, el conjunto de datos completo a menudo se copiaba como una carga completa semanal. Los consumidores de datos solicitaban actualizaciones más frecuentes, pero las cargas completas diarias eran demasiado caras. Un retraso de siete días podría ser crítico al reaccionar a casos de garantía.
• Compatibilidad del Formato de Datos: Los datos originales en AWS estaban en formato Iceberg, mientras que muchos consumidores de datos en el lado de Azure esperaban un formato compatible con Delta.

La Solución: Una Estrategia Híbrida de Delta Sharing y Replicación

Mercedes-Benz implementó una solución técnica que combinó la capacidad segura de intercambio de datos de Databricks Delta Sharing con un mecanismo de replicación local controlado (Delta Deep Clone) para abordar los costos recurrentes de salida asociados con el intercambio de conjuntos de datos grandes y muy demandados.

Unity Catalog y Delta Sharing: La Base

La solución se basa en la Plataforma de Inteligencia de Datos de Databricks, construida sobre Unity Catalog (UC) y Delta Sharing.

• Unity Catalog (UC): UC funciona como el catálogo global para todos los productos de datos en toda la empresa. Centraliza metadatos, gestiona el acceso y permite un modelo de gobernanza de "centro y radio" (hub-and-spoke), permitiendo que los datos sean transparentes para otros mientras se mantiene el control. UC también simplificó el proceso al federar tablas de AWS Glue, registrándolas directamente en Unity para activar el intercambio de datos.
• Delta Sharing: Delta Sharing sirve como el protocolo abierto para intercambiar datos de forma segura entre diferentes Metastore de UC, a través de varias regiones y entre hiperescaladores (AWS a Azure). Fue elegido porque es una tecnología de código abierto y admite actualizaciones incrementales de datos.

Delta Sharing se utiliza en tres configuraciones principales dentro de la malla de datos de Mercedes-Benz:

1. Intercambio entre Nubes/Hiperescaladores: Este es el caso de uso principal, que une la brecha entre AWS y Azure. Aprovecha la plataforma unificada de Databricks en ambos lados para usar la misma tecnología a través de las nubes.
2. Intercambio entre Regiones/Metastore: Delta Sharing se utiliza internamente entre diferentes regiones en la misma nube.
3. Intercambio Externo: La solución permite compartir datos con socios externos, como proveedores, que también pueden estar utilizando Databricks o Delta Sharing. Esta es una forma más segura de recibir datos que enviar secretos o usar FTP.

Enfoque Híbrido: Replicación Local para Minimizar la Salida

Reconociendo que no todos los casos de uso requieren frescura de datos en tiempo real, Mercedes-Benz diseñó un enfoque de replicación incremental controlado para conjuntos de datos grandes y muy accedidos donde se priorizó la eficiencia de costos sobre la frescura sub-horaria.

1. Intercambio entre Nubes: Delta Sharing se configura entre el Metastore Proveedor (AWS) y el Metastore Receptor (Azure).
2. Trabajo de Sincronización Periódico: Los Trabajos de Sincronización automatizados se ejecutan periódicamente, utilizando Delta Deep Clone para persistir réplicas de las tablas compartidas en el almacén de objetos de la nube receptora (ADLS/S3).
3. Actualizaciones Incrementales: Deep Clone permite que el proceso actualice los datos de forma incremental, por lo que el conjunto de datos completo no se copia constantemente, ahorrando costos.
4. Consumo Local: Los consumidores de datos en Azure consultan los datos replicados localmente en Azure, reduciendo drásticamente el movimiento de datos entre nubes y los altos costos de salida asociados.

Esta arquitectura refleja la fortaleza principal de Delta Sharing: la flexibilidad. Los usuarios pueden elegir entre alta frescura de datos con mayor costo (Delta Shares directos) o baja frescura de datos con costo y latencia mínimos (datos replicados localmente). Este enfoque escalonado permite a Mercedes-Benz servir diversos casos de uso de manera eficiente.

Implementación Técnica y Mejores Prácticas

El equipo tuvo la solución de extremo a extremo lista en solo unas pocas semanas. Para garantizar la escalabilidad, la seguridad y una gestión de costos precisa, Mercedes-Benz incorporó varias mejores prácticas operativas y arquitectónicas:

• Orquestador de Intercambio Dinámico de Datos (DDX): DDX juega un papel central como un meta-catálogo de autoservicio. DDX automatiza la gestión de permisos (otorgando permisos a través de microservicios y APIs de Databricks), la gestión de Trabajos de Sincronización y los flujos de trabajo de intercambio/replicación de datos.
• Automatización con Databricks Asset Bundles (DABs): El despliegue de Trabajos de Sincronización y la configuración están completamente automatizados utilizando DABs y despliegues basados en YAML a través de Azure DevOps. Esto garantiza un enfoque DevOps robusto y completo.
• Seguimiento y Atribución de Costos: Los Trabajos de Sincronización registran la cantidad exacta de datos transferidos. Un Trabajo de Reporte separado agrega estos datos diariamente para calcular el costo aproximado de salida por Producto de Datos, que luego se utiliza para facturar a los productores de datos upstream. Este panel de costos también rastrea los costos de cómputo para los Trabajos de Sincronización.
• GDPR y Gobernanza: La solución aborda las preocupaciones del GDPR utilizando la funcionalidad VACUUM de Delta Lake en las tablas replicadas, asegurando que las eliminaciones de datos en el lado de origen se reflejen en el lado del receptor.

Beneficios Cuantitativos y ROI

La solución de malla de datos entre nubes produjo resultados comerciales significativos y medibles, transformando el modelo económico para el intercambio de datos en Mercedes-Benz.

1. Reducción de OPEX / Costos de Salida

Al aprovechar las capacidades de actualización incremental de Delta Sharing y la replicación inteligente a través de Deep Clone, Mercedes-Benz optimizó la frescura de los datos mientras reducía los costos de salida.

• Reducción de Costos de Salida: Los costos de salida para los primeros 10 productos de datos se redujeron en un 66%.
• ROI en Egress: Esto representa una reducción de aproximadamente dos tercios en los costos semanales de egreso. Considerando el mismo ejemplo de cálculo para 50 casos de uso de los anteriores para el consumo directo de datos desde AWS, el costo anual aproximado de egreso se redujo en un 93%.

2. Mayor Frescura de los Datos y Agilidad Empresarial

La capacidad de sincronizar datos de forma incremental permitió aumentar drásticamente la frecuencia de las actualizaciones para los consumidores de Azure.

• Frescura Mejorada: Los consumidores de datos ahora reciben datos frescos con mayor frecuencia (por ejemplo, cada dos días), en lugar de esperar siete días completos. Esto evita retrasos críticos en la reacción a problemas como los casos de garantía.

3. Reducción del Costo de Operaciones de TI

El uso de trabajos de Databricks completamente Serverless para el proceso de sincronización redujo los gastos de cómputo y la sobrecarga operativa.

• Estabilidad Operacional: Los trabajos se ejecutan "más o menos sin ningún problema y sin ninguna intervención", minimizando el costo de las operaciones de TI.

Impacto Estratégico: El Vehículo Definido por Datos

El marco de intercambio de datos centralizado y rentable es esencial para la visión de Mercedes-Benz del "vehículo definido por datos".

Delta Sharing y la malla de datos resultante ayudan a conectar fuentes de datos previamente aisladas, como los datos de posventa, con colegas de investigación y desarrollo, marketing y ventas. Esto crea una visión holística del vehículo y del cliente, acelerando la misión de la empresa hacia la digitalización y la electrificación de su línea de productos.

¿Quiere saber cómo Mercedes-Benz aprovechó la flexibilidad de Delta Sharing para optimizar su malla de datos multicloud? Vea la presentación de Alexander Summa de la Data + AI Summit:

Vea la presentación en YouTube

En esta sesión, aprenderá más sobre la arquitectura técnica, los desafíos de implementación y las lecciones aprendidas al implementar esta solución a escala.

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original