Descripciones del producto:
Unilever es una de las empresas de bienes de consumo envasados (CPG) más grandes del mundo y vende más de mil millones de productos diariamente de marcas como Dove, Hellmann’s y Tresemmé. Con esa escala global vinieron volúmenes masivos de datos complejos de diversas fuentes, así como las canalizaciones de datos heredadas que crearon cuellos de botella, demoraron la obtención de información y dificultaron la escalabilidad de las iniciativas de IA. Al adoptar Databricks Spark Declarative Pipelines, Unilever simplificó su arquitectura, mejoró la calidad de los datos y los unificó en un marco único y escalable. Ahora, Unilever puede moverse a la velocidad de sus clientes y brindar información más inteligente y decisiones impulsadas por IA en toda la empresa.
El costo de la complejidad de la infraestructura y la lentitud en la obtención de información
El equipo de análisis de clientes de Unilever desempeña un papel fundamental para ayudar a la empresa a comprender cómo se desempeñan sus productos en los minoristas y las regiones. A medida que la demanda de los consumidores se volvió más dinámica y los socios minoristas esperaban perspectivas más rápidas basadas en datos, la infraestructura de datos existente de la empresa comenzó a frenarlos. Los equipos dedicaban demasiado tiempo a gestionar problemas relacionados con las canalizaciones en lugar de aportar valor. Los datos se solían demorar, eran difíciles de rastrear y poco confiables. Además, sin acceso en tiempo real, la empresa no podía responder con suficiente rapidez a las nuevas tendencias o a los cambios en el comportamiento de los compradores.
“Necesitábamos pasar de procesos fragmentados y reactivos a una base preparada para la IA en tiempo real”, afirmó Evan Cherney, Gerente sénior de Ciencia de datos de Unilever. “Nuestros equipos estaban atascados manteniendo canalizaciones de datos en lugar de crear perspectivas, y eso limitó el impacto que podíamos tener.”
El ecosistema de datos existente de Unilever abarcaba petabytes de información procedente de fuentes internas, socios externos y proveedores externos, transmitida a intervalos y formatos variables. Esto incluyó todo, desde datos de punto de venta y envío hasta datos demográficos de compradores, geolocalización y atribución de productos. Los equipos de ingeniería dependían de los trabajos de Spark activados a través de herramientas de orquestación externas, pero el entorno se había vuelto demasiado complejo para gestionarlo eficientemente. Las canalizaciones eran frágiles e interdependientes. Depurar problemas era laborioso, y resolver una falla solía implicar actualizar varios sistemas para volver a poner los informes en línea.
Además, los usuarios empresariales tuvieron dificultades para acceder a los datos que necesitaban cuando los necesitaban. Había poca visibilidad sobre el origen de los datos, su proceso de transformación o su fiabilidad. Se cuestionó la confianza en los números, y la organización estaba perdiendo oportunidades para moverse más rápido, escalar de manera más inteligente y tomar decisiones más informadas y basadas en datos. El equipo sabía que aplicar la tecnología adecuada a los datos, junto con su diseño de arquitectura, representaría un importante avance para su organización.
Creación de una base de datos escalable y preparada para la inteligencia artificial
Para satisfacer las demandas crecientes de datos y ofrecer información más rápidamente, Unilever reconstruyó su arquitectura de datos en torno a la plataforma de inteligencia de datos de Databricks y las canalizaciones declarativas de Spark. El objetivo era simplificar la complejidad, reducir los gastos generales de ingeniería y habilitar el análisis en tiempo real listo para la inteligencia artificial. Con las canalizaciones declarativas de Spark, Unilever pasó de canalizaciones orquestadas manualmente a flujos de trabajo declarativos que gestionan automáticamente las dependencias, garantizan la calidad de los datos y ofrecen una visibilidad completa de cómo fluyen los datos a través del sistema.
La adopción de una arquitectura de medallón con capas de bronce, plata, oro y platino permitió al equipo estructurar los datos de una manera que se alineaba con las necesidades tanto de rendimiento como de gobernanza. Los datos por lotes y en transmisión ahora fluyen a través de una única canalización resiliente, con controles de calidad y transformaciones gestionados de forma nativa. “En lugar de unir tablas manualmente y preocuparnos por las dependencias de actualización, ahora nos enfocamos en ofrecer información. Spark Declarative Pipelines administra el flujo, maneja controles de calidad y nos da la transparencia que nunca antes habíamos tenido”, dijo Cherney.
La gobernanza fue otro salto significativo hacia adelante. Unity Catalog proporcionó un control de acceso centralizado, un linaje a nivel de columna y un intercambio de datos seguro entre equipos. Los datos que antes estaban fragmentados y eran difíciles de rastrear ahora son detectables, confiables y de fácil acceso para la exploración. Los equipos pueden colaborar con confianza al saber que trabajan con datos coherentes y de alta calidad.
Las mejoras en el rendimiento llegaron rápidamente. La computación sin servidor, la agrupación líquida y la publicación directa optimizaron tanto la ejecución de la canalización como la entrega de datos. En lugar de mantener decenas de canalizaciones personalizadas, Unilever ahora enruta los datos dinámicamente a través de metadatos. Los paneles de control se actualizan casi en tiempo real, los modelos de IA se entrenan con datos más recientes y la empresa puede responder a las señales del mercado más rápido que nunca. Lo que antes era un sistema de alto esfuerzo para mantener, ahora es una plataforma flexible diseñada para la escala, la velocidad y las decisiones más inteligentes.
Desbloqueo de velocidad y escala mediante una arquitectura de datos moderna
Desde la migración a la plataforma de inteligencia de datos de Databricks, Unilever mejoró significativamente su capacidad para responder a los cambios del mercado, las necesidades de los minoristas y el comportamiento del consumidor en tiempo real. Las actualizaciones de canalización y los paneles críticos para el negocio que solían tardar horas o días en entregarse ahora se pueden realizar en minutos. Los equipos de toda la organización toman decisiones con más rapidez, impulsados por datos confiables y de alta calidad que siempre están actualizados y son fáciles de rastrear.
La información en tiempo real ha tenido un impacto directo en la colaboración de Unilever con sus socios minoristas. Los equipos de ventas, cadena de suministro y marketing ahora tienen acceso a datos continuamente actualizados y seleccionados para apoyar desde la optimización de inventarios hasta el rendimiento de campañas. Los modelos de IA y ML que se veían ralentizados por entradas inconsistentes ahora funcionan con datos en tiempo real con una latencia mínima, lo que permite una previsión más inteligente de la demanda y ciclos de planificación más adaptables.
Los avances técnicos también se tradujeron en claras victorias operativas. Unilever redujo significativamente sus costos de infraestructura. “Databricks nos ayudó a pasar al cómputo sin servidor, a la vez que eliminamos los flujos de trabajo redundantes. Estas eficiencias nos permiten reducir los costos operativos en un 25 %", afirmó Cherney. Las canalizaciones de datos también son mucho más eficientes. “Anteriormente, las canalizaciones en nuestra infraestructura heredada tardaban horas en procesarse. Ahora, corren de 2 a 5 veces más rápido”, explicó Cherney. Los equipos de ingeniería que antes se centraban en el mantenimiento y la depuración han cambiado su enfoque hacia la innovación y ayudaron a la empresa a descubrir nuevas oportunidades y a ampliar los productos de datos de manera más eficiente.
Cherney dijo: “Spark Declarative Pipelines cambió por completo la forma en que trabajamos.” Ya no estamos atrapados persiguiendo canalizaciones rotas. Ofrecemos información en tiempo real, habilitamos la IA a gran escala, lo que ayuda a que nuestro negocio se mueva más rápido que nunca”.
Mientras el cambio a Databricks se centraba en mejorar el rendimiento, Unilever también estaba construyendo una base de datos preparada para lo que vendría después. Gracias a la observabilidad, el linaje y los controles de calidad integrados, Unilever ahora cuenta con una plataforma capaz de escalar con futuras innovaciones en inteligencia artificial, apoyar la experimentación entre equipos y proporcionar información confiable en el momento en que más se necesita.