El equipo de infraestructura de datos central de Panasonic US tiene un mandato ambicioso: servir como la columna vertebral de datos para múltiples unidades de negocio que abarquen ventas, cadena de suministros, recursos humanos y más. Cuando las canalizaciones de ETL heredadas y los almacenes de datos fragmentados ralentizaron la presentación diaria de informes, a veces con ventanas de ingestión de varias horas y errores impredecibles, el equipo tomó la decisión estratégica de modernizarse desde cero. Al estandarizar el uso de la plataforma Databricks y Lakeflow, transformaron una infraestructura frágil y fragmentada en una base de datos fiable para toda la empresa. Los procesos que antes tardaban horas ahora se completan en minutos. Los analistas tienen acceso directo a datos que antes estaban fuera de su alcance y el equipo ya está trabajando en su próximo reto: la inteligencia artificial.
Las canalizaciones heredadas fragmentadas interrumpen las operaciones empresariales interfuncionales
El equipo central de infraestructura de datos y TI de Panasonic impulsa la estrategia global de datos para varias empresas internas y unidades de negocio. Para respaldar las operaciones diarias, la previsión de ventas y la gestión de la cadena de suministro, los líderes empresariales dependen en gran medida de sistemas empresariales como SAP S/4HANA, Workday y los sistemas globales de punto de venta (POS). Sin embargo, la infraestructura de datos heredada de Panasonic, compuesta por herramientas ETL inconexas y almacenes de datos complejos, tenía dificultades para gestionar el volumen y la complejidad de estos datos, lo que provocaba graves problemas de rendimiento y resiliencia.
El principal cuello de botella era la ingesta de datos de SAP. Al reconocer las limitaciones de los procesos heredados de captura de cambios de datos (CDC, por sus siglas en inglés), el equipo de ingeniería buscó un enfoque más fiable, pero la arquitectura existente les obligó a realizar actualizaciones completas de datos en más de 100 tablas por día. Las tablas transaccionales masivas con cientos de millones de filas requerían particiones complejas y, con frecuencia, provocaban errores en los sistemas heredados. Estas cargas pesadas tardaban entre cinco y seis horas en completar y se averiaban aproximadamente 10 veces al año, lo que requería horas o incluso días completos de resolución de problemas por parte de varios equipos informáticos para solucionarlos. Para una de estas unidades de negocio internas, que opera con estrictos horarios límite para la presentación de informes a primera hora de la mañana, estas interrupciones provocaron demoras costosas. Con frecuencia, los jefes se quedaba sin los informes diarios de ventas, inventario y logística necesarios para tomar decisiones empresariales cruciales, lo que interrumpía las operaciones diarias. Además, los datos valiosos permanecían ocultos en bases de datos heredadas, lo que creaba barreras de visibilidad para los analistas de la inteligencia empresarial (Business Intelligence, BI) que necesitaban acceso a los datos sin procesar para realizar pronósticos precisos.
Estandarización de la ingesta empresarial con Lakeflow Connect
Con el fin de crear una infraestructura de datos centralizada y resistente, Panasonic migró a la plataforma Databricks y utiliza de forma activa Lakeflow Connect para estandarizar la ingesta de datos en las principales fuentes de datos de la empresa.
La máxima prioridad era SAP S/4HANA. Al integrarse con SAP Datasphere para depositar archivos en Azure Data Lake Storage (ADLS), Panasonic implementó Auto Loader (parte de Lakeflow Connect) para gestionar sin problemas la ingesta incremental de una de sus canalizaciones más propensas a errores. Esta arquitectura moderna proporcionó una arquitectura estable y automatizada que requería solo una fracción de la carga operativa. Los resultados fueron inmediatos.
A partir de ahí, el equipo extendió el mismo enfoque a otros sistemas críticos. Los datos de RR. HH. y de la fuerza laboral que antes eran difíciles de rastrear históricamente ahora se incorporan con el conector Workday en tablas estructuradas y relacionales que capturan cambios como transiciones de gestores y reincorporaciones de empleados a lo largo del tiempo. Además, el conector SFTP extrae continuamente datos de la cadena de suministro global, incluidas cifras de puntos de venta, métricas de envío y registros de fabricación desde la sede central de Panasonic en Japón. Estos datos urgentes, formateados en archivos CSV y Excel, están disponibles para análisis de la cadena de suministro casi en tiempo real.
Más allá de los datos estructurados y semiestructurados, Panasonic ahora está abordando el desafío de los repositorios de documentos PDF no estructurados. Al conectar SharePoint con el entorno de Databricks, el equipo ha automatizado el procesamiento de miles de documentos legales y de proveedores complejos. Al utilizar la inteligencia de documentos de Databricks (ai_parse_document y ai_query), pudieron procesar y extraer decenas de campos clave con alta precisión en resultados estructurados, y transformaron documentos estáticos en datos dinámicos y consultables.
"El procesamiento de 10 000 contratos con proveedores y análisis de sistemas de medición solía ser una ardua tarea manual que nos llevaba dos semanas en nuestro sistema heredado. Al aprovechar el conector SharePoint de Databricks, la computación sin servidor y la inteligencia documental de Databricks, comprimimos todo ese flujo de trabajo, desde la ingesta hasta la extracción de fechas de caducidad críticas, en solo dos o tres horas." – Shingo Sakamoto, arquitecto principal de datos de TI, Panasonic
Todo ello se sustenta en una capa de gobernanza unificada a través de Unity Catalog, que permite al equipo compartir datos de forma segura entre las distintas unidades de negocio sin duplicaciones. En todas estas fuentes, el equipo aprovecha la computación serverless de Databricks para ejecutar notebooks ETL de alto rendimiento en una fracción del tiempo.
"En nuestro entorno heredado, la carga de las tablas masivas de SAP tardaba entre cinco y seis horas y fallaba con frecuencia." Al estandarizar el uso de Databricks y utilizar Auto Loader, el tiempo de importación de nuestra tabla más grande se redujo de varias horas a solo dos minutos. Nuestros procesos están ahora totalmente estabilizados, lo que garantiza que nuestra dirección reciba los informes a tiempo." – Yuka Kato, Líder en Ingeniera de datos, Panasonic
Datos fiables, impacto en toda la empresa
Hoy en día, los líderes empresariales de Panasonic comienzan cada mañana con lo que necesitan: informes precisos y puntuales que cubren las ventas diarias, la facturación y el inventario, los cuales se entregan sin falta. El procesamiento integral de los datos de todas las tablas de plata se completa en unos 30 minutos, y la fiabilidad que antes parecía inalcanzable se ha convertido simplemente en la nueva norma.
El impacto va más allá del rendimiento. Al retirar las licencias heredadas costosas de almacenes de datos, ETL y BI, el equipo logró una reducción significativa en el costo total de propiedad (TCO). Como resultado, esto liberó el presupuesto y el ancho de banda, lo que permitió a los equipos concentrarse en trabajos de mayor valor. Y gracias a la existencia de una base de datos fiable, se facilitó el acceso en toda la organización. Los analistas de BI ahora pueden explorar los datos directamente, lo que reduce los tiempos de carga y actualización en aproximadamente un 50 %. Los representantes de ventas y los gerentes regionales están construyendo sus propias vistas y modelos de previsión.
"Databricks ha empoderado a nuestros analistas de datos para hacer más: pueden explorar datos en bruto directamente, colaborar en cuadernos compartidos y avanzar más rápido que nunca. Como resultado de esta eficiencia operativa, nuestro pequeño equipo de ciencia de datos puede abordar soluciones a escala empresarial. – Jerry Deng, Director de BI, Panasonic
Con una base de datos estable y unificada, ese mismo enfoque de acceso está moldeando las ambiciones de IA de Panasonic. El equipo está implementando un espacio de trabajo de Genie para que su equipo de cotizaciones sin conocimientos técnicos tenga acceso de autoservicio al historial de precios y a información predictiva.
"Nuestro equipo de cotizaciones no piensa en SQL, sino en clientes y productos." Genie se adapta a sus necesidades y convierte las consultas sobre precios en respuestas inmediatas, lo que permite a un pequeño equipo de datos generar un impacto en toda la empresa." - Elena Gusakova, Científica de datos sénior, Panasonic
