Arquitectura de referencia de sostenibilidad y eficiencia de recursos para la manufactura: clonada

Flujos de datos y de plataforma

1. Las fábricas, las instalaciones de generación de energía y los centros de datos buscan integrar datos de múltiples fuentes en el Lakehouse para comprender el consumo de recursos como electricidad, agua y materiales. Los grandes volúmenes de datos de eventos en streaming de fuentes como sistemas IoT de infraestructura o sistemas SCADA se pueden procesar a través de servicios estándar como Kafka y Event Grid, o cargarse directamente en Databricks a través de Zerobus. En cualquier caso, se aprovechan Structured Streaming o Lakeflow Spark Declarative Pipelines para ingerir de forma incremental estos datos en tablas Bronze, lo que ofrece un TCO, rendimiento y escala líderes en la industria. Otros datos operativos, como registros de mantenimiento o documentos regulatorios de sistemas ERP, se pueden ingerir a través de Lakeflow Connect, mientras que los datos de SAP se pueden exponer a través del SAP BDC Connector for Databricks. Para aumentar o complementar los datos propietarios, se utiliza Databricks Marketplace para acceder a fuentes de datos de terceros, como datos meteorológicos y financieros públicos, y se dispone de un gran ecosistema de socios para aprovechar las herramientas de integración de terceros y los conectores a otros softwares empresariales comunes.
2. A medida que los datos se ingieren desde diferentes fuentes, se utiliza la arquitectura de medallón para mejorar de manera incremental y progresiva la estructura y la calidad de los datos. Los formatos sin procesar y los metadatos correspondientes llegan a la capa bronze para mantener un archivo histórico de la fuente, lo que es especialmente relevante para los datos de telemetría o de streaming de IoT. Lakeflow Spark Declarative Pipelines se implementan para limpiar, fusionar y modelar datos con lógica adicional, como la interpolación y el remuestreo de telemetría. Los datos avanzan a la capa silver, que generalmente representa conjuntos de datos limpios y transaccionales de una sola fuente. Finalmente, se puede desarrollar una capa gold para unir conjuntos de datos, agregar datos a lo largo de dimensiones clave y calcular métricas de sostenibilidad importantes como la eficiencia en el uso de la energía o la capacidad de consumo. La capa gold simplifica la generación de informes y acelera el tiempo de obtención de información, lo que permite soluciones analíticas clave como el monitoreo de KPI o la evaluación comparativa de ESG.
3. Con los datos ahora integrados y transformados, los equipos de operaciones disponen de una visión unificada y holística de la información necesaria para realizar análisis avanzados. Aquí, se aprovecha Databricks SQL para monitorear el consumo de recursos en múltiples instalaciones y líneas, al tiempo que se realiza una evaluación comparativa de ESG con empresas del mismo sector, y se aprovechan la IA y machine learning para incorporar modelos predictivos para el mantenimiento predictivo de equipos y el pronóstico de la demanda de energía. Estos modelos de IA y ML se benefician enormemente de tener acceso a los datos limpios y confiables del Lakehouse, lo cual es posible gracias a los pasos anteriores. Sin esto, la calidad y la consistencia de las predicciones no serían tan sólidas.
4. Los equipos de operaciones ahora buscan ofrecer información valiosa a diversas partes interesadas. Es importante destacar que la plataforma Databricks está abierta a todo tipo de perfiles, ya sean técnicos o no. Los paneles de Databricks AI/BI pueden ser creados por expertos en SQL o usuarios de negocios utilizando lenguaje natural para visualizar los KPI en relación con los objetivos de eficiencia energética o sostenibilidad, y Genie Spaces permiten a los usuarios finales interactuar con los datos en lenguaje natural. Databricks Apps se crean para monitorear las emisiones de carbono con el fin de evaluar los objetivos de sostenibilidad, o para monitorear el uso de energía para reducir el desperdicio de recursos, proporcionando una interfaz personalizable para que cualquier perfil o colaborador aproveche el poder del Lakehouse. Al utilizar Agent Bricks, las partes interesadas de todos los niveles de habilidad técnica pueden crear agentes que se adapten a sus necesidades; por ejemplo, para recuperar información actualizada y oportuna sobre los cambios en los requisitos regulatorios, o para automatizar los cronogramas de mantenimiento preventivo.