Architettura di riferimento per la sostenibilità e l'efficienza delle risorse nel settore manifatturiero - Clonato

Flussi di dati e di piattaforma

1. Fabbriche, impianti di generazione di energia e data center mirano a integrare i dati provenienti da più fonti nel Lakehouse per comprendere il consumo di risorse come elettricità, acqua e materiali. Grandi volumi di dati di eventi in streaming provenienti da fonti quali sistemi IoT infrastrutturali o sistemi SCADA possono essere elaborati tramite servizi standard come Kafka ed Event Grid, oppure caricati direttamente in Databricks tramite Zerobus. In entrambi i casi, Structured Streaming o Lakeflow Spark Declarative Pipelines vengono utilizzati per inserire in modo incrementale questi dati nelle tabelle Bronze, offrendo TCO, prestazioni e scalabilità leader del settore. Altri dati operativi, come i registri di manutenzione o i documenti normativi provenienti dai sistemi ERP, possono essere inseriti tramite Lakeflow Connect, mentre i dati SAP possono essere esposti tramite il SAP BDC Connector for Databricks. Per aumentare o integrare i dati proprietari, Databricks Marketplace viene utilizzato per accedere a fonti di dati di terze parti come dati meteorologici e finanziari pubblici, e un ampio ecosistema di partner è disponibile per sfruttare strumenti di integrazione di terze parti e connettori ad altri software aziendali comuni.
2. Man mano che i dati vengono inseriti da diverse fonti, l'architettura Medallion viene utilizzata per migliorare in modo incrementale e progressivo la struttura e la qualità dei dati. I formati grezzi e i relativi metadati arrivano nel livello bronze per mantenere un archivio storico della sorgente, il che è particolarmente rilevante per i dati di telemetria o di streaming IoT. Lakeflow Spark Declarative Pipelines vengono implementate per pulire, unire e modellare i dati con logica aggiuntiva, come il ricampionamento e l'interpolazione della telemetria. I dati passano al livello silver, che generalmente rappresenta dataset puliti, transazionali e a sorgente singola. Infine, è possibile sviluppare un livello gold per unire i dataset, aggregare i dati lungo dimensioni chiave e calcolare importanti metriche di sostenibilità come la Power Usage Efficiency o la Consumption Capacity. Il livello gold semplifica la reportistica e accelera il tempo di ottenimento degli insight, abilitando soluzioni analitiche chiave come il monitoraggio dei KPI o il benchmarking ESG.
3. Con i dati ora integrati e trasformati, i team operativi dispongono di una visione unificata e olistica delle informazioni necessarie per eseguire analisi avanzate. Qui, Databricks SQL viene utilizzato per monitorare il consumo di risorse in più impianti e linee, eseguendo al contempo il benchmarking ESG rispetto alle aziende concorrenti, e AI e machine learning viene sfruttato per incorporare modelli predittivi per la manutenzione predittiva delle apparecchiature e la previsione della domanda di energia. Questi modelli di AI e ML beneficiano notevolmente dell'accesso ai dati puliti e affidabili del Lakehouse, resi possibili dalle fasi a monte. Senza questo, la qualità e la coerenza delle previsioni non sarebbero altrettanto robuste.
4. I team operativi mirano ora a fornire insight a vari stakeholder. Aspetto importante, la piattaforma Databricks è aperta a tutte le figure professionali, che siano tecniche o meno. Databricks AI/BI le dashboard possono essere create da esperti SQL o utenti aziendali utilizzando il linguaggio naturale per visualizzare i KPI rispetto agli obiettivi di efficienza energetica o sostenibilità, e Genie Spaces consentono agli utenti finali di interagire con i dati in linguaggio naturale. Databricks Apps vengono create per monitorare le emissioni di carbonio al fine di valutare gli obiettivi di sostenibilità, o per monitorare l'uso dell'energia per ridurre lo spreco di risorse, fornendo un front-end personalizzabile per consentire a qualsiasi utente o collaboratore di sfruttare la potenza del Lakehouse. Utilizzando Agent Bricks, gli stakeholder di tutti i livelli di competenza tecnica possono creare agenti per soddisfare le proprie esigenze, ad esempio per recuperare informazioni aggiornate e tempestive sui requisiti normativi in continua evoluzione o per automatizzare i programmi di manutenzione preventiva.