Architecture de référence pour la durabilité et l'efficacité des ressources dans le secteur manufacturier - Cloné

Flux de données et de plateforme

1. Les usines, les installations de production d'énergie et les centres de données visent à intégrer les données de multiples sources dans le Lakehouse afin de comprendre la consommation de ressources telles que l'électricité, l'eau et les matériaux. De grands volumes de données d'événements en streaming provenant de sources telles que les systèmes IoT d'infrastructure ou les systèmes SCADA peuvent être traités via des services standards comme Kafka et Event Grid, ou chargés directement dans Databricks via Zerobus. Dans les deux cas, Structured Streaming ou Lakeflow Spark Declarative Pipelines sont exploités pour ingérer progressivement ces données dans des tables Bronze, offrant un TCO, des performances et une évolutivité de premier plan. D'autres données opérationnelles, telles que les registres de maintenance ou les documents réglementaires des systèmes ERP, peuvent être ingérées via Lakeflow Connect, tandis que les données SAP peuvent être exposées via le SAP BDC Connector for Databricks. Pour enrichir ou compléter les données propriétaires, le Databricks Marketplace permet d'accéder à des sources de données tierces telles que des données météorologiques et financières publiques, et un vaste écosystème de partenaires est disponible pour exploiter des outils d'intégration tiers et des connecteurs vers d'autres logiciels d'entreprise courants.
2. À mesure que les données sont ingérées à partir de différentes sources, l'architecture Medallion est utilisée pour améliorer de manière incrémentielle et progressive la structure et la qualité des données. Les formats bruts et les métadonnées correspondantes arrivent dans la couche Bronze pour maintenir une archive historique de la source, ce qui est particulièrement pertinent pour les données de télémétrie ou de streaming IoT. Lakeflow Spark Declarative Pipelines sont implémentés pour nettoyer, fusionner et modéliser les données avec une logique supplémentaire, telle que le rééchantillonnage et l'interpolation de la télémétrie. Les données progressent vers la couche Silver, qui représente généralement des ensembles de données propres, transactionnels et provenant d'une source unique. Enfin, une couche Gold peut être développée pour joindre les ensembles de données, agréger les données selon des dimensions clés et calculer des indicateurs de durabilité importants tels que l'efficacité de l'utilisation de l'énergie (Power Usage Efficiency) ou la capacité de consommation. La couche Gold simplifie le reporting et accélère l'obtention d'insights, permettant des solutions analytiques clés telles que le suivi des KPI ou le benchmarking ESG.
3. Grâce à des données désormais intégrées et transformées, les équipes opérationnelles disposent d'une vue unifiée et globale des informations nécessaires pour exécuter des analyses avancées. Ici, Databricks SQL est exploité pour surveiller la consommation de ressources sur plusieurs sites et lignes tout en effectuant un benchmarking ESG par rapport aux entreprises homologues, et l'AI et le machine learning sont utilisés pour intégrer des modèles prédictifs pour la maintenance préventive des équipements et la prévision de la demande d'énergie. Ces modèles d'AI et de ML bénéficient grandement de l'accès à des données Lakehouse propres et fiables, rendues possibles par les étapes en amont. Sans cela, la qualité et la cohérence des prédictions ne seraient pas aussi robustes.
4. Les équipes opérationnelles visent désormais à fournir des insights à diverses parties prenantes. Surtout, la plateforme Databricks est accessible à tous les profils, qu'ils soient techniques ou non. Des tableaux de bord Databricks AI/BI peuvent être créés par des experts SQL ou des utilisateurs métier en langage naturel pour visualiser les KPI par rapport aux objectifs d'efficacité énergétique ou de durabilité, et les Genie Spaces permettent aux utilisateurs finaux d'interagir avec les données en langage naturel. Les Databricks Apps sont conçues pour surveiller les émissions de carbone afin d'évaluer les objectifs de durabilité, ou pour surveiller la consommation d'énergie afin de réduire le gaspillage des ressources, offrant ainsi une interface personnalisable permettant à tout profil ou collaborateur de tirer parti de la puissance du Lakehouse. En utilisant Agent Bricks, les parties prenantes de tous niveaux techniques peuvent créer des agents répondant à leurs besoins, par exemple pour récupérer des informations à jour et opportunes sur l'évolution des exigences réglementaires, ou pour automatiser les calendriers de maintenance préventive.