Referenzarchitektur für Nachhaltigkeit & Ressourceneffizienz in der Fertigung – Geklont

Daten- und Plattformflüsse

1. Fabriken, Energieerzeugungsanlagen und Rechenzentren streben danach, Daten aus mehreren Quellen in das Lakehouse zu integrieren, um den Ressourcenverbrauch wie Strom, Wasser und Materialien zu verstehen. Große Mengen an Streaming-Event-Daten aus Quellen wie Infrastruktur-IoT-Systemen oder SCADA-Systemen können über Standarddienste wie Kafka und Event Grid verarbeitet oder direkt über Zerobus in Databricks geladen werden. In jedem Fall werden Structured Streaming oder Lakeflow Spark Declarative Pipelines genutzt, um diese Daten inkrementell in Bronze-Tabellen einzulesen, was eine branchenführende TCO, Performance und Skalierung bietet. Andere operative Daten wie Wartungsprotokolle oder behördliche Dokumente aus ERP-Systemen können über Lakeflow Connect erfasst werden, während SAP-Daten über den SAP BDC Connector for Databricks bereitgestellt werden können. Zur Ergänzung oder Vervollständigung proprietärer Daten wird der Databricks Marketplace genutzt, um auf Datenquellen von Drittanbietern wie Wetter- und öffentliche Finanzdaten zuzugreifen. Zudem steht ein großes Partner-Ökosystem zur Verfügung, um Integrationstools von Drittanbietern und Connectoren zu anderer gängiger Unternehmenssoftware zu nutzen.
2. Da Daten aus verschiedenen Quellen erfasst werden, wird die Medallion-Architektur verwendet, um die Struktur und Qualität der Daten inkrementell und schrittweise zu verbessern. Die Rohdatenformate und die entsprechenden Metadaten landen in der Bronze-Schicht, um ein historisches Archiv der Quelle zu pflegen, was besonders für Telemetrie- oder IoT-Streaming-Daten relevant ist. Lakeflow Spark Declarative Pipelines werden implementiert, um Daten mit zusätzlicher Logik wie Telemetrie-Resampling und -Interpolation zu bereinigen, zusammenzuführen und zu modellieren. Die Daten gelangen in die Silver-Schicht, die im Allgemeinen saubere, transaktionale Single-Source-Datensätze darstellt. Schließlich kann eine Gold-Schicht entwickelt werden, um Datensätze zusammenzuführen, Daten entlang von Schlüsseldimensionen zu aggregieren und wichtige Nachhaltigkeitsmetriken wie die Power Usage Efficiency oder die Verbrauchskapazität zu berechnen. Die Gold-Schicht vereinfacht das Reporting und verkürzt die Zeit bis zur Erkenntnisgewinnung, was wichtige analytische Lösungen wie KPI-Monitoring oder ESG-Benchmarking ermöglicht.
3. Mit den nun integrierten und transformierten Daten verfügen die Betriebsteams über eine einheitliche und ganzheitliche Sicht auf die Informationen, die für die Durchführung fortschrittlicher Analysen erforderlich sind. Hier wird Databricks SQL genutzt, um den Ressourcenverbrauch über mehrere Anlagen und Linien hinweg zu überwachen und gleichzeitig ein ESG-Benchmarking mit Vergleichsunternehmen durchzuführen. Zudem werden AI und maschinelles Lernen eingesetzt, um prädiktive Modelle für die vorausschauende Wartung von Anlagen und die Prognose des Energiebedarfs zu integrieren. Diese AI- und ML-Modelle profitieren stark vom Zugriff auf die sauberen und vertrauenswürdigen Lakehouse-Daten, die durch die vorgelagerten Schritte ermöglicht werden. Ohne diese wäre die Qualität und Konsistenz der Vorhersagen nicht so robust.
4. Die Betriebsteams streben nun danach, verschiedenen Stakeholdern Erkenntnisse bereitzustellen. Wichtig ist, dass die Databricks-Plattform für alle Personas offen ist, unabhängig davon, ob sie technisch versiert sind oder nicht. Databricks AI/BI-Dashboards können von SQL-Experten oder Geschäftsanwendern mit natürlicher Sprache erstellt werden, um KPIs im Vergleich zu Energieeffizienz- oder Nachhaltigkeitszielen zu visualisieren, und Genie Spaces ermöglichen es Endbenutzern, in natürlicher Sprache mit den Daten zu interagieren. Databricks Apps werden entwickelt, um CO2-Emissionen zu überwachen und Nachhaltigkeitsziele zu bewerten, oder um den Energieverbrauch zu überwachen und Ressourcenverschwendung zu reduzieren. Sie bieten ein anpassbares Frontend, mit dem jede Persona oder jeder Projektpartner die Leistung des Lakehouse nutzen kann. Mithilfe von Agent Bricks können Stakeholder aller technischen Niveaus Agenten erstellen, die ihren Anforderungen entsprechen – beispielsweise um aktuelle und zeitnahe Informationen über sich ändernde regulatorische Anforderungen abzurufen oder um präventive Wartungspläne zu automatisieren.