製造業向けサステナビリティとリソース効率化のリファレンスアーキテクチャ - クローン

データとプラットフォームのフロー

1. 工場、発電施設、データセンターは、電力、水、原材料などのリソース消費量を把握するために、複数のソースからのデータをLakehouseに統合することを目指しています。インフラのIoTシステムやSCADAシステムなどのソースからの大量のストリーミングイベントデータは、KafkaやEvent Gridのような標準的なサービスを介して処理するか、またはZerobusを経由してDatabricksに直接ロードできます。いずれの場合も、Structured StreamingまたはLakeflow Spark Declarative Pipelinesを活用して、このデータをBronzeテーブルに段階的に取り込み、業界をリードするTCO、パフォーマンス、スケールを実現します。ERPシステムからのメンテナンス記録や規制文書などのその他の運用データは、Lakeflow Connectを介して取り込むことができ、SAPデータはSAP BDC Connector for Databricksを介して公開できます。自社データを補強または補完するために、Databricks Marketplaceを使用して気象や公開財務データなどのサードパーティデータソースにアクセスできます。また、広範なパートナーエコシステムを利用して、サードパーティの統合ツールや他の一般的なエンタープライズソフトウェアへのコネクターを活用できます。
2. 異なるソースからデータが取り込まれる際、データの構造と品質を段階的かつ継続的に向上させるために、メダリオンアーキテクチャが使用されます。生のフォーマットと対応するメタデータはBronzeレイヤーに配置され、ソースの履歴アーカイブが維持されます。これは、テレメトリやIoTストリーミングデータにおいて特に重要です。Lakeflow Spark Declarative Pipelinesを実装して、テレメトリのリサンプリングや補間などの追加ロジックを用いて、データのクレンジング、マージ、モデリングを行います。データはSilverレイヤーへと進みます。ここには通常、クリーンでトランザクション処理された単一ソースのデータセットが格納されます。最後に、データセットを結合し、主要なディメンションに沿ってデータを集計し、電力使用効率や消費容量などの重要なサステナビリティ指標を計算するために、Goldレイヤーを構築できます。Goldレイヤーはレポート作成を簡素化し、インサイトを得るまでの時間を短縮することで、KPIモニタリングやESGベンチマークなどの主要な分析ソリューションを可能にします。
3. 統合および変換されたデータにより、運用チームは高度な分析を実行するために必要な情報を、統一された包括的なビューで把握できるようになります。ここでは、Databricks SQLを活用して、複数の施設やラインにおけるリソース消費を監視しながら、同業他社とのESGベンチマークを実行します。また、AIと機械学習を活用して、設備の予知保全やエネルギー需要予測のための予測モデルを組み込みます。これらのAIおよびMLモデルは、上流のステップによって実現される、クリーンで信頼性の高いLakehouseデータにアクセスできることで、大きな恩恵を受けます。これがないと、予測の品質と一貫性はこれほど強固なものにはなりません。
4. 運用チームは、さまざまなステークホルダーにインサイトを提供することを目指します。重要なのは、Databricksプラットフォームが、技術的な知識の有無にかかわらず、あらゆるペルソナを歓迎している点です。Databricks AI/BIダッシュボードは、SQLのエキスパートやビジネスユーザーが自然言語を使用して構築でき、エネルギー効率やサステナビリティの目標に対するKPIを可視化します。また、Genie Spacesにより、エンドユーザーは自然言語でデータとやり取りできます。Databricks Appsは、炭素排出量を監視してサステナビリティ目標を評価したり、エネルギー使用量を監視してリソースの無駄を削減したりするために構築され、あらゆるペルソナやコラボレーターがLakehouseのパワーを活用できる、カスタマイズ可能なフロントエンドを提供します。Agent Bricksを使用することで、あらゆる技術レベルのステークホルダーがニーズに合わせたエージェントを構築できます。たとえば、変化する規制要件に関する最新情報をタイムリーに取得したり、予防保全スケジュールを自動化したりできます。