제조업을 위한 지속 가능성 및 자원 효율성 참조 아키텍처 - 복제됨
이 아키텍처는 수익성을 개선하는 동시에 운영 전반의 제조 지속 가능성(탄소 발자국) 및 자원 효율성(전기, 용수, 화학 물질)을 이해하는 데 도움이 됩니다.
데이터 및 플랫폼 흐름
- 공장, 발전 시설 및 데이터 센터는 전력, 용수, 원자재 등의 자원 소비를 파악하기 위해 여러 소스의 데이터를 레이크하우스로 통합하고자 합니다. 인프라 IoT 시스템이나 SCADA 시스템과 같은 소스에서 발생하는 대용량 스트리밍 이벤트 데이터는 Kafka 및 Event Grid와 같은 표준 서비스를 통해 처리하거나, Zerobus를 통해 Databricks로 직접 로드할 수 있습니다. 어떤 경우든 Structured Streaming 또는 Lakeflow Spark Declarative Pipelines를 활용하여 이 데이터를 브론즈 테이블로 증분 수집함으로써 업계 최고의 TCO, 성능 및 확장성을 제공합니다. ERP 시스템의 유지보수 기록이나 규제 문서와 같은 기타 운영 데이터는 Lakeflow Connect를 통해 수집할 수 있으며, SAP 데이터는 SAP BDC Connector for Databricks를 통해 노출할 수 있습니다. 자체 데이터를 보완하거나 보충하기 위해 Databricks Marketplace를 사용하여 날씨 및 공개 재무 데이터와 같은 타사 데이터 소스에 액세스할 수 있으며, 다른 일반적인 엔터프라이즈 소프트웨어에 대한 타사 통합 도구 및 커넥터를 활용할 수 있는 대규모 파트너 에코시스템을 이용할 수 있습니다.
- 서로 다른 소스에서 데이터가 수집됨에 따라, 메달리온 아키텍처(Medallion Architecture)를 사용하여 데이터의 구조와 품질을 점진적으로 개선합니다. 원시 형식과 해당 메타데이터는 브론즈 레이어에 저장되어 소스의 이력 아카이브를 유지하며, 이는 특히 원격 측정 데이터나 IoT 스트리밍 데이터에 유용합니다. 원격 측정 리샘플링 및 보간과 같은 추가 로직을 사용하여 데이터를 정제, 병합 및 모델링하기 위해 Lakeflow Spark Declarative Pipelines가 구현됩니다. 데이터는 일반적으로 정제된 트랜잭션 단일 소스 데이터 세트를 나타내는 실버 레이어로 이동합니다. 마지막으로 데이터 세트를 결합하고, 주요 차원에 따라 데이터를 집계하며, 전력 사용 효율성(PUE) 또는 소비 용량과 같은 중요한 지속 가능성 지표를 계산하기 위해 골드 레이어를 개발할 수 있습니다. 골드 레이어는 보고를 간소화하고 인사이트 도출 시간을 단축하여 KPI 모니터링 또는 ESG 벤치마킹과 같은 주요 분석 솔루션을 가능하게 합니다.
- 이제 데이터가 통합 및 변환되어 운영 팀은 고급 분석을 실행하는 데 필요한 정보에 대한 통합되고 전체적인 뷰를 확보할 수 있습니다. 여기서 Databricks SQL을 활용하여 여러 시설 및 라인 전체의 자원 소비를 모니터링하는 동시에 동종 기업과의 ESG 벤치마킹을 수행하고, AI 및 머신러닝을 활용하여 장비 예방 보전 및 에너지 수요 예측을 위한 예측 모델을 통합합니다. 이러한 AI 및 ML 모델은 업스트림 단계를 통해 가능해진 깨끗하고 신뢰할 수 있는 레이크하우스 데이터에 액세스함으로써 큰 이점을 얻습니다. 이것이 없다면 예측의 품질과 일관성이 견고하지 못할 것입니다.
- 이제 운영 팀은 다양한 이해관계자에게 인사이트를 제공하고자 합니다. 중요한 점은 Databricks 플랫폼이 기술적 배경에 관계없이 모든 사용자를 수용한다는 것입니다. SQL 전문가나 비즈니스 사용자가 자연어를 사용하여 Databricks AI/BI 대시보드를 구축하여 에너지 효율성 또는 지속 가능성 목표 대비 KPI를 시각화할 수 있으며, Genie Spaces를 통해 최종 사용자가 자연어로 데이터와 상호 작용할 수 있습니다. Databricks Apps는 탄소 배출량을 모니터링하여 지속 가능성 목표를 평가하거나, 에너지 사용량을 모니터링하여 자원 낭비를 줄이도록 구축되어 모든 사용자나 협업자가 레이크하우스의 강력한 기능을 활용할 수 있는 맞춤형 프론트엔드를 제공합니다. Agent Bricks를 사용하면 모든 기술 수준의 이해관계자가 필요에 맞는 에이전트를 구축할 수 있습니다. 예를 들어 변화하는 규제 요구 사항에 대한 최신 정보를 적시에 검색하거나 예방 보전 일정을 자동화할 수 있습니다.
