Dow가 대규모 지속 가능성을 가속화하기 위해 Databricks 상에 탄소 발자국 원장을 구축한 방법

탄소 발자국 원장을 구축한 이유

Dow의 목표는 세계에서 가장 혁신적이고 고객 중심적이며 포용적이고 지속 가능한 소재 과학 기업이 되는 것입니다. 그 중심에는 고객 지원 역량을 키우는 동시에 온실가스 배출을 줄이는 데 투자하는 '탈탄소화 및 성장(Decarbonize & Grow)' 전략이 있습니다.

여러 산업에 걸쳐 많은 고객들이 구매한 상품, 운송, 판매된 제품의 사용 등 기업의 가치 사슬 전반에서 발생하는 간접 온실가스 배출량인 Scope 3 배출량을 줄이기 위해 노력하고 있습니다. EU의 기업지속가능성보고지침(CSRD)과 같은 규제 프레임워크는 환경 정보 공개의 기준을 높이고 있습니다. 이에 따라 Dow는 우리가 제조하는 모든 제품의 탄소 발자국을 추적하고 소통할 수 있는 투명하고 검증 가능한 시스템이라는 중요한 요구 사항을 인식하고 이를 해결하고자 했습니다.

그 결과물이 바로 탄소 회계 방법론을 기반으로 한 디지털 도구인 탄소 발자국 원장(CFL)입니다. 이 도구는 ISO14067 및 GHG Protocol Product Standard에 대해 제3자 제한적 보증을 받았습니다. CFL은 회사 전반의 비즈니스와 부서를 아우르는 Dow의 Advance Sustainability Program에서 가장 높은 순위를 차지한 디지털 역량입니다.

CFL 방법론 및 도구: 과제 해결

제품 탄소 발자국(PCF)은 원료 추출부터 제조에 이르기까지 발생하는 총 온실가스 배출량을 CO2 환산량(CO2e)으로 측정한 것입니다. CFL은 이러한 계산을 기반으로 두 가지 강력한 기능을 제공합니다.

최적화 - 가장 탄소 배출이 적은 투입물을 동적으로 할당하여 제품의 탄소 속성(즉, CO2e)을 최적화하고, 탈탄소화 투자의 수익화를 지원합니다.

검증 가능한 인증 - 글로벌 제조 네트워크 전반에서 저탄소 제품에 대한 제품 탄소 발자국 인증서를 발급하고, GHG 회계에서 확립된 물질 수지(mass-balance) 관행에 따라 잔액을 안전하고 감사 가능한 원장에 유지합니다.

실제 적용 시 CFL은 표준 기반 탄소 회계 방법론을 계산 엔진 및 인증서 발급 원장과 결합합니다. 계산 엔진은 ISO 14067 및 GHG Protocol Product Standard에 따라 제품의 업스트림 원료 전반에 걸쳐 CO2e 값을 계산합니다. 원장은 고객에게 발급된 제품 탄소 발자국 인증서를 기록하고 잔액을 유지하여 Dow가 제공하는 저탄소 제품에 대한 투명하고 감사 가능한 기록을 제공합니다.

Dow와 같이 방대한 글로벌 소재 과학 기업의 PCF를 계산하는 것은 본질적으로 매우 복잡합니다. 각 제품의 탄소 발자국을 계산하려면 원자재 수급, 제조 실행, 에너지 소비, 운송, 배출량 모니터링, 수명 주기 인벤토리 데이터베이스의 데이터가 필요합니다. 이전에는 이 계산을 완료하는 데 몇 주가 걸렸습니다. 데이터는 부서와 지역별로 사일로화되어 존재했고, 제조 네트워크 전반에 필요한 최적화 계산은 연산 집약적이었습니다. 우리에게는 대규모 데이터를 통합하고, 프로덕션 환경에서 복잡한 최적화 모델을 실행하며, 비즈니스 속도에 맞춰 결과를 제공할 수 있는 플랫폼이 필요했습니다.

Databricks Data Intelligence Platform 상에 CFL 구축

Dow의 Enterprise Data & AI(ED&AI) 팀은 CFL의 기반으로 Databricks Data Intelligence Platform을 선택했습니다. 우리는 Integrated Data Hub(IDH) 내에 엔드투엔드 파이프라인을 구축하여 조직 전반의 데이터를 단일 자동화 시스템으로 수집, 변환 및 통합했습니다. Unity Catalog는 거버넌스 계층을 제공하여 민감한 제조 데이터, 독점 배출 계수, 고객별 탄소 할당량이 파이프라인 전반에서 세분화된 액세스 제어로 안전하게 보호되도록 합니다.

Apache Spark를 통한 Dow 데이터 통합

CFL 플랫폼의 핵심은 Databricks 상의 Apache Spark로, 여러 다양한 기능 도메인의 데이터를 대규모로 결합하고 변환하는 데 필요한 분산 처리 능력을 제공합니다. CFL 파이프라인은 공급망, 지속 가능성 및 운영 데이터를 통합된 뷰로 통합하여 정확하고 감사 가능한 요람에서 관문까지(cradle-to-gate)의 제품 탄소 발자국으로 조정합니다. 파이프라인의 각 단계는 Delta 테이블로 영구 저장되어 ACID 트랜잭션, 기록 감사를 위한 타임 트래블, 효율적인 업서트(upsert)를 제공합니다.

Spark의 분산 컴퓨팅 기능을 활용하여 엔드투엔드 처리 시간을 몇 주에서 아주 짧은 시간으로 단축했으며, 단 한 번의 실행으로 모든 Dow 제품에 대한 PCF 정보를 신속하게 생성할 수 있게 되었습니다.

고급 최적화를 위한 MLOps

CFL의 핵심 기능은 ISO 14067 및 GHG Protocol Product Standard에 대해 보증된 방법론에 따라, Dow의 글로벌 제조 네트워크 전반에서 제품에 대한 온실가스 배출이 가장 적은 생산 경로를 동적으로 식별하는 고급 최적화 모델입니다.

MLflow를 결합한 Databricks의 MLOps 접근 방식을 사용하여, 우리 팀은 이 최적화 기능을 전체 버전 관리 및 모니터링 기능이 포함된 프로덕션급 서비스로 개발하고 배포합니다. 그 결과로 생성된 탄소 발자국 데이터는 전체 계보(lineage) 추적과 함께 CFL 파이프라인으로 흘러 들어가며, 기본 데이터나 매개변수의 업데이트는 프로덕션 환경에 원활하게 반영됩니다.

지속 가능성 인텔리전스를 위한 비전

CFL은 자동화된 수명 주기 평가부터 순환 소재 관리, EU 택소노미(Taxonomy) 준수에 이르기까지 20개 이상의 디지털 역량 트랙을 포함하는 광범위한 Advance Sustainability Program의 일부입니다. Databricks 상의 Integrated Data Hub는 연결 고리 역할을 하여, Dow의 과학자들이 버튼 하나만 누르면 제품 탄소 발자국을 생성하고, 상업 팀이 고객의 요구에 지속 가능성 콘텐츠를 매칭하며, 외부 이해관계자가 재무 보고와 동일한 타이밍 및 감사 보증으로 지속 가능성 보고서를 받는 미래를 가능하게 합니다.

모든 분야에서 아직 그 단계에 도달한 것은 아니지만, Databricks 상의 CFL은 이 비전을 향한 초석이 되었습니다.

비즈니스 영향 및 향후 전망

Databricks 상의 CFL은 다음과 같은 가시적인 결과를 제공합니다.

• 속도: 이전에는 몇 주가 걸리던 PCF 계산이 이제 신속하게 완료되어 고객 요청에 민첩하게 대응할 수 있습니다.
• 규모: 소수의 주요 제품뿐만 아니라 전체 제품 포트폴리오에 대한 탄소 발자국 데이터를 제공합니다.
• 최적화: 보증된 방법론에 따라 Dow의 제조 네트워크 전반에서 최상의 원료와 생산 경로를 식별함으로써 제품이 달성 가능한 가장 낮은 탄소 발자국을 갖도록 합니다.
• 수익화: Dow의 Decarbia™ 저탄소 제품 포트폴리오를 통해 탈탄소화 투자로부터 상업적 가치를 창출합니다.

CFL은 검증 가능한 제품 탄소 발자국 인증서를 발급하고 안전하고 감사 가능한 원장에 잔액을 유지하여, 고객이 정보에 입각한 소싱 결정을 내리고 지속 가능성 목표 대비 진척 상황을 입증할 수 있도록 돕습니다.

전 세계적으로 지속 가능성 규제가 강화됨에 따라, CFL에 대한 투자는 Dow를 제품 수준의 탄소 투명성 분야의 리더로 자리매김하게 합니다. Databricks Data Intelligence Platform은 향후 어떤 변화가 오더라도 이에 맞춰 성장할 수 있는 유연성과 확장성을 제공합니다. Dow에게 탄소 발자국 원장은 단순한 데이터 프로젝트 그 이상입니다. 이는 현대적인 데이터 엔지니어링과 디지털 혁신이 어떻게 글로벌 산업 규모에서 실제 환경적 영향을 미칠 수 있는지를 보여주는 증거입니다.

Databricks Manufacturing & Energy 솔루션 페이지에서 Databricks가 제조업체 및 에너지 기업의 지속 가능성 성과를 어떻게 가속화하는지 알아보세요. 배출량 회계 및 Scope 3 보고부터 순환 소재 관리에 이르기까지 Data Intelligence Platform이 귀사의 지속 가능성 이니셔티브를 어떻게 지원할 수 있는지 알아보려면 Databricks 계정 팀에 문의하거나 databricks.com/solutions/industries/manufacturing-industry-solutions를 방문하세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)