알라바마 파워는 정전 및 폭풍 모델링을 위해 Databricks를 활용합니다

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)

우리가 현대 세계의 복잡성을 계속해서 탐색하면서, 데이터 기반 의사결정이 성공의 열쇠가 되는 것이 점점 더 분명해지고 있습니다. Alabama Power (APC, Southern Company의 운영 회사)는 데이터의 힘을 활용하여 더욱 통찰력 있는 의사결정을 가능하게 하는 첨단 폭풍 관리 시스템 및 정전 모델링 시스템 개발에 지속적으로 노력하고 있습니다.

이 블로그에서는 APC가 폭풍 관리와 신뢰성 분석을 개선하기 위해 설계한 두 가지 최첨단 응용 프로그램, SPEAR과 RAMP에 대해 좀 더 깊이 들여다볼 것입니다. 개발, 아키텍처, 그리고 이점에 대해 살펴보겠습니다.

“Databricks는 우리 APC 데이터 분석 팀에게 매우 유익합니다. 이 팀은 클라우드에서 대규모 데이터 세트를 다루며, Databricks는 원활한 협업, 확장 가능한 데이터 처리, 실시간 분석을 가능하게 하는 통합 플랫폼을 제공합니다. 이는 대규모 데이터 워크플로우를 효율적으로 처리하면서 클라우드 서비스와 통합하여 성능과 유연성을 향상시킵니다. 이를 통해 우리는 그리드 신뢰성을 위한 최첨단 기술을 개발하고, 허리케인 프란신과 허리케인 헬렌과 같은 대규모 사건에 대응하기 위해 이해하고 대비할 수 있게 되었습니다.” — Shane Powell, 데이터 분석 및 혁신 관리자, APC

현대화 이전에는 폭풍 관리 과정이 주로 수동적이었으므로 효율성과 정확성을 향상시킬 수 있었습니다. 예측을 위해 APC는 스프레드시트와 다양한 데이터 소스에 의존했지만, 현장에서의 명확성과 상황 인식을 향상시킬 가능성이 있었습니다. SPEAR와 RAMP의 개발은 혁신과 협업의 힘을 증명하며, 우리가 문제 상황에 신속하고 효과적으로 대응할 수 있는 능력을 향상시켰습니다.

APC는 클라우드 컴퓨팅, 데이터 레이크, 고급 분석 등의 신흥 기술을 적극적으로 활용하였고, Databricks 위에 RAMP와 SPEAR를 구축함으로써, BI에서 AI까지의 종단간 솔루션을 제공하고, 폭풍 관리 과정을 자동화하며, 거의 실시간으로 통찰력을 제공하고, 정확하고 안전한 방식으로 이를 수행할 수 있는 신뢰할 수 있는 파트너를 갖게 되었습니다.

두 가지 애플리케이션을 살펴봅시다:

• RAMP, 즉 Reliability Analytics Metrics and Performance는 전력 그리드의 성능에 대한 종합적인 시야를 제공하는 클라우드 기반 신뢰성 애플리케이션입니다. 이에는 보고된 값, 고객 경험 값, 장치 실패 등이 포함됩니다. 이 애플리케이션은 개선 영역을 식별하고 신뢰성 문제의 근본 원인에 대한 통찰력을 제공합니다.
  

  

• SPEAR, 즉 Storm Planning, ETR and Reporting의 약자인 이 애플리케이션은 날씨 공급업체 및 내부 시스템의 데이터를 사용하여 전력 그리드에 대한 심각한 날씨 이벤트의 영향을 예측하는 클라우드 기반 예측 애플리케이션입니다. 이 애플리케이션은 사건 수, 필요한 자원, 복구 예상 시간에 대한 자세한 예측을 제공하여 회사의 폭풍 센터가 더욱 통찰력 있는 결정을 내리고 자원을 더 효과적으로 배치할 수 있게 합니다.
  

  

APC 데이터 팀은 유틸리티 중심의 컨설팅, 연구, 데이터 과학 회사인 E Source와 긴밀하게 협력하여 Databricks에서 RAMP와 SPEAR를 설계, 개발, 배포하였습니다. Databricks는 APC가 그들의 AMI 데이터와 다른 데이터 소스의 전체 잠재력을 활용하여 그리드 개선과 운영 효율성을 추진하는 데 중요한 역할을 하고 있습니다.

Databricks 데이터 인텔리전스 플랫폼은 APC가 GIS, 정전 관리, 날씨 정보와 같은 다른 중요한 데이터셋과 함께 대량의 AMI 데이터를 통합, 처리, 분석할 수 있는 통합 환경을 제공합니다. 이 통합은 보다 종합적인 통찰력과 예측 분석을 가능하게 합니다. Databricks의 확장 가능한 아키텍처는 APC가 수백만 개의 스마트 미터로부터의 고용량, 고속도 데이터 스트림을 효율적으로 처리할 수 있게 해주며, 고급 분석 및 머신러닝 기능은 부하 예측, 정전 예측, 그리드 최적화를 위한 복잡한 모델 개발을 용이하게 합니다. 플랫폼의 협업 작업 공간과 다양한 프로그래밍 언어에 대한 지원은 데이터 과학자와 엔지니어 모두가 복잡한 데이터 프로젝트에서 원활하게 작업할 수 있게 합니다.

또한, Databricks의 데이터 거버넌스 기능은 민감한 고객 데이터가 안전하게 처리되고 규정을 준수하도록 보장합니다. Databricks를 활용함으로써, APC는 AMI 데이터를 더 효과적으로 정리, 큐레이션, 집계하고, 데이터 탐색을 위한 사용자 친화적인 인터페이스를 구축하며, 심지어 대형 언어 모델과 같은 최첨단 기술을 통해 데이터 해석 및 접근성을 향상시킬 수 있습니다. 이 종합적인 접근법은 APC가 원시 AMI 데이터를 그리드 현대화를 촉진하고, 신뢰성을 향상시키며, 고객 서비스를 개선하는 실행 가능한 통찰력으로 변환하는 데 도움을 주고 있습니다.

APC는 세 가지 하이퍼스케일러의 네이티브 서비스와 독자적인 AI 플랫폼을 모두 탐색했지만, Databricks의 대량의 데이터를 처리하고 데이터 엔지니어링, 데이터 과학, 데이터 분석, 그리고 AI를 위한 통합 플랫폼을 제공하는 능력 때문에 Azure Databricks를 선택했습니다.

“Databricks Genie는 자연어 쿼리를 통해 대규모 데이터 세트에 빠르게 접근할 수 있게 함으로써 APC에서 AI 개발을 가속화하고 있습니다. 이를 통해 우리 팀은 AI 알고리즘을 훈련시키고, 테스트하고, 세밀하게 조정하는 데 필요한 데이터를 신속하게 수집할 수 있습니다. 또한, Genie가 우리의 상호작용에서 학습하고 지속적으로 쿼리 정확도를 향상시키는 능력은 AI 개발 과정에 고품질 데이터를 공급하는 효율적인 도구로 만듭니다. 우리는 이를 기존 도구에 통합하여 회사를 위한 더 높은 수준의 최첨단 데이터 기술을 만드는 것에 대해 흥분하고 있습니다." — Shane Powell, 데이터 분석 및 혁신 관리자, APC

비즈니스 영향:

APC는 Databricks를 기반으로 한 두 가지 혁신적인 응용 프로그램, RAMP와 SPEAR를 통해 그리드 관리와 폭풍 대응을 개선했습니다. 이러한 솔루션들은 데이터 기반 의사결정과 운영 효율성에 대한 회사의 접근 방식을 변화시켰으며, 150만 명의 고객, 2,400개의 변전소, 그리고 250,000개의 장치를 모니터링할 수 있게 해주었습니다.

RAMP (Reliability Analytics Metrics and Performance)

RAMP는 자산의 실시간 모니터링을 가능하게 하여 성능이 떨어지는 장비의 적시 유지보수 및 교체를 가능하게 합니다. 이러한 월간에서 거의 실시간 보고로의 전환은 중요한 개선을 이끌어냈습니다:

• 연간 70,000건의 정전이 발생하는데, 목표 5% 감소(3,500건의 정전)는 단독으로 크루 비용에서 1,750만 달러를 절약할 수 있습니다.
• 고객 정전 이력 검색이 4시간에서 단 4초로 개선되었으며, 이는 99.97% (3600X)의 효율 향상을 의미합니다.

SPEAR (Storm Planning, ETR 및 Reporting)

SPEAR는 그리드에 대한 폭풍의 영향을 미리 예측하며, 이에는 정전 및 복구 예상 시간(ETR)이 포함됩니다. 그것은 자원 할당을 최적화하여 과다 또는 부족 공급을 피하고, 이로 인해 상당한 이점을 얻습니다:

• 시스템은 10%의 오차 범위 내에서 폭풍의 영향을 예측할 수 있습니다.
• 500명의 고객이 끊어진 10일간의 폭풍으로 인한 비용은 20%의 오차 범위에서 $34.2M이 될 것입니다. Databricks를 활용하면 오차 범위가 10%로 줄어들어 비용이 31.3M 달러로 줄어들며, 이는 폭풍당 2.8M 달러를 절약할 수 있습니다(8% 감소).

이러한 Databricks 기반 솔루션은 APC의 운영 효율성과 폭풍 대비 능력을 크게 향상시켜 비용 절감과 고객 서비스 개선을 이루어냈습니다. Databricks를 활용함으로써 APC는 심각한 날씨 이벤트에 대응하고 그 영향을 완화하는 능력을 향상시키고 있습니다. 이는 유틸리티 회사가 직면하는 가장 예측 불가능한 도전 중 하나입니다.

이 데이터 기반 접근법은 유틸리티가 더욱 정보에 기반한 결정을 내리고, 자원 할당을 최적화하고, 점점 더 자주 발생하고 심각한 날씨 이벤트에 대처하여 고객들에게 서비스의 신뢰성을 향상시키는 데 도움이 됩니다. 이러한 솔루션의 구현은 APC가 최첨단 기술을 활용하여 서비스와 운영 능력을 향상시키는 데 대한 헌신을 보여줍니다.

아키텍처

APC의 아키텍처의 기반이 되는 것은 강력한 데이터 수집 계층입니다. 다양한 데이터 소스를 처리할 수 있도록 설계되었습니다:

• 정전 관리 시스템 (ADMS): 실시간 그리드 상태 및 정전 정보
• 날씨 데이터 공급업체: 더 정확한 날씨 예측을 위한 다양한 소스
• 고급 미터링 인프라(AMI): 고객 장소에서의 스마트 미터 데이터
• 그리드 텔레메트리: 배포 네트워크 전반의 다양한 장치에서 센서 데이터

이러한 데이터 스트림은 계속해서 수집되며 처음에는 클라우드 저장소 솔루션인 Azure Blob Storage에 저장됩니다.

Databricks: 중추 신경계

Databricks는 위의 아키텍처에서 핵심 처리 및 분석 엔진 역할을 합니다. 구조는 다음과 같습니다:

1. 데이터 처리 및 변환
   APC는 데이터 레이크하우스의 저장 계층으로 Delta Lake를 사용합니다. 이를 통해 그들에게 다음과 같은 이점을 제공합니다 :
   • 데이터 신뢰성을 위한 ACID 트랜잭션
   • 변화하는 데이터 구조에 적응하기 위한 스키마 진화
   • 감사 및 롤백을 위한 시간 여행 기능
   다양한 출처에서의 원시 데이터 (예를 들어. 스마트 미터, 고객 시스템, 그리드 센서 등)은 Azure Data Factory, Delta Live Tables (DLT) 및 분산 컴퓨팅을 위한 Spark의 기본적인 힘을 활용하여 Delta 테이블로 가져옵니다. DLT 파이프라인은 증분 처리, 데이터 품질 검사, 종속성 관리를 자동으로 처리하는 데 도움이 됩니다.
2. 데이터 과학 및 머신러닝
   APC는 Databricks를 사용하여 데이터 과학 및 머신러닝 환경을 구현하였으며, 그리드 최적화, 고객 분석, 에너지 예측을 위한 워크플로우를 간소화하기 위해 핵심 구성 요소를 통합하였습니다. APC는 데이터 분석 및 모델 개발의 주요 인터페이스로 Databricks 노트북을 사용하고, MLflow를 사용하여 기계 학습 수명주기를 관리하며, AutoML을 사용하여 기본 모델을 빠르게 생성하고 기계 학습 프로젝트를 가속화합니다.
   
   이 접근 방식은 그들의 팀이 더 효과적으로 협업하고, 전체 ML 수명주기를 관리하며, 그리드 관리부터 고객 서비스 최적화에 이르기까지 그들의 운영의 다양한 측면에 대한 모델을 빠르게 프로토타입화하고 배포할 수 있게 합니다. 또한, Databricks의 Lakehouse Monitoring은 데이터 품질과 모델 성능의 지속적인 추적을 통해 데이터 기반 의사결정을 가능하게 함으로써 이 과정을 향상시킵니다. 모니터링 시스템은 입력 특성 및 모델 출력에서 통계적 변화를 자동으로 감지하여 데이터 이동 또는 성능 저하 가능성에 대해 팀에 경고합니다. 이런 적극적인 접근 방식은 조직이 모델을 재교육할 시기에 대해 정보를 얻어 결정을 내릴 수 있게 하여, 그들이 동적인 환경에서도 정확하고 관련성 있는 상태를 유지할 수 있게 합니다.
3. 데이터 거버넌스와 보안
   APC는 Databricks Unity 카탈로그를 구현하여 여러 작업 공간에서 메타데이터 관리를 중앙화하고, 데이터 거버넌스와 협업을 강화하였습니다. 이 통합 접근 방식은 모든 데이터 자산에 걸쳐 일관된 접근 제어와 보안 정책을 가능하게 하여, 민감한 정보를 보호하면서 데이터 과학자, 분석가, 엔지니어들 사이에서 효율적인 데이터 발견과 협업을 가능하게 합니다. 이 구현은 종합적인 데이터 유래 추적을 용이하게 하고, 상세한 감사 로그를 유지하여 규제 준수 노력을 지원합니다. Unity 카탈로그를 활용함으로써, APC는 그들의 데이터 자산을 효과적으로 관리하고, 보호하고, 활용하는 능력을 크게 향상시켰으며, 조직 전체에서 더 협업적이고 준수하는 데이터 생태계를 육성하였습니다.
4. 고급 분석
   APC는 그리드 운영과 계획을 최적화하기 위해 복잡한 데이터 분석 인프라를 구현하였습니다. 그들은 또한 그리드 토폴로지를 분석하기 위해 GraphFrames를 사용하고, 자산의 지리적 처리를 위해 GeoSpark를 사용하며, 수요와 정전 예측을 위한 사용자 정의 시계열 모델을 사용합니다. Databricks가 핵심 데이터 처리를 처리하는 동안, NetworkX 및 Mapbox와 같은 특수 도구는 특정 기능을 위해 통합됩니다. 출력 결과는 E Source가 구축한 컨테이너화된 애플리케이션인 RAMP와 SPEAR에서 시각화되어, 높은 가용성과 확장성을 보장합니다.

이 아키텍처를 통해 APC는 이제 대량의 데이터를 빠르고 효율적이며 안전하게 처리할 수 있으며, 그들의 애플리케이션을 조직 전체에 공유할 수 있습니다.

요약하면, APC는 폭풍 관리를 위한 혁신적인 데이터 분석 솔루션을 개발하기 위해 Databricks와 E Source와 파트너십을 맺었습니다. 이 협력은 APC에게 다음을 가능하게 하였습니다:

1. SPEAR 애플리케이션을 사용하여 폭풍 데이터에 대한 더 나은 통찰력을 얻으세요
2. Databricks에서 생성된 예측 모델을 사용하여 폭풍의 영향을 더 정확하게 예측하고, 과거 데이터를 현재의 날씨 패턴에 적용하여 AL Power 고객이 어떻게 그리고 언제 부정적인 영향을 받을지 결정합니다.
3. 그들의 150만 고객들을 위한 준비 전략을 개선하고, 현장에서 자원을 미리 배치하고, 알림을 통해 고객들에게 사전에 알리는 것입니다.

고급 데이터 과학 기법을 활용하여, APC는 유틸리티 회사가 직면하는 가장 예측할 수 없는 도전 중 하나인 심각한 날씨 이벤트의 영향에 대응하고 완화하는 능력을 향상시키고 있습니다. 이 데이터 기반 접근법은 유틸리티가 보다 정보에 기반한 결정을 내리고, 자원 할당을 최적화하고, 결국 고객들에게 서비스의 신뢰성을 향상시키는 데 도움이 됩니다. 이는 점점 더 자주 발생하고 심각한 날씨 이벤트에 대처하기 위한 것입니다.