10,000개의 이상 탐지 모델을 10억 개의 레코드에서 학습시키고 설명 가능한 예측을 제공

산업 전반에 걸친 이상 탐지의 힘

이상 탐지 는 잠재적인 문제나 기회를 시사할 수 있는 비정상 패턴을 식별하는 중요한 기법입니다. 이 기술의 초기 사용 사례로는 침입 탐지를 위한 사이버 보안과 잠재적인 사기를 식별하기 위한 금융이 있었지만, 오늘날에는 건강관리 환자 모니터링, 통신 네트워크 유지 보수 등에 걸쳐 응용되고 있습니다. 특히 제조업에서는 실시간 생산 데이터에서 예상 패턴에서의 이탈을 식별함으로써 이상 탐지가 품질 관리와 운영 효율성을 변화시켰습니다.

제조업에서 데이터와 분석 발전

제조업체들은 수십 년 동안 데이터 분석을 활용해 왔으며, 통계 공정 제어와 Six Sigma 방법론을 사용하여 생산을 최적화하고 기계 유지 보수를 위한 변화점 감지를 수행하였습니다. 이러한 접근법들이 1980년대와 90년대에 품질을 혁신시켰지만, 오늘날의 연결된 기계들은 진동 센서부터 열 읽기까지 훨씬 더 많은 데이터를 생성합니다. 이 실시간 데이터의 기하급수적인 증가는 제조업체들이 수천 개의 변수를 동시에 분석하기 위해 복잡한 기법을 채택하게 만들었으며, 이는 전통적인 통계 방법론으로는 불가능한 규모로 Six Sigma 원칙을 확장하였습니다. 예를 들어, 엘리베이터의 진동 및 긴장 센서는 기계적 마모의 조기 징후를 드러낼 수 있으며, 온도 및 속도 센서가 장착된 터빈은 부품 고장을 예고할 수 있는 성능 저하를 표시할 수 있습니다. 이러한 문제를 미리 해결함으로써, 다운타임이 줄어들고, 장비가 더 원활하게 작동하며, 중요한 생산 마감일을 쉽게 맞출 수 있게 됩니다.

통계를 넘어서는 도전

그러나 큰 잠재적 이익에도 불구하고, 예측 유지 보수를 위한 머신 러닝 구현은 몇 가지 도전 과제를 제시합니다:

1. 확장성: 산업 환경은 종종 수십억 개의 레코드에 이르는 대량의 데이터를 생성하여 대형 제조업체에게 중대한 도전을 제기합니다. 수많은 자산이나 시설에서 수천 개의 모델을 개별적으로 생성하고 관리하는 것은 상당한 계산 자원과 효율적인 알고리즘을 필요로 하며, 이를 처리하는 데 금지 비용을 초래하지 않아야 합니다.
2. 설명 가능성: 많은 고급 머신러닝 모델은 "블랙박스"로 작동하여, 그들이 어떻게 예측을 내리는지에 대한 통찰력을 제공하지 않습니다. 유지 보수 엔지니어와 운영자에게는 이상 현상을 일으키는 특정 구성 요소를 이해하는 것이 적시적효한 개입에 있어 중요합니다. 센서 데이터는 종종 이상 현상에 대한 통찰력을 얻는 데 사용됩니다. 예를 들어, "센서 5의 온도가 80°C 이상"이라는 사실을 알게 되면 실행 가능한 통찰력에 대한 단서를 제공합니다.
3. 비용 및 복잡성: 대규모 머신러닝과 관련된 계산 비용과 복잡성은 상당할 수 있습니다. 조직들은 효과적이면서도 구현하고 유지하는데 비용 효율적인 솔루션이 필요합니다.

DAXS 방법론

이러한 도전을 해결하기 위해, DAXS(Detection of Anomalies, eXplainable and Scalable)는 설명 가능하고, 확장 가능하며, 비용 효율적인 접근법을 제공하는 이상 탐지 기법으로 개발되었습니다. 이는 제조업에서의 예측 유지보수에 적용됩니다. DAXS는 ECOD (Empirical Cumulative Distribution Functions for Outlier Detection) 알고리즘을 사용하여 센서 데이터에서 이상치를 감지합니다. 전통적인 블랙박스 모델과 달리, ECOD는 어떤 특정 센서나 특징이 이상 예측에 기여하는지를 식별함으로써 투명성을 제공합니다. DAXS는 10억 개 이상의 레코드가 포함된 데이터셋을 처리하고, 분산 컴퓨팅 플랫폼을 활용하여 수천 개의 모델을 효율적으로 훈련시켜 신뢰할 수 있는 성능과 비용 효율성을 보장할 수 있습니다.

풍력 터빈 시연

이 노트북 시리즈에서, 우리는 DAXS가 어떻게 대규모로 적용될 수 있는지 보여줍니다. 이 작업은 현장의 수천 개의 터빈을 감시하여 잠재적인 고장을 찾아내는 것을 포함합니다. 우리는 10,000개의 터빈에 장착된 100개의 센서로부터 얻은 1,440개의 읽기를 사용하여 10,000개의 모델을 훈련시키고 새로운 읽기에 대한 예측을 하는 방법을 보여줍니다—모두 5분 미만의 시간 안에. 이는 ECOD의 효율적인 구현과 Databricks의 강력한 컴퓨팅 작업 확장 능력을 결합하여 달성되었습니다.

Databricks를 선택해야 하는 이유

Databricks는 대용량 데이터 처리와 고급 분석 기능이 강력한 DAXS를 구현하기에 이상적인 플랫폼을 제공합니다. Databricks를 이용하면 조직들은 다음을 활용할 수 있습니다:

• 통합 분석 플랫폼: 데이터 엔지니어링, 데이터 과학, 그리고 머신러닝을 통합하는 협업 환경으로, 작업 흐름을 간소화하고 생산성을 향상시킵니다.
• 확장성과 성능: Databricks의 확장 가능한 컴퓨팅 리소스와 최적화된 Spark 엔진은 수십억 개의 레코드에 대한 모델 훈련에 필수적인 대규모 데이터셋의 빠른 처리를 가능하게 합니다.
• 비용 효율성: 리소스 할당을 최적화하고 클라우드 기반 인프라를 활용함으로써, Databricks는 운영 비용을 줄이는 데 도움을 주며, 이는 DAXS의 초저렴한 솔루션 제공 목표와 일치합니다.
• 고급 도구: 인기 있는 머신러닝 라이브러리와 프레임워크를 지원하여 ECOD 알고리즘 및 기타 고급 분석 도구를 원활하게 통합할 수 있습니다.

요약

DAXS (Detection of Anomalies, eXplainable and Scalable) 이상 감지는 대규모로 제조 작업을 모니터링하는 표준화된 접근 방식을 제공합니다. 정상 장비 동작에 대한 모델을 훈련시킴으로써, 제조업체들은 이 기술을 여러 생산 라인, 시설, 그리고 자산 유형에 대해 비용 효과적으로 배포할 수 있습니다. 이 재사용성은 기업이 예측 유지보수와 품질 관리를 빠르게 구현하게 해주어, 그들의 작업 전반에 걸쳐 효율성과 출력 품질의 일관된 개선을 촉진합니다.
 

DAXS의 확장 가능하고 설명 가능한 이상 탐지를 통해 대규모로 운영을 모니터링하기 시작하세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)