운영 효율성을 위한 디지털 트윈 구축 방법

제조 및 산업 운영 전반에서 기업들은 효율성을 개선하고 장비 고장을 예측하며 실시간으로 생산을 최적화하기 위해 디지털 트윈 을 도입하고 있습니다. 

이 새로운 디지털 Twin 솔루션 Accelerator 는 AI와 실시간 분석을 사용하여 이러한 시스템을 구축, 시각화, 분석하는 엔드투엔드 프레임워크를 제공하여, 팀이 다운타임을 줄이고 제품 품질을 개선하며 더 스마트한 의사결정을 내리도록 돕습니다. Lakeflow Connect 의 일부이자 이벤트 데이터를 레이크하우스로 직접 푸시하는 관리형 서비스인 Zerobus Ingest 를 사용하면 Databricks에 자체적인 디지털 트윈 솔루션을 대규모로 배포할 수 있습니다. 

디지털 트윈이란 무엇인가요?

저희 구현에서 디지털 트윈은 두 가지 핵심 요소를 결합합니다.

1. 물리적 자산, 시스템 또는 프로세스의 가상 표현
2. 센서 및 기타 소스에서 제공되는 실시간 컨텍스트 데이터

이 라이브 디지털 복제본을 사용하여 물리적 장비 또는 추상적인 프로세스를 실시간으로 모니터링하고, 변경 사항을 시뮬레이션 및 검증하며, 시스템 자체를 변경하지 않고도 고급 예측 유지보수를 수행할 수 있습니다.

제조업의 맥락에서 디지털 트윈은 인더스트리 4.0 혁명을 이끄는 중심 역할을 합니다. IoT, AI, 실시간 분석을 통합하여 다운타임을 줄이고 생산성을 높일 뿐만 아니라 지속적인 안전까지 보장합니다.

이러한 개념은 조직 역학 모델링 및 의사결정을 주도하는 프로세스 이해와 같은 다른 분야에서도 큰 가능성을 보여줍니다. 이 블로그에서는 디지털 트윈의 제조 분야 적용에 초점을 맞추겠습니다.

예시 시나리오: 볼 베어링 제조

저희 예시 시나리오는 단순화된 볼 베어링 제조 공정입니다. 

볼 베어링 은 두 개의 링(외부 및 내부) 사이에 위치한 강철 또는 세라믹 볼을 사용하여 움직이는 부품 간의 마찰을 최소화하는 기계 부품입니다. 엔진, 모터, 산업 기계의 효율적인 운영에 필수적이며, 따라서 우리가 매일 사용하는 많은 기술의 기본이 됩니다.

제조 공정(동영상 보기)은 내륜과 외륜의 성형 및 열처리, 강도와 정밀도를 위한 연마, 균일한 간격을 유지하는 리테이너와의 조립 순으로 시작됩니다. 가공, 열처리, 조립의 각 단계는 엄격한 품질 기준을 충족하기 위해 정밀하게 조정된 장비와 지속적인 모니터링에 의존합니다. 

볼 베어링 제조와 같은 대량 생산, 저마진 산업에서는 기계 성능을 지속적으로 최적화하고, 유지보수 필요성을 예측하며, 일관된 품질을 보장하는 것이 필수적입니다. 여러 기계 및 생산 라인의 실시간 센서 데이터를 기반으로 하는 디지털 트윈은 이러한 목표를 달성하기 위한 핵심 요소입니다.

이 디지털 트윈은 이 모든 단계의 세부 정보를 구조화되면서도 유연한 방식으로 캡처합니다.

엔드투엔드 Databricks 솔루션

디지털 트윈에는 두 가지 주요 구성 요소가 있습니다.

1. 시스템의 엔티티와 그 관계를 지정하는 트윈 모델
2. 엔티티(예: 센서 데이터 또는 ML 모델의 관련 예측)와 관련된 실시간 데이터를 추가하여 모델에 데이터를 채우는 트윈 그래프

트윈 모델은 지식 그래프와 온톨로지를 정의하기 위해 널리 채택된 개방형 표준인 RDF를 사용하여 생성됩니다. 시스템의 여러 부분 간의 관계와 종속성을 설명하기 위해 확장할 수 있는 다양한 기본 내장 조건자를 제공합니다. 트윈 모델의 각 엔터티에는 엔터티를 고유하게 식별하고 트윈 그래프의 원격 측정 데이터에 연결하는 네임스페이스 식별자인 IRI가 있습니다.
 

디지털 트윈 솔루션 액셀러레이터

이 솔루션 액셀러레이터는 특정 제조 시나리오에 중점을 두지만, 저희 접근 방식은 유연하여 거의 모든 종류의 시스템을 모델링할 수 있습니다. 주요 구성 요소는 아래 다이어그램에 나와 있습니다.

1. Data Ingestion
2. 데이터 매핑
3. 데이터 서빙
4. 디지털 트윈 앱

디지털 트윈 솔루션 액셀러레이터 아키텍처 다이어그램

다음 섹션에서는 이러한 단계에 대해 자세히 설명합니다.

1단계: 데이터 수집

트윈 그래프에 실시간 데이터를 채우기 위해 Kafka와 같은 단일 싱크 메시지 버스 없이 이벤트 데이터를 lakehouse로 직접 푸시하는 혁신적인 접근 방식인 Zerobus Ingest를 통해 데이터를 수집하는 것으로 시작합니다. Zerobus Ingest는 낮은 지연 시간으로 높은 throughput의 직접 쓰기를 제공합니다. 모든 규모에서 레코드별 수집을 지원하며 serverless 환경에서 작동합니다.

이를 통해 제조 데이터의 효율적이고 확장 가능한 흐름을 보장하고, 연결된 하드웨어로 이동하기 전에 실험, 강력한 분석 및 라이브 운영으로의 배포를 지원합니다.

저희 시나리오에서는 생산 라인 센서로부터의 데이터 수집을 시뮬레이션하기 위해 원격 측정 데이터가 지속적으로 생성됩니다. 그런 다음 원시 데이터는 Zerobus Ingest를 사용하여 레이크하우스에 Delta 형식의 테이블로 저장됩니다.

2단계: 데이터 매핑

브론즈 레이어에 원시 센서 데이터를 저장한 후에는 트윈 그래프에서 사용할 준비가 되기 전에 완료해야 할 두 가지 작업이 남아 있습니다. 

먼저, 측정값이 트윈 모델에서 나타내는 엔터티의 IRI로 레이블이 지정되었는지 확인해야 합니다. 이 예시에서는 머신 식별자를 사용하고 네임스페이스를 추가하여 IRI를 구성하지만, 트윈 모델의 IRI와 일치하는 한 어떤 옵션이든 유효합니다.

다음으로 테이블 형식 데이터의 열 또는 중첩된 데이터의 키를 RDF에서 사용되는 범용 트리플 구조로 전환해야 합니다. RDF에 대한 전체 설명은 이 블로그의 범위를 벗어나므로, 자세한 소개는 공식 입문서 를 참조하세요. 이 경우 결과는 엔티티의 IRI(주어), 참조하는 열(술어), 실제 값(객체)의 세 가지 구성요소로 이루어집니다.

이 두 가지 작업 모두 R2RML 표준에서 사용되는 접근 방식을 따르는 Spark의 매핑 프로세스를 설명하기 위한 간단한 DSL인 spark-r2r 라이브러리를 사용할 수 있습니다. Spark 실시간 모드 덕분에 Lakeflow Spark Declarative Pipelines 로 구동되는 파이프라인이 생성되어 대용량 데이터를 낮은 지연 시간으로 비용 효율적으로 처리할 수 있습니다.

행 기반 형식에서 타임스탬프가 있는 RDF 트리플로 매핑합니다. 참고: 결과 트리플은 소스 테이블 구조와는 무관한 일관된 구조입니다.

중요한 점은, 측정이 이루어진 시점을 기준으로 모든 트리플에 timestamp를 추가한다는 것입니다. 이를 통해 특정 시점의 시스템 상태를 볼 수 있으므로, 시간 경과에 따른 시스템 상태를 검사하는 다양한 분석이 가능해집니다.

3단계: 데이터 동기화

디지털 트윈 그래프의 센서 데이터에 대한 짧은 지연 시간의 액세스를 제공하기 위해 Lakebase의 Synced Table 기능을 사용합니다. Lakebase는 Databricks Platform의 일부로 lakehouse와 원활하게 통합되도록 설계된 완전 관리형 Postgres OLTP 엔진입니다. Synced Tables를 사용하면 Unity Catalog Delta Lake 테이블의 최신 데이터와 동기화된 읽기 전용 Postgres 복사본을 자동으로 유지합니다. 이 흐름은 일반적으로 Reverse ETL이라고 불리는데, 이는 큐레이션된 lakehouse 데이터를 앱, 대시보드, 기타 시스템에서 사용할 수 있도록 실행 가능하게 만드는 프로세스입니다.

데이터가 Lakebase에 저장되면 애플리케이션은 실시간 센서 판독값에 대해 저지연 query를 실행할 수 있으며, 이전 버전은 분석 또는 감사를 위해 Delta Lake 형식의 Timestamp가 찍힌 레코드로 저장됩니다. 

Lakebase와 Delta Lake 형식을 결합하면 복잡한 ETL이나 중복 데이터베이스 유지 관리의 번거로움 없이 실시간 성능과 비용 효율적인 기록 관리를 얻을 수 있습니다.

4단계: 디지털 트윈 앱

일상적인 운영에서 디지털 트윈에 액세스할 수 있도록 Databricks Apps 를 사용하여 디지털 트윈 모델의 원활한 엔드투엔드 생성, 시각화, 분석을 지원하는 애플리케이션을 구축했습니다. 앱의 백엔드는 Python으로 개발되었고 프런트엔드는 React.js를 사용하여 구현되었습니다. Databricks 앱의 serverless 배포 기능 덕분에 출시 프로세스가 수월했습니다. 워크플로는 모델 정의, 상태 시각화, 고급 query 실행을 통한 시스템 전반의 오류 전파 식별 순으로 진행됩니다.

RDF를 사용한 디지털 트윈 모델 생성

이 앱에는 RDF 모델을 쉽게 구축하고 편집할 수 있는 시각적 RDF 모델 편집기가 포함되어 있습니다. 여러 디지털 트윈을 지원하기 위해 모델을 저장, 검색, 관리할 수 있습니다.

디지털 트윈 애플리케이션: RDF

디지털 트윈 시각화

전용 디지털 트윈 시각화 도구를 사용하면 디지털 트윈이 나타내는 시스템을 탐색할 수 있습니다. 이를 통해 다양한 시점에서 조립 라인 상태를 검사하여 문제를 식별하거나 오류 전파 방식을 분석할 수 있습니다.

디지털 트윈 애플리케이션: 외부 링 생산 라인

분석 및 query

또한 사용자가 지식 그래프 쿼리를 위한 개방형 표준인 강력한 SPARQL 언어로 트윈 그래프를 쿼리할 수 있는 옵션을 제공합니다. 이를 통해 UI에서 임시 분석이 가능하며, 시뮬레이션이나 기타 분석을 제공하기 위해 트윈 그래프로 작업하려는 다른 도구에서도 데이터에 액세스할 수 있습니다. 이는 트윈 그래프에 액세스하기 위해 제한적인 독점 query 언어나 불완전한 SQL 확장만 제공하는 경우가 많은 다른 도구와 대조적입니다.

추가 개발

초기 배포 후, 이 액셀러레이터는 다음과 같은 고급 디지털 트윈 애플리케이션의 기반이 될 수 있습니다.

• 예측 유지보수 및 이상 탐지를 위한 고급 AI/ML 모델 구축 및 배포
• AI/BI를 사용하는 대시보드 및 Genie Room을 통해 디지털 트윈을 활용하세요.
• 마이크로초 규모의 성능을 활용하려면 Spark Structured Streaming에서 워크로드를 실시간 모드로 전환 하세요.
• 디지털 트윈을 명령 시스템과 통합하여 데이터 플랫폼의 실시간 분석을 활용해 트윈 그래프의 패턴에 따라 조치를 취하세요.

디지털 트윈 솔루션 액셀러레이터는 적응성이 매우 뛰어나 광범위한 산업 및 분석 시나리오에 맞게 사용자 지정할 수 있습니다. 아래 다이어그램은 이 프레임워크를 확장하고 적용할 수 있는 몇 가지 예시를 보여줍니다.

제조 시스템을 최적화하거나, 산업 자산을 모니터링하거나, 커넥티드 디바이스를 위한 실시간 분석을 개발하는 등 어떤 경우에도 이 액셀러레이터는 실험과 확장을 위한 강력한 시작점을 제공합니다. 

디지털 트윈 솔루션 액셀러레이터 사용해 보기

시작할 준비가 되셨나요? 제조 분야의 디지털 트윈을 위한 Databricks 솔루션 가속기 를 Download하세요. 제공된 단계별 지침에 따라 성능이 뛰어나고 확장 가능한 자신만의 엔드투엔드 디지털 트윈을 만들어 보세요.

자체 디지털 트윈 구축에 관심이 있거나 더 자세한 내용을 알아보고 싶으신가요? Databricks 계정 담당자에게 문의하시면 귀사의 정확한 요구 사항에 맞게 이 솔루션을 조정할 수 있도록 지원해 드리겠습니다.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)