Beusa Energy는 전기 수압 파쇄, 이동식 발전, 배전, 현장 가스 처리, 산업 제조에 이르는 계열사를 통해 에너지 부문에서 30년간 혁신을 이끌어온 기업입니다. 까다로운 북미 환경에서 수천 개의 원격 자산으로부터 고주파 원격 측정 데이터를 운영하는 Beusa는 처음에 맞춤형 MQTT 및 SQL 솔루션을 사용하여 데이터를 Databricks Lakehouse로 전송했습니다. 그러나 폭발적으로 증가하는 데이터 볼륨에 맞춰 GB당 비용을 경제적으로 확장할 수 없었습니다. 이러한 장벽을 사전에 피하기 위해 Beusa는 운영 모멘텀을 늦추지 않으면서 원활하게 확장하고, IT 오버헤드를 제거하며, 데이터 비용을 절감할 수 있는 새로운 수집 모델을 모색했습니다.
폭증하는 데이터 볼륨은 맞춤형 SQL 파이프라인의 한계를 드러냅니다.
Beusa의 데이터 및 AI 팀이 MQTT와 호숫가 주택을 연결하는 브리지를 처음 구축했을 당시에는 Zerobus Ingest가 아직 존재하지 않았습니다. 한 .NET 9 Worker 서비스가 플릿 전반의 MQTT 브로커를 구독하고 JSON 및 Sparkplug B 페이로드를 파싱했으며, SQL 문 API를 통해 Delta 테이블에 썼습니다. 배송도 빠르고, 작동도 안정적이었으며, 덕분에 사업체는 호숫가 별장의 운영 상황을 거의 실시간으로 파악할 수 있게 되었습니다. 고통은 수술적인 게 아니라 경제적이었어. 디바이스 수와 데이터 볼륨이 증가함에 따라 SQL 문 API 경로의 GB당 비용이 지속 불가능한 수준임이 명백해졌고, 팀은 상황이 더 심각해지기 전에 차트에서 이를 확인할 수 있었습니다.
"SQL Statement API는 훌륭한 도구지만 고빈도 운영 텔레메트리용으로 설계되지는 않았습니다"라고 Beusa Energy의 데이터 및 AI 플랫폼 디렉터인 Nick Fornicola가 말했습니다. "덕분에 프로덕션 단계에 도달할 수 있었고, 사용 사례를 증명할 수 있는 몇 달의 시간을 벌어주었습니다. 하지만 워크로드를 파악한 후에는 이를 위해 특별히 제작된 수집 경로가 필요했습니다."
팀은 Kafka 호환 인터페이스를 갖춘 관리형 MQTT 브로커(가장 대표적인 HiveMQ)와 Structured Streaming을 통해 Databricks에 데이터를 공급하는 Kafka 및 Azure Event Hub 같은 기존 스트리밍 브로커라는 두 가지 대안을 평가했습니다. HiveMQ의 가격 정책은 그들의 규모와 성장 궤도에 맞지 않았습니다. Kafka 및 Event Hubs 경로는 기존 Databricks 요금 외에 운영, 보안, 결제를 위한 상태 저장 브로커 계층을 추가로 도입해야 했습니다. Zerobus Ingest는 브로커 레이어를 추가하지 않고 기존 워커에서 Delta 테이블로 직접 쓸 수 있는 유일한 옵션이었습니다. 수치를 따져보니 선택은 명확했습니다. Beusa는 문제에 직면하기 전에 한계를 인지하고 계산을 통해 다른 경로로 전환했습니다.
브로커 계층 추가 없이 Lakehouse로 직접 연결
Zerobus Ingest는 IoT, 원격 측정, 클릭스트림과 같은 운영 데이터 소스를 위해 특별히 제작된 직접 쓰기 API로, 몇 초의 지연 시간으로 대규모 데이터를 지속적으로 Delta 테이블에 저장해야 할 때 사용됩니다. 마이그레이션에는 SQL Statement API 호출을 Zerobus gRPC 엔드포인트로 교체하는 단 한 가지 변경만 필요했습니다. 동일한 .NET 9 Worker. 동일한 MQTT 구독. 동일한 Sparkplug B 및 JSON 페이로드 처리. 변경된 기기 구성이 없습니다.
"워커를 다시 작성할 필요가 없었고, 업스트림 브로커를 변경하지 않았으며, 단일 장치 구성도 건드리지 않았습니다."라고 Fornicola는 설명했습니다. "쓰기 경로를 교체하고 재배포한 다음, 비용 곡선이 하락하는 것을 지켜봤습니다."
SQL Statement API 경로에서 GB당 약 689 DBU가 들었던 수집 비용이 Zerobus에서는 GB당 약 0.29 DBU로 감소하여, 동일한 워크로드, 페이로드, 다운스트림 Delta 테이블에서 1,000배의 비용 절감 효과를 보였습니다. Beusa는 또한 별도의 스트리밍 브로커 계층을 완전히 구축하지 않아도 되어 전체 클래스의 상태 저장 인프라를 제거했습니다.
오늘날 6,000개가 넘는 기기가 약 250개의 원격 자산에서 중앙 레이크하우스로 1Hz 속도로 원격 분석 데이터를 스트리밍하고 있으며, 센서에서 쿼리 가능한 Delta 테이블까지의 엔드투엔드 지연 시간은 약 3초입니다. 이 데이터는 Unity Catalog로 관리되며, 기록되는 즉시 사용할 수 있습니다.
비용 절감에서 대규모 예측 유지보수까지
비용 절감으로 마이그레이션이 정당화되었지만, 더 큰 영향은 운영상의 부담 없이 규모를 확장할 수 있게 된 것이었습니다. 현재 Zerobus Ingest는 유지보수가 전혀 필요 없이 매일 약 2,200만 행의 텔레메트리 데이터를 손쉽게 처리하여 팀에 간소화된 스택과 비용 효율적인 발전 경로를 제공합니다. 고주파 텔레메트리 데이터는 이제 운영 리더십, 차량 관리, 엔지니어링, 제어 및 자동화 등 여러 부서에 걸친 분석에 사용됩니다. 이전에는 직관이나 지연된 보고서를 기반으로 내렸던 결정들이 이제는 통합된 거의 실시간 데이터에 기반하여 이루어집니다.
" 우리 역사학자는 장비에서 일어난 일을 기록하는 훌륭한 시스템이야. " 포르니콜라가 말했어. "하지만 비즈니스에서 실제로 묻는 질문, 즉 여러 플릿, 분지, 유지보수 이벤트에 걸친 질문에 답하려면 해당 데이터가 다른 모든 데이터와 조인되어 레이크하우스에 있어야 합니다." 제로버스는 우리 규모에서 경제적으로 실현 가능하게 만들어주는 핵심 요소입니다."
또한 새로운 아키텍처는 Beusa에 정의된 성숙도 진행 과정을 통해 유지보수 전략을 발전시킬 수 있는 명확한 경로를 제공합니다.
현재 — 상태 기반 유지보수: 유지보수는 현재의 운영 조건과 관찰된 장비 상태에 따라 Trigger. 이는 정해진 주기보다 더 낫지만, 여전히 현재 일어나고 있는 일에 반응하는 방식입니다.
진행 중 — 예측 유지보수: 이제 고빈도 텔레메트리가 유지보수 이력과 함께 레이크하우스에 있으므로 Beusa는 각 자산의 잔여 유효 수명을 예측하기 위해 모델을 훈련하고 있습니다. 수압 파쇄에서 마모가 심한 구성 요소는 압력, 속도, 유체 특성, 주기 등 수십 가지 운영 변수의 영향을 받는 곡선에 따라 고장납니다. 이러한 관계를 모델링하면 비즈니스에서 고정된 일정이 아닌 각 자산의 실제 상태 궤적에 따라 유지보수 시간을 할당할 수 있습니다.
다음 — 규범적 유지 관리: 예측 계층이 성숙하면 목표는 고장 예측에서 조치 권장으로 이동하여 차량 일정, 부품 재고, 승무원 가용성, 날씨 및 기타 운영상의 제약과 예측 장애를 자동으로 조정하는 거야.
차량이 확장됨에 따라 데이터 수집 단위 비용은 캡처할 수 있는 데이터의 양이나 비즈니스에서 데이터를 활용하는 방식에 더 이상 제약이 되지 않습니다.
"우리가 얻은 교훈은 모든 마이그레이션이 가치를 인정받기 위해 비용을 절감해야 하는 것은 아니라는 점입니다. 때로는 운영 부담을 줄이거나 지연 시간을 개선하기 위한 것이고, 때로는 둘 다를 위한 것이기도 합니다."라고 Fornicola는 언급했습니다. “Zerobus Ingest는 비용을 크게 절감하고 스택을 단순화했으며, 앞으로 관리형 경로로 나아갈 수 있게 해 주었습니다. "드문 일이죠."
Beusa는 Zerobus Ingest 덕분에 까다로운 아키텍처 트레이드오프를 더 이상 고민할 필요가 없어졌습니다. 데이터가 유정에서 레이크하우스로 수 초 만에 전송되고, 엔지니어는 작성되는 모든 레코드의 비용에 대한 걱정을 덜었으며, 비즈니스는 운영 신호에서 실제 조치로 이어지는 시간을 단축했습니다.
