Joby Aviation은 정밀 부품 제조, 비행 원격 측정 데이터 분석, 모든 생산 단계의 성능 최적화 등 처음부터 새로 제작한 전기 항공기로 항공 여행의 개념을 재정립하고 있습니다. 하지만 여러 공장 부지와 막대한 원격 측정 데이터 유입으로 인해 기존의 수집 아키텍처는 이를 감당할 수 없었습니다. 지연, 데이터 중복, 운영 복잡성으로 인해 혁신이 둔화되었고 실시간 신호를 실시간 조치로 전환하기가 어려워졌습니다. Joby는 Lakeflow Connect의 일부인 Zerobus Ingest를 통해 데이터 인프라를 혁신했습니다. 즉, 수천 개의 디바이스에서 레이크하우스로 직접 분당 기가바이트를 스트리밍하고 이 모든 것을 5초 미만의 속도로 전송합니다. 과거에는 불안정한 파이프라인과 여러 단계의 홉이 필요했던 작업이 이제는 단 몇 초 만에 이루어져 더 빠른 의사 결정, 더 긴밀한 피드백 루프, 그리고 공장에서 비행까지 더 스마트한 경로를 구현할 수 있게 되었습니다.
여러 단계의 데이터 홉으로 인해 혁신이 지체되었습니다
Joby Aviation은 빠르고 조용하며 깨끗한 도심 항공 모빌리티를 위한 전기 수직 이착륙(eVTOL) 항공기를 개척하는 수직 통합 항공 회사입니다. Joby는 정밀 부품 제조부터 비행 원격 측정 분석에 이르기까지 기술 스택 전반을 직접 소유하여 신속한 반복과 지속적인 개선을 실현합니다. 하지만 완전한 소유권에는 확장 가능하고 지능적인 데이터 엔지니어링 접근 방식이 필요한 엄청난 데이터 과제도 따릅니다.
Joby는 여러 사이트에서 대용량 원격 측정 및 공장 데이터를 수집하고 운영하기 위한 신뢰할 수 있는 방법이 필요했습니다. “자체 항공기를 제조하고, 비행 분석 데이터를 수집하며, 전체 생산 파이프라인을 운영하고 있습니다. 이 모든 과정에서 데이터가 생성되며, 더 나은 의사 결정을 내리고 혁신을 가속하기 위해 여러 공장, 기계, 사용 사례에 걸쳐 이 데이터를 캡처하고 연결해야 합니다.”라고 Joby Aviation의 공장 시스템 책임자인 Dominik Müller가 설명했습니다. 그들의 목표는 AI 에이전트, 비즈니스 대시보드, 분석 워크플로에서 이 데이터에 거의 실시간으로 액세스할 수 있도록 하는 것이었습니다. 엔지니어링 팀에 과도한 부담을 주지 않으면서 말입니다.
Joby의 사용 사례는 전체 데이터 수명 주기에 걸쳐 있습니다. 공장에서는 연결된 기계에서 원격 측정 데이터를 수집하여 장비 성능을 모니터링하고, 추적성을 개선하며, 제조 현장의 고충실도 신호를 AI 에이전트에 공급합니다. 항공기의 비행 데이터를 분석하여 주요 지표를 추적하고 반복적인 개선을 위한 정보를 얻습니다. 또한 이 운영 데이터는 경영진에게 주요 프로세스 및 성과 동향에 대한 가시성을 제공하는 실시간 대시보드를 지원하는 데 사용됩니다. 한편, 머신러닝 모델 학습, 안전성 분석, 규정 준수를 지원하기 위해 기록 데이터가 아카이빙됩니다.
이러한 각 사용 사례는 환경 조건이 매우 다양한, 지리적으로 분산된 공장 현장에서 데 이터를 수집하는 것에 의존합니다. 이로 인해 데이터 일관성과 실시간 가용성 확보가 큰 장애물이 되었습니다. “모든 공장은 다릅니다. 기계도 다르고, 인터넷 연결도 다르며, 종속성도 마찬가지입니다.”라고 Müller는 말했습니다. “이러한 가변성은 사이트에 관계없이 원격 측정 데이터를 빠르고 안정적으로 오프로드할 방법이 필요하다는 것을 의미했습니다. 이러한 연결은 일시적인 경우가 많으므로 지상과 클라우드 모두에 복원력을 구축해야 합니다.”
Databricks를 사용하기 전, Joby는 메시지 버스와 Spark 수집 작업을 사용하여 로컬 공장 에이전트의 데이터를 클라우드로 옮기는 멀티홉 아키텍처에 의존했습니다. 이 접근 방식은 내구성을 보장했지만, 수집 인프라에 상당한 복잡성을 더했습니다. Müller에 따르면, “이 2홉 아키텍처는 운영 오버헤드와 데이터 중복을 초래했으며, 관리를 위해 추가적인 도구와 전문 지식이 필요했습니다.”
데이터의 양과 속도가 계속 증가함에 따라 이 아키텍처를 유지 관리하기가 점점 더 어려워졌습니다. Joby는 높은 처리량의 원격 측정 데이터를 처리하고, 수천 개의 연결로 확장하며, 운영상의 마찰을 줄일 수 있는 더 간소화된 솔루션이 필요했습니다. 이러한 과제를 해결하기 위해 Joby는 데이터 파이프라인 전반에 걸쳐 수집을 간소화하고, 인프라 부담을 줄이며, 인사이트 확보 시간을 단축하는 것을 목표로 Databricks Lakeflow Connect를 도입했습니다.
Lakeflow Connect를 사용한 대규모 원격 측정 데이터 수집
수집 아키텍처를 단순화하고 확장하기 위해 Joby는 Databricks Lakeflow Connect를 도입했습니다. 이 통합된 유지 관리가 용이한 수집 솔루션은 데이터가 소스 시스템에서 레이크하우스로 직접 흐를 수 있도록 합니다.
이러한 혁신의 중심에는 원격 측정 데이터 수집을 간소화하는 새로운 직접 쓰기 API인 Zerobus Ingest가 있었습니다. Kafka와 유사한 큐에서 데이터를 가져오는 Spark 작업에 의존하는 대신, Joby의 온프레미스 에이전트는 이제 단 한 번의 홉으로 원격 측정 데이터를 Delta 테이블에 직접 푸시합니다. “메시지 버스, 수집 작업, 데이터 중복을 제거했습니다. 이제는 Databricks로 바로 푸시합니다. “유지 관리할 추가 인프라가 없고 중간 계층으로 인한 지연 시간도 없습니다.”라고 Müller는 말했습니다.
Zerobus Ingest는 IoT, 원격 측정, 클릭스트림과 같은 운영 데이터 소스를 위해 특별히 제작된 고성능 서버리스 수집 서비스입니다. Joby에게 이는 각 공장 사이트에서 맞춤형 온프레미스 에이전트를 사용하여 분당 기가바이트의 센서 및 머신 데이터를 스트리밍하고 거의 실시간 가시성을 확보할 수 있음을 의미했습니다. “모든 사이트는 서로 다르기 때문에 맞춤화할 수 있으면서도 배포하기 쉬운 것이 필요했습니다.”라고 Müller는 설명했습니다. “Zerobus Ingest SDK를 사용하여 기존 파이프라인에 원활하게 통합되는 플러그 앤 플레이 에이전트를 구축했습니다. 이를 통해 완벽한 제어가 가능해졌습니다.”
아키텍처가 간소화되고 지능화되었습니다. 데이터가 Zerobus Ingest를 통해 Delta 테이블에 기록되면 Joby의 분석 및 AI 스택 전반에서 즉시 액세스할 수 있습니다. Lakeflow Declarative Pipelines는 원시 원격 측정 데이터를 구조화된 인사이트로 변환합니다. 비즈니스 전반의 팀들은 거의 즉시 최신 데이터에 따라 조치를 취할 수 있어 공장 추적성부터 비행 성능 분석에 이르기까지 모든 것을 지원합니다. Müller는 “불과 몇 초의 지연 시간으로 대시보드를 지원하고, 알림을 실행하며, 다운스트림 모델에 데이터를 제공하고 있습니다.”라고 말했습니다.
무엇보다 중요한 점은 Zerobus Ingest가 Databricks Data Intelligence Platform 전반과 긴밀하게 통합된다는 것입니다. 스토리지 기반으로 Delta Lake를 사용하여 성능과 스키마 적용을 보장하고, 통합 거버넌스 및 보안을 위해 Unity Catalog를 사용합니다. 레코드가 작성되는 순간부터 거버넌스가 적용되고 검색이 가능하며, 분석, 머신러닝, 규정 준수 워크플로 전반에서 사용할 준비가 됩니다.
Zerobus Ingest는 Joby가 운영 텔레메트리에 접근하는 방식을 바꾸어 놓았습니다. Müller는 “수천 개의 디바이스에서 동일한 테이블에 동시에 쓸 수 있는데, 이는 시기적절한 인사이트를 제공하는 데 도움이 됩니다.”라고 설명했습니다. 아키텍처의 한계를 해결하기 위해 엔지니어링하는 대신, 이제 데이터가 중요한 혁신을 지원하는 데 필요한 단순성과 신뢰성을 갖추고 (공장에서 레이크하우스로) 기본적으로 흐릅니다.
더 빠른 인사이트, 더 적은 구성 요소
Zerobus Ingest를 도입함으로써 Joby는 혁신 주기를 가속화하는 데 필요한 속도와 규모를 확보하는 동시에 원격 측정 데이터 수집 인프라의 복잡성과 비용을 크게 절감했습니다.
Databricks를 사용하기 전에는 각 공장의 원격 측정 데이터가 메시지 버스를 통과하고 별도의 수집 작업으로 처리되어야 했으며, 이로 인해 지연, 운영 리스크, 데이터 중복이 발생했습니다. Zerobus Ingest를 사용하면서 이러한 홉이 사라졌습니다. 이제 데이터는 관리할 추가 인프라 없이 최소한의 지연 시간으로 Joby의 온프레미스 에이전트에서 Delta 테이블로 직접 흐릅니다. Müller에 따르면 “Zerobus Ingest를 사용하여 제조 현장에서 레이크하우스로 분당 기가바이트의 원격 측정 데이터를 푸시하고 있습니다. 우리는 더 이상 메시지 큐나 불안정한 파이프라인에 대해 걱정하지 않습니다.”
그 효과는 분명합니다. 모든 데이터 레코드는 5초 이내에 쿼리가 가능해지므로 실시간 대시보드를 지원하고, 긴급 알림을 표시하며, 시간에 민감한 의사 결 정을 지원할 만큼 충분히 빠릅니다. 이제 Joby의 엔지니어와 비즈니스 분석가는 거의 실시간에 가까운 데이터로 작업할 수 있게 되어, 공장 운영과 성능 최적화 간에 더욱 긴밀한 피드백 루프를 구축할 수 있습니다. “이제 텔레메트리는 실시간 자산입니다. “몇 초 안에 무언가 잘못된 방향으로 가고 있는지 파악하고 조치를 취할 수 있습니다.”라고 Müller가 설명했습니다.
마찬가지로 중요한 점은 Zerobus Ingest를 통해 Joby가 아キ텍처를 재설계하지 않고도 확장할 수 있게 되었다는 것입니다. 각 연결은 최대 100MB/초의 처리량을 지원하며, 시스템은 수천 개의 동시 스트림을 처리합니다. 이는 여러 공장을 보유하고 센서 설치 공간이 빠르게 확장되고 있는 성장 기업에 매우 중요합니다. “Zerobus Ingest는 빠르기만 한 것이 아니라, 우리 규모에 맞춰 확장됩니다. 더 많은 사이트, 기기, 데이터를 지원하기 위해 어떤 것도 다시 설계할 필요가 없었습니다.”라고 Müller는 설명했습니다.
혁신을 계속하면서 Joby는 자사의 스택을 전략적 이점으로 여기고 있습니다. Müller가 말했듯이, “공장 현장의 데이터를 의사 결정권자에게 전달하는 일이 이제 몇 초 만에 이루어집니다. 이는 가능성의 판도를 바꿉니다.”