AI로 커넥티드 카 지원
IT 운영 개선으로 단축된 인사이트 창출 시간
차량 및 도로 데이터 처리 속도 단축
새로운 혁신의 시장 출시 기간 감소
"Databricks가 출시되기 전에는 일부 고객의 분석 요구 사항을 충족하는 데 몇 달은 아니더라도 몇 주가 걸렸을 것입니다. 이제는 몇 시간이면 충분합니다.”
wejo는 세계 최대 규모의 커넥티드 카 회사가 되겠다는 전 세계를 무대로 한 포부를 품고 설립되었습니다. 현재 wejo는 1,400억 마일 이상의 데이터를 큐레이션하였으며 올해 말까지 플랫폼에 1,700만 대의 차량을 보유하게 될 것으로 예상합니다. 매일 150억 개 이상의 데이터 포인트가 꾸준히 추가하고 있는 wejo는 Databricks를 믿고 자동차 산업에 ML 기반 혁신과 향상된 주행 경험을 제공하고자 합니다.
매월 3조 개의 데이터 포인트를 수집하도록 파이 프라인 확장
wejo는 고객에게 가치를 제공하기 위해 커넥티드 카 5,000만 대의 스트리밍 데이터, OEM의 처리 데이터, 위성 내비게이션 시스템 데이터를 3초마다 수집합니다. 이 데이터는 주차를 최적화하는 새로운 혁신적 기술을 통해 교통 흐름을 개선하고, 사고와 안전 알림, 응급 서비스를 줄이기 위한 인사이트를 제공합니다. 여러 개의 분산된 소스에서 다양한 데이터가 스트리밍되는 상황에서 데이터 사이언스를 통해 데이터의 인사이트를 활용하기란 매우 어렵고 많은 리소스가 소모됩니다.
방대한 데이터 볼륨: 자동차에서 마켓플레이스까지 매월 3조 개 이상의 데이터 포인트를 스트리밍 환경에서 40초 이내에 처리해야 하려면 지연이 낮은 환경에서 상당한 확장 능력이 필요합니다.
확장의 어려움: wejo는 입력해야 할 데이터가 너무 많아 규모 조정이 어렵고 사용 가능한 라이브러리에 제한이 있는 Mapreduce 클러스터를 활용하기가 어려웠습니다. 적절한 Python 모듈이 설치되기를 며칠이나 기다려야 했기 때문에 혁신의 속도가 둔화되었습니다.
느린 성능: 장기 실행 작업은 며칠이 걸리거나 적어도 몇 시간은 처리해야 했습니다.
Delta Lake를 사용한 안정적이고 우수한 대규모 데이터 파이프라인
Databricks는 wejo에 통합형 데이터 분석 플랫폼을 제공하여 데이터 사이언스와 엔지니어링 분야를 아우르는 확장 가능한 협업형 환경을 조성했습니다. 그 결과, 데이터 팀에서 빠른 속도로 혁신하고 자동차 산업에 ML 기반 혁신을 제공할 수 있게 되었습니다.
클라우드의 관리형 플랫폼은 어떤 규모로든 컴퓨팅 클러스터를 간단하게 프로비저닝할 수 있습니다.
여러 언어(SQL, Scala, Python, R)를 지원하기 때문에 데이터 엔지니어링, 데이터 사이언스, 애널리스트 사이의 협업이 개선됩니다.
데이터 엔지니어링 팀은 기본적으로 지원되는 Delta Lake를 사용하여 동일한 데이터에서 배치 및 스트리밍 파이프라인을 안정적으로 실행하고 확장할 수 있습니다.
ML 혁신으로 안전한 도로 만들기
Databricks를 사용한 이후로 wejo는 대규모 데이터 처리와 머신 러닝을 빠르고 저렴하게 이용할 수 있게 되었습니다. 하지만 특히, 모든 팀과 조직에 결과를 쉽게 공유할 수 있어 다른 사람들이 시장에 혁신적 기술을 출시할 수 있도록 도울 수 있다는 것이 장점입니다.
운영 효율 향상: 자동 규모 조정 클러스터 등의 기능으로 데이터 엔지니어링 운영을 개선하고, 다운스트림 분석 파이프라인 처리 시간을 몇 주에서 몇 분으로 단축했습니다.
팀 간 협업 강화: 여러 가지 언어를 지원하는 공유된 노트북 환경을 통해 팀 생산성을 개선했습니다.
빠른 인사이트 창출 시간: Databricks를 사용한 오픈 소스 Spark에서 성능이 20배 향상되고, 시장 출시 기간이 90% 단축되는 효과를 얻었습니다.
