제품 설명:
데이터는 내비게이션 소프트웨어와 서비스로 주행 경험을 개선할 수 있는 새로운 기회를 제공하지만, TomTom은 데이터 사이언스 팀의 요구 사항을 지원하기 위해 IT 운영을 확장하는 데 어려움을 겪고 있었습니다. Databricks를 사용하면서 인프라 관리를 단순화하고 데이터 사이언스의 생산성을 향상했고, 고객이 안전하고 더욱 빠르게 목적지에 도착하는 데 도움이 되는 새로운 제품을 개발할 수 있었습니다.
대규모로 분석하기 어려운 센서 데이터
TomTom에서는 교통 혼잡 없는 세상을 만들어 더 나은 주행 경험을 제공하는 것을 기업 사명으로 삼았습니다. 이 사명을 이루려면 최종 사용자의 운전 행태를 잘 이해하면서, 동시에 서비스 운영 비용을 최적화해야 했습니다. 다만 차량에서 입수한 센서 데이터의 양이 워낙 많아 인사이트를 제공하고 고급 분석을 수행하기가 좀처럼 쉽지 않았습니다.
- 6억 대도 넘는 디바이스가 800억 개 이상의 지리적 좌표를 만드는 데다, 여기에 타임스탬프와 메타데이터까지 포함한 엄청난 양의 데이터를 매일같이 수집합니다. 데이터 포인트로 따지면 약 150조 개에 상당할 정도입니다.
- 데이터 사이언스 업무를 지원할 수 있도록 운영을 확장하기가 쉽지 않았습니다. 그 결과, 인사이트 도출 시간이 혁신을 추진하기 위해 필요한 속도를 맞추지 못했습니다. 특히 자율 주행 사용 사례 면에서 아쉬움이 컸습니다.
- 데이터 엔지니어링을 하면 클러스터를 구성하고 인프라를 관리하는 데 지나치게 많은 시간이 소요되었습니다. 이로 인해 데이터 사이언스팀이 머신 러닝과 분석을 적용하는 데이터 플로의 속도가 느려졌습니다.
Databricks에서 데이터와 ML을 위한 확장 가능한 플랫폼 제공
Databricks는 TomTom에 통합형 데이터 분석 플랫폼을 제 공하여 데이터 사이언스와 엔지니어링 분야를 아우르는 확장 가능한 협업형 환경을 조성했습니다. 그 결과 데이터 팀에서 빠른 속도로 혁신을 이루고 ML 기반 혁신을 제공하여 자사 내비게이션과 자동차 서비스, 제품에 이를 적용할 수 있게 되었습니다.
- AWS의 완전 관리형 플랫폼: 자동 클러스터 관리 덕분에 규모에 구애받지 않고 인프라와 운영을 간소화할 수 있습니다.
- 여러 가지 언어(SQL, Scala, Python, R)를 지원하는 협업 노트북 환경으로 다양한 사용자 팀이 원하는 언어를 사용해 협력할 수 있습니다.
- MLflow가 기본적으로 지원되기 때문에 데이터 사이언스 팀에서 간편하게 실험을 복제, 모델 성능을 추적하고 체계적인 방식으로 다양한 기종에서 신속하게 반복 재현할 수 있습니다.
- Delta Lake 네이티브 지원을 사용한 이후로 데이터 엔지니어링 팀이 데이터에 ACID 트랜잭션 기능을 제공할 수 있게 되었습니다.
스마트한 대중교통 솔루션 개발을 위해 협력
TomTom은 Databricks와 함께 하면서 다양한 데이터 스트림 내에서 입수한 인사이트를 활용해 세상을 움직이는 혁신적인 기술을 개발할 수 있었습니다.
- 운영 효율성 향상: 클러스터 자동 확장, Delta Lake 및 MLflow 지원 등의 기능 덕분에 데이터 수집에서 전체 머신 러닝 수명 주기 관리에 이르기까지 모든 운영이 개선되었습니다.
- 팀 간 협업 강화: 여러 가지 언어를 지원하는 공유된 노트북 환경을 통해 팀 생산성을 개선했습니다.
- 인사이트 도출 시간 단축: Databricks 덕분에 출시 기간이 단축되어 프로토타입 제작부터 생산까지 걸리는 시간이 몇 주에서 며칠로 크게 줄었습니다.