고객 사례
스마트한 도로, 스마트한 운전자
운영 개선
모든 머신 러닝 수명 주기에서
운영 효율성이 향상되었습니다.
생산성 향상
팀 간 협업을 통한 팀 생산성 향상.
몇 주
에서 며칠로: 신기능 출시 기간 단축
INDUSTRY: Retail and consumer goods
SOLUTION: Scaling ML Models for IoT
PLATFORM USE CASE: Delta Lake,data science,machine learning,ETL
CLOUD: Azure
Databricks와 협력한 뒤로 프로토타입 제작 시점부터 프로덕션 급 소프트웨어로 발전하기까지 전에는 보통 몇 주씩 걸렸던 기간이 며칠 수준으로 줄었습니다."
– Sergio Ballasteros, TomTom 데이터 사이언티스트
데이터는 내비게이션 소프트웨어와 서비스로 주행 경험을 개선할 수 있는 새로운 기회를 제공하지만, TomTom은 데이터 사이언스 팀의 요구 사항을 지원하기 위해 IT 운영을 확장하는 데 어려움을 겪고 있었습니다. Databricks를 사용하면서 인프라 관리를 단순화하고 데이터 사이언스의 생산성을 향상했고, 고객이 안전하고 더욱 빠르게 목적지에 도착하는 데 도움이 되는 새로운 제품을 개발할 수 있었습니다.
대규모로 분석하기 어려운 센서 데이터
TomTom에서는 교통 혼잡 없는 세상을 만들어 더 나은 주행 경험을 제공하는 것을 기업 사명으로 삼았습니다. 이 사명을 이루려면 최종 사용자의 운전 행태를 잘 이해하면서, 동시에 서비스 운영 비용을 최적화해야 했습니다. 다만 차량에서 입수한 센서 데이터의 양이 워낙 많아 인사이트를 제공하고 고급 분석을 수행하기가 좀처럼 쉽지 않았습니다.
- 6억 대도 넘는 디바이스가 800억 개 이상의 지리적 좌표를 만드는 데다, 여기에 타임스탬프와 메타데이터까지 포함한 엄청난 양의 데이터를 매일같이 수집합니다. 데이터 포인트로 따지면 약 150조 개에 상당할 정도입니다.
- 데이터 사이언스 업무를 지원할 수 있도록 운영을 확장하 기가 쉽지 않았습니다. 그 결과, 인사이트 도출 시간이 혁신을 추진하기 위해 필요한 속도를 맞추지 못했습니다. 특히 자율 주행 사용 사례 면에서 아쉬움이 컸습니다.
- 데이터 엔지니어링을 하면 클러스터를 구성하고 인프라를 관리하는 데 지나치게 많은 시간이 소요되었습니다. 이로 인해 데이터 사이언스팀이 머신 러닝과 분석을 적용하는 데이터 플로의 속도가 느려졌습니다.
Databricks에서 데이터와 ML을 위한 확장 가능한 플랫폼 제공
Databricks는 TomTom에 통합형 데이터 분석 플랫폼을 제공하여 데이터 사이언스와 엔지니어링 분야를 아우르는 확장 가능한 협업형 환경을 조성했습니다. 그 결과 데이터 팀에서 빠른 속도로 혁신을 이루고 ML 기반 혁신을 제공하여 자사 내비게이션과 자동차 서비스, 제품에 이를 적용할 수 있게 되었습니다.
- AWS의 완전 관리형 플랫폼: 자동 클러스터 관리 덕분에 규모에 구애받지 않고 인프라와 운영을 간소화할 수 있습니다.
- 여러 가지 언어(SQL, Scala, Python, R)를 지원하는 협업 노트북 환경으로 다양한 사용자 팀이 원하는 언어를 사용해 협력할 수 있습니다.
- MLflow가 기본적으로 지원되기 때문에 데이터 사이언스 팀에서 간편하게 실험을 복제, 모델 성능을 추적하고 체계적인 방식으로 다양한 기종에서 신속하게 반복 재현할 수 있습니다.
- Delta Lake 네이티브 지원을 사용한 이후로 데이터 엔지니어링 팀이 데이터에 ACID 트랜잭션 기능을 제공할 수 있게 되었습니다.
스마트한 대중교통 솔루션 개발을 위해 협력
TomTom은 Databricks와 함께 하면서 다양한 데이터 스트림 내에서 입수한 인사이트를 활용해 세상을 움직이는 혁신적인 기술을 개발할 수 있었습니다.
- 운영 효율성 향상: 클러스터 자동 확장, Delta Lake 및 MLflow 지원 등의 기능 덕분에 데이터 수집에서 전체 머신 러닝 수명 주기 관리에 이르기까지 모든 운영이 개선되었습니다.
- 팀 간 협업 강화: 여러 가지 언어를 지원하는 공유된 노트북 환경을 통해 팀 생산성을 개선했습니다.
- 인사이트 도출 시간 단축: Databricks 덕분에 출시 기간이 단축되어 프로토타입 제작부터 생산까지 걸리는 시간이 몇 주에서 며칠로 크게 줄었습니다.
