자동차 산업의 미래를 열다 (1부): 확장 가능한 지리 공간 분석 & AI 이해하기

소개

자동차 산업은 방대한 양의 지리 공간, 텔레매틱스, 센서 데이터를 활용하여 AI 혁신을 강화하는 등 데이터 기반 변환을 겪고 있습니다. 차량, 인프라, 모빌리티 시스템의 연결성이 증가함에 따라 이 데이터는 교통 안전, 예측 유지보수, EV 인프라 계획, 지속 가능한 물류와 같은 과제를 해결하는 데 도움이 되고 있습니다.

예상 TAM이 2024년 537억 9천만 달러에서 2032년 1,656억 7천만 달러로 성장할 것으로 전망되면서, 그 기회는 엄청납니다. 예를 들어, 미국 에너지부(U.S. Department of Energy)에 따르면 급가속 및 급제동과 같은 공격적인 운전은 연료 소비를 최대 33%까지 증가시킬 수 있습니다. 텔레매틱스 기반 driver 코칭은 이러한 행동을 줄이고 연료비를 절감하는 데 도움이 됩니다. 텔레매틱스를 활용한 예측 유지보수는 차량 가동 중단 시간을 최대 80%까지 대폭 단축하여 운영 효율성을 향상시켰습니다.

Databricks는 확장 가능한 실시간 지리 공간 분석을 제공하여 조직이 이러한 기회를 활용할 수 있도록 지원합니다. 플랫폼에 기본 내장된 지리 공간 함수, AI 통합, 최신 아키텍처 지원 기능은 실질적인 비즈니스 효과를 제공하는 위치 인식 애플리케이션을 개발할 수 있도록 지원합니다.

이 2부작 블로그는 (1부) 자동차 및 모빌리티 분야의 주요 지리 공간 사용 사례와 데이터세트, 그리고 (2부) Databricks가 코드 샘플과 모범 사례를 통해 프로덕션급 지리 공간 분석 및 AI를 가속화하는 방법을 다룹니다.

문제 이해하기

자동차 관련 조직은 커넥티드 카, 인프라, 플랫폼에서 쏟아지는 데이터를 관리하고 분석하는 데 있어 점점 더 커지는 복잡성에 직면해 있습니다. 사일로화된 팀, 분산된 아키텍처, 제한된 실시간 기능은 예측적 인사이트에 대한 접근을 가로막는 경우가 많습니다.

Databricks는 지리 공간 데이터 처리, AI 모델 학습, 부서 간 협업을 위한 통합되고 확장 가능한 플랫폼을 제공하여 이 문제를 해결합니다. 이러한 기능 중에서 Geospatial 분석 는 영향력이 큰 사용 사례 전반에 걸쳐 더 스마트한 위치 기반 의사 결정을 실현하는 핵심적인 역할을 합니다.

이 블로그의 나머지 부분에서는 Databricks가 자동차 조직이 지리 공간 분석을 사용하여 이러한 과제를 극복하고 측정 가능한 결과를 도출하는 데 어떻게 도움이 되는지 살펴봅니다.

지리 공간 분석 사용 사례

지리 공간 분석을 활용하지 못하는 조직은 비효율적인 경로 계획, 예상치 못한 차량 운휴, 사후 대응적인 의사 결정과 같은 비효율 문제에 직면하는 경우가 많습니다. 기업은 지리 공간 데이터를 AI와 통합하여 운영 전반의 안전성, 효율성, 서비스 품질을 개선하는 실시간 인사이트를 확보할 수 있습니다. 주요 사용 사례는 다음과 같습니다.

• 도로 안전 및 위험 예측: 사고 다발 지역, 날씨, 교통 데이터와 실시간 차량 텔레매틱스를 융합하여 고위험 도로 구간을 예측하고 운전자에게 경로상의 사고 발생 가능성이 높은 지점을 사전에 알려 사고를 예방하는 AI 기반 지리 공간 분석 솔루션을 제공합니다.
• 스마트 모빌리티: AI 기반 지리 공간 분석을 적용하여 경로를 최적화하고, 수요에 따라 공공 편의 시설을 제공하며, 물류 효율성을 개선함으로써 시민의 삶의 질을 향상시킵니다.
• 운전 기반 보험: 보험사는 지리 공간 및 모빌리티 데이터를 사용하여 Driver 위험 프로필을 정확하게 평가하고 더 안전한 Driver에게 더 나은 요율을 제공할 수 있습니다.
• EV 인프라 최적화: 위치 기반 인사이트를 활용하여 수요가 많은 지역에 충전소를 전략적으로 배치하여 충전소 활용도를 개선합니다.
• 예측 유지보수: 실시간 텔레매틱스와 AI 기반 분석을 사용하여 유지보수 필요 시점을 예측하고, 이를 통해 연료 소비, 가동 중단 시간, 운영 비용을 줄입니다.

지리 공간 분석 및 AI를 위한 핵심 데이터 세트

데이터는 자동차 혁신의 핵심이며, 특히 지리 공간 분석 및 인공 지능과 결합될 때 더욱 그렇습니다. 명확하게 정의된 온톨로지를 갖춘 관련 데이터세트를 활용하여 자동차 기업은 실행 가능한 인사이트를 도출하고 의사 결정을 개선하며 수익을 향상시킬 수 있습니다. 다음은 자동차 및 모빌리티 분야에서 지리 공간 분석을 구축하기 위해 권장되는 몇 가지 데이터 세트입니다.

이 게시물에서는 접근성과 포괄성을 고려하여 뉴욕시에서 공개적으로 이용 가능한 데이터를 참조합니다. 이러한 데이터 세트는 교통 행동, 도로 안전 및 환경적 영향을 분석하기 위한 기본적인 구성 요소입니다. 이 블로그는 시연을 위해 NYC 데이터를 사용하지만, 이 접근 방식은 유연하며 더 크고 조직 소유의 데이터세트로 확장할 수 있습니다.

• 충돌 데이터세트는 날짜, 위치, driver 행동 또는 도로 상태와 같은 기여 요인을 포함한 도로 사고의 상세 기록을 제공하여 안전 분석과 위험 완화를 촉진합니다.
• 교통량 데이터세트는 과거 교통 밀도 및 혼잡 정보를 제공하여 효율적인 경로 계획 및 교통 예측에 도움을 줍니다.
• 도로 상태 데이터 세트는 도로 폐쇄, 공사, 사고에 대한 실시간 및 과거 데이터를 제공하여 교통 안전 및 효율성을 선제적으로 관리할 수 있게 해줍니다.
• 기온, 강수량, 풍속, 가시거리를 포함한 날씨 데이터는 기상 조건과 운전 패턴 및 안전 결과 간의 상관관계를 분석하는 데 사용됩니다.
• 이동(Trips) 데이터 세트는 승하차 시간, 거리, 요금, ZIP codes, 이동 유형(예: 택시, 차량 공유)과 같은 개별 이동 기록을 캡처하며, 교통수단 전반에 걸쳐 이동성 패턴, 승객 행동, 서비스 효율성을 분석하기 위한 기초 데이터 세트 역할을 합니다.
• 텔레매틱스 데이터는 속도, 가속, 제동, 경로 선택과 같은 주행 지표를 제공하여 기업이 운전 행동 안전 및 예측 유지보수에 대한 분석 모델을 개발할 수 있도록 합니다.

이러한 데이터세트를 함께 사용하면 자동차 기업은 운영을 최적화하고 고객 경험을 향상하며 측정 가능한 비즈니스 영향을 창출할 수 있습니다. 요컨대, 풍부한 지리 공간 분석을 지원하기 위해 고객은 독점 데이터세트와 공공 소스를 결합하여 수많은 데이터 포인트을 고려해야 합니다. 아래는 위에서 설명한 데이터 세트를 사용한 샘플 브론즈 데이터 모델입니다.

텔레매틱스와 CAN의 이해 - 차량 텔레메트리의 핵심

텔레매틱스 데이터는 온보드 센서, GPS, 통합 시스템을 통해 수집되는 차량 정보를 의미합니다. 여기에는 위치, 속도, 가속, 제동, 연비, 진단과 같은 세부 정보가 포함되어 차량 성능, driver 행동, 차량 관리에 대한 인사이트를 얻을 수 있습니다.

텔레메트리의 핵심에는 차량 내 ECU(전자 제어 장치)를 연결하는 데 널리 사용되는 통신 프로토콜인 CAN(Controller Area Network)이 있습니다. 원래 차량 내 배선을 단순화하기 위해 설계된 CAN 버스는 차동 신호를 사용하여 전기적 노이즈를 줄임으로써 효율적이고 신뢰할 수 있으며 우선순위가 지정된 메시지 기반 통신을 가능하게 합니다.

CAN 2.0, CAN FD, CAN XL 과 같은 변형은 다양한 속도와 페이로드 용량을 제공하며, 광범위한 자동차 애플리케이션에 적합합니다.

데이터 엔지니어에게 이는 고주파의 버스트성(bursty) 우선순위 텔레메트리 Stream을 수집하고, 원시 CAN 프레임을 사용 가능한 인사이트로 디코딩하며, 다운스트림 분석 및 애플리케이션을 위한 실시간 처리를 지원해야 하는 과제를 안겨줍니다.

확장 가능한 지리 공간 분석 이해하기

확장 가능한 지리 공간 분석은 종종 페타바이트 및 엑사바이트 규모에 달하는 방대한 양의 위치 기반 데이터를 실시간으로 처리하고 분석하여, 기업이 넓은 지리적 영역에 걸쳐 복잡한 공간 패턴에서 의미 있는 인사이트를 추출할 수 있도록 하는 기능을 의미합니다.

Databricks의 데이터 인텔리전스 플랫폼은 강력한 지리 공간 분석과 AI를 결합하여 확장 가능하고 실시간 인사이트를 제공합니다. Liquid Clustering 및 H3 공간 함수와 같은 기능을 통해 대규모 지리 공간 데이터 세트를 빠르고 효율적으로 처리할 수 있습니다. 기본 내장 지리 공간 함수를 사용하면 교통 패턴 매핑이나 도로 위험 평가와 같은 공간 작업을 간소화할 수 있습니다. AutoML 은 날씨, 교통, 도로 상황과 같은 요소를 고려하여 공격적인 운전 예측과 같은 사용 사례를 위한 모델 개발을 가속화합니다. 이 플랫폼은 또한 데이터 액세스 및 공유를 안전하게 관리하는 Unity Catalog(UC)를 통해 강력한 거버넌스를 보장합니다. AI Query 및 UC 관리 함수(UC-governed functions) 와 같은 도구를 사용하면 비정형 소스에서 정형 지리 위치 데이터를 쉽게 추출하여 정확성과 생산성을 모두 향상시킬 수 있습니다.

확장 가능한 거버넌스 및 개방형 협업 지원

Databricks는 고성능 compute, 유연한 아키텍처, 기본 내장 공간 함수를 결합하여 강력한 지리 공간 분석을 제공합니다. Photon 기반 실행 및 Serverless는 GPS 추적, 교통 흐름, 환경 데이터와 같은 데이터세트에 대한 대규모 공간 조인, 집계, 포인트-인-폴리곤 query에 이상적인 빠르고 비용 효율적인 처리를 제공합니다.

H3 인덱싱, 공간 함수, 시계열 예측에 대한 네이티브 지원을 통해 팀은 실시간 데이터와 과거 데이터를 모두 사용하여 모빌리티 패턴을 분석하고, 이상 징후를 감지하며, 추세를 예측할 수 있습니다.

확장 가능한 지리 공간 분석에는 강력한 거버넌스가 필요합니다. Unity Catalog (UC) 는 메타데이터와 액세스 제어를 중앙 집중화하여 공간 데이터 세트, 모델, 대시보드를 안전하고 규정을 준수하며 관리할 수 있도록 합니다. UC는 세분화된 액세스, 데이터 리니지, 팀 간의 신뢰할 수 있는 협업을 지원합니다.

UC는 Delta Sharing과도 통합되어 데이터를 복사하지 않고도 OEM, 공급업체, 모빌리티 파트너 간의 안전한 실시간 데이터 협업을 지원합니다. 예를 들어, 자동차 제조업체는 엄격한 거버넌스를 유지하면서 내비게이션 제공업체와 도로 위험 데이터를 공유하여 경로 안내를 향상시킬 수 있습니다. UC와 Delta Sharing은 함께 개방적이면서도 통제된 데이터 교환을 지원하며, 이는 오늘날의 데이터 기반 모빌리티 솔루션에 매우 중요합니다.

스마트 모빌리티 및 도로 안전을 위한 파이프라인

아래에서는 Databricks 데이터 인텔리전스 플랫폼에 구축된 지리 공간 분석 파이프라인을 소개합니다. 이 파이프라인은 텔레매틱스, 교통, 날씨 데이터를 Automated Liquid Clustering, H3 인덱싱, AutoML, AI 기능과 같은 기능과 통합하여 도로 안전과 같은 실시간 사용 사례를 지원합니다. 이는 지리 공간 데이터, LLM, Genie를 결합하여 대화형 인사이트를 제공하는 메달리온 파이프라인을 보여줍니다.

합성 데이터의 중요성

실제 시나리오를 모방하여 인공적으로 생성된 데이터 세트인 합성 텔레매틱스 데이터는 개인 식별 정보(PII)를 노출하지 않고 시스템을 테스트하고 개발할 수 있는 안전하고 효과적인 방법을 제공합니다. 이는 개인정보를 보호하는 분석, 모델 개발, 시스템 검증을 가능하게 하며 동시에 규정 준수를 보장합니다.

텔레매틱스는 민감한 차량 데이터에 접근하지 않고도 현실적인 테스트를 지원하므로 합성 데이터의 주요 사용 사례입니다. 개발자는 SQL 또는 Python을 사용하여 이러한 데이터를 생성할 수 있지만 Databricks Labs Data Generator(dbldatagen) 는 선언적 인터페이스를 통해 Spark에서 대규모의 확장 가능한 데이터세트를 생성하는 프로세스를 단순화합니다.

2부에서는 프로덕션 데이터에 의존하지 않고 모델링, 검증 또는 파이프라인 테스트에 이상적인 GPS 위치, 속도, 가속도, Timestamp, 안전벨트 사용, 와이퍼 상태 등을 포함하는 텔레매틱스 데이터를 dbldatagen 으로 생성하는 방법을 보여드립니다.

영향

Databricks는 지리 공간 분석을 인공 지능 및 실시간 데이터 처리 기능과 함께 활용하여 자동차 산업이 혁신적인 인사이트를 발견하고 이를 통해 유지보수 비용을 절감하며 도로 안전을 개선할 수 있도록 지원합니다. 기업은 Databricks의 확장 가능하고 통합된 아키텍처를 활용하여 고급 분석을 통해 도로 안전을 효과적으로 강화하고, 수요 및 사용 패턴을 정확하게 예측하여 전기차 인프라를 최적화하며, 실시간 모니터링 및 예측 유지보수 기능을 통해 차량 운영 효율성을 개선할 수 있습니다.

경쟁 우위를 확보하려는 조직은 Databricks의 고급 지리 공간 분석 및 인공 지능 기능을 검토해 보는 것을 고려해야 합니다. 이러한 기능을 통해 기업들은 차량 효율성을 최대 30% 개선하고, 인프라 비용을 최대 25% 절감하며, 사고율을 최대 20% 감소시키는 예측 인사이트를 통해 도로 안전 결과를 향상시킬 수 있었습니다.

실제 적용: 다음 단계

이 시리즈의 2부 에서는 확장 가능한 파이프라인, 합성 데이터, 경로 생성, 시계열 예측, LLM 기반 지리 공간 보강 등의 내용을 다루며 Databricks를 사용해 이러한 인사이트를 구현하는 방법을 시연합니다.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)