데이터 과학 워크플로우에서의 확장 가능한 지리 공간 분석
작성자: 켄트 마튼 , Arif Masrur
This is a collaborative post from Esri and Databricks. We thank Senior Solution Engineer Arif Masrur, Ph.D. at Esri for his contributions.
빅데이터의 발전은 모든 산업 분야의 조직이 중요한 과학적, 사회적, 비즈니스 문제를 해결할 수 있도록 지원했습니다. 빅데이터 인프라 개발은 데이터 분석가, 엔지니어, 과학자가 빅데이터를 다루는 핵심 과제인 볼륨, 속도, 정확성, 가치, 다양성을 해결하는 데 도움을 줍니다. 하지만 방대한 지리공간 데이터를 처리하고 분석하는 것은 그 자체로 어려움이 있습니다. 매일 수백 엑사바이트의 위치 기반 데이터가 생성됩니다. 이러한 데이터 세트에는 실제 개체 간의 광범위한 연결과 복잡한 관계가 포함되어 있어, 공간 및 시공간 조인과 같은 최적화된 연산을 통해 이러한 다면적인 관계를 효과적으로 연결할 수 있는 고급 도구가 필요합니다. 효율적인 규모의 분석을 위해 수집, 검증 및 표준화해야 하는 수많은 지리공간 형식은 복잡성을 더합니다.
지리 데이터를 다루는 데 따르는 어려움 중 일부는 Databricks에서 최근 발표된 내장 H3 표현식 지원으로 해결됩니다. 하지만 지오메트리보다는 그리드 인덱스에 더 중점을 두거나 더 복잡한 여러 지리공간 사용 사례가 있습니다. 사용자는 Databricks 플랫폼에서 다양한 도구와 라이브러리를 활용하면서 수많은 Lakehouse 기능을 이용할 수 있습니다.
세계 최고의 GIS 소프트웨어 공급업체인 Esri는 앞서 언급한 지오분석 과제를 해결하기 위해 ArcGIS Enterprise, ArcGIS Pro, ArcGIS Online을 포함한 포괄적인 도구 세트를 제공합니다. Databricks를 사용하는 조직 및 데이터 실무자는 ArcGIS 환경 외부에서 일상 업무를 수행하는 도구에 액세스해야 합니다. 그렇기 때문에 ArcGIS GeoAnalytics Engine(이하 GA Engine)의 첫 릴리스를 발표하게 되어 기쁩니다. 이 엔진을 통해 데이터 과학자, 엔지니어 및 분석가는 기존 빅데이터 분석 환경 내에서 지리공간 데이터를 분석할 수 있습니다. 특히 이 엔진은 Apache Spark™의 플러그인으로, 매우 빠른 공간 처리 및 분석 기능을 데이터 프레임에 확장하여 Databricks에서 실행 할 준비가 되어 있습니다.
Esri의 GA Engine을 사용하면 데이터 과학자가 Databricks 환경 내에서 지오분석 함수 및 도구에 액세스할 수 있습니다. GA Engine의 주요 기능은 다음과 같습니다.
SQL 함수 및 분석 도구
현재 GA Engine은 120개 이상의 SQL 함수와 15개 이상의 공간 분석 도구를 제공하여 고급 공간 및 시공간 분석을 지원합니다. 본질적으로 GA Engine 함수는 DataFrame 열에 대한 공간 쿼리를 활성화하여 Spark SQL API를 확장합니다. 이러한 함수는 Python 함수와 함께 또는 PySpark SQL 쿼리 문에서 호출할 수 있으며, 지오메트리 생성, 지오메트리 연산, 공간 관계 평가, 지오메트리 요약 등을 가능하게 합니다. 한두 개의 열을 사용하여 행별로 작동하는 SQL 함수와 달리, GA Engine 도구는 DataFrame의 모든 열을 인식하고 필요한 경우 결과를 계산하기 위해 모든 행을 사용합니다. 이러한 광범위한 분석 도구를 통해 전체 데이터 세트를 관리, 강화, 요약 또는 분석할 수 있습니다.
|
|
GA Engine은 강력한 분석 도구입니다. 하지만 GA Engine이 일반적인 GIS 형식을 얼마나 쉽게 다룰 수 있게 하는지도 간과할 수 없습니다. GA Engine 설명서에는 Shapefile 및 피처 서비스로의 읽기 및 쓰기에 대한 여러 튜토리얼이 포함되어 있습니다. GIS 형식을 사용하여 지리공간 데이터를 처리할 수 있는 기능은 Databricks와 Esri 제품 간의 뛰어난 상호 운용성을 제공합니다.

다양한 산업 분야의 몇 가지 사용 시나리오를 살펴보며 ESRI의 GA Engine이 대량의 공간 데이터를 어떻게 처리하는지 알아보겠습니다. 확장 가능한 공간 및 시공간 분석 지원은 모든 회사가 중요한 결정을 내리는 데 도움을 주기 위한 것입니다. 이동성, 소비자 거래, 공공 서비스라는 세 가지 다양한 데이터 분석 영역에서 지리적 통찰력을 밝히는 데 집중할 것입니다.
이동성 데이터는 끊임없이 증가하고 있으며 인간 이동과 차량 이동의 두 가지 범주로 나눌 수 있습니다. 휴대폰 서비스 영역에서 수집된 스마트폰 사용자로부터의 인간 이동 데이터는 인간 활동 패턴에 대한 더 깊은 통찰력을 제공합니다. 수백만 대의 연결된 차량의 이동 데이터는 방향별 교통량, 교통 흐름, 평균 속도, 혼잡 등에 대한 풍부한 실시간 정보를 제공합니다. 이러한 데이터 세트는 일반적으로 대규모(수십억 개의 레코드)이고 복잡합니다(수백 개의 속성). 이러한 데이터는 기본 공간 분석을 넘어서는 공간 및 시공간 분석을 필요로 하며, 고급 통계 도구 및 전문 지오분석 함수에 즉시 액세스할 수 있어야 합니다.
Esri 파트너 Ookla®의 Cell Analytics™ 데이터를 기반으로 인간 이동을 분석하는 예시부터 시작하겠습니다. Ookla®는 Speedtest® 애플리케이션을 기반으로 전 세계 무선 서비스 성능, 커버리지 및 신호 측정에 대한 빅데이터를 수집합니다. 이 데이터에는 소스 장치, 모바일 네트워크 연결, 위치 및 타임스탬프에 대한 정보가 포함됩니다. 이 경우 약 160억 개의 레코드를 포함하는 데이터 하위 집합을 사용했습니다. Apache Spark(™)에서 병렬 처리에 최적화되지 않은 도구를 사용하면 이 고용량 데이터를 읽고 시공간 연산에 사용할 수 있도록 하는 데 몇 시간의 처리 시간이 소요될 수 있습니다. GeoAnalytics Engine을 사용하면 단 한 줄의 코드로 이 데이터를 몇 초 안에 parquet 파일에서 가져올 수 있습니다.
실행 가능한 통찰력을 도출하기 위해 간단한 질문으로 데이터에 대해 자세히 알아보겠습니다. 미국 본토 전역의 모바일 장치 공간 패턴은 어떻습니까? 이를 통해 인간의 존재와 활동을 특성화하기 시작할 수 있습니다. FindHotSpots 도구를 사용하여 높은 값(핫스팟)과 낮은 값(콜드스팟)의 통계적으로 유의미한 공간 클러스터를 식별할 수 있습니다.

결과로 나온 핫스팟 데이터프레임을 Matplotlib을 사용하여 시각화하고 스타일을 지정했습니다(그림 2). 미국 본토에서 연결된 기기 밀도가 낮은 지역(파란색)에 비해 기기 연결 기록(빨간색)이 많은 기록을 보여주었습니다. 예상대로 주요 도시 지역에서 연결된 기기 밀도가 더 높았습니다.

다음으로, 모바일 네트워크 신호 강도가 미국 전역에서 균일한 패턴을 따르는지 질문했습니다. 이를 답하기 위해 AggregatePoints 도구를 사용하여 기기 연결 기록을 육각형 빈으로 요약하여 특히 강력하거나 약한 셀룰러 서비스 영역을 식별했습니다(그림 3). 모바일 네트워크 신호 강도를 측정하는 데 사용되는 값인 rsrp(참조 신호 수신 전력)를 사용하여 15km 빈에 대한 평균 통계를 계산했습니다. 이 분석은 셀룰러 서비스 신호 강도가 일관되지 않으며, 대신 주요 도로망과 도시 지역을 따라 더 강한 경향이 있음을 보여주었습니다.
st_plotting을 사용하여 결과를 플로팅하는 것 외에도 arcgis 모듈을 사용하고 결과 데이터프레임을 ArcGIS Online에 피처 레이어로 게시했으며, 지도 기반의 대화형 시각화를 만들었습니다.
