빠르게 진화하는 이커머스 데이터 관리를 위한 통합 플랫폼
기존 하둡 맵리듀스 코드 대비 4배 성능 향상
기존 하둡 코드 대비 1/4의 자원 사용

빠르게 변화하는 이커머스 환경과 데이터 요구 사항
전 세계 이커머스 플랫폼들은 빠른 속도로 변화하고 있는 이커머스 환경과 급증하는 디지털 쇼핑 수요에 발맞추어 빅데이터와 인공지능 기술을 활용한 데이터 솔루션을 모색하고 있습니다. 이러한 흐름에 따라 국내외 다양한 시장에서 수백 만 명의 고객을 보유하고 있는 Gmarket은 이커머스 분야의 선두주자로서 고객 만족도를 높이기 위해 데이터 분석에 기반 된 최적화된 상품 추천, 개인화된 서비스, 편리한 구매 경로 등을 제공하는 데에 진력하고 있습니다. Gmarket은 ‘상상하는 모든 거래’를 실현하기 위해 오픈마켓에서 생성되는 대용량 데이터를 신속하고 정확하게 분석하려는 것을 미션으로 삼아 성장의 발판을 마련하고자 했습니다. 하지만 시간이 지날수록 더욱 방대해지고 있는 데이터 요구 사항을 충족하기에는 레거시 시스템이었던 하둡 온프레미스 시스템은 여러 측면에서 부족함이 제기되었습니다. 이에 Gmarket은 차세대 빅데이터 플랫폼의 필요성을 인식하고 데이터브릭스를 도입하여 대용량 데이터 관리 문제를 해결하고 통합 레이크하우스(Lakehouse) 플랫폼을 통해 효율성의 증가와 함께 비용 절감의 효과를 경험할 수 있었습니다.
유연하고 안전하며 효율적인 시스템을 모색
Gmarket은 국내 시장에서 가장 큰 이커머스 플랫폼을 운영하고 있어 국내외 소비자 시장을 아우르며 다양한 카테고리의 온라인 거래를 지원하고 있습니다. 이커머스 분야의 오픈마켓 강자로서 셀러와 바이어의 연결 구축에 초점을 두고, 데이터 기반 기술을 핵심적으로 활용하여 셀러에게는 최상의 비즈니스 환경을 제공하고, 바이어에게는 차별화된 고객 경험을 제공하고 있습니다.
하지만 기존의 하둡 온프레미스 시스템으로 빠르게 변화하는 이커머스 비즈니스 환경과 빅데이터 요구 사항을 충족하기에는 여러 어려움이 있었습니다. 하둡 시스템 사용은 점차 레거시화 되어서 새로운 기술의 도입에 적절히 대응할 수 없는 상황이 초래되었고, 이로 인해 전체 생산성에서 기술 부채의 비중이 점차 증가했습니다. Gmarket 플랫폼 기술팀의 서대홍 매니저는 이를 빗대어 데이터브릭스를 도입하기 전에 "기술 부채가 부채를 낳는 상황이 도래했다.” 라고 말했습니다.
데이터브릭스를 사용하기 전에는 대용량 데이터 관리 문제가 Gmarket 기술 팀의 가장 큰 과제였습니다. 레거시 시스템에서는 계속 증가하는 대용량 데이터 분석 및 저장 요구를 충족하기 위해 장비의 추가와 인프라의 구축에 많은 시간과 비용이 요구되었습니다. 또 하둡 에코 시스템은 여러 개의 전용 솔루션으로 구성되어 있어 데이터 파이프라인의 작성에 상당한 학습 곡선이 요구되었기 때문에 신입 직원이나 직원 교체 시에도 기존의 여러 가지 솔루션을 조합하여 파이프라인을 구축하는 작업은 많은 시간과 리소스 소비가 소요되었습니다. 이에 따른 시스템의 복잡성과 유지 보수 비용도 증가했습니다. 이는 결국 이커머스 비즈니스 성공의 핵심 요소인 시장 진입 시간을 축소하는 데에 제약 요인으로 작용했습니다.
서대홍 매니저는 “하둡보다 유연하고 안전하며 효율적인 솔루션이 필요하다."