효과적인 데이터 관리로 테크 기업으로의 진화
이마트24, 데이터브릭스와 함께 이끄는 편의점 업계의 빅데이터 혁신
기존 27시간에서 1시간으로 분석 프레임 실행 시간 96% 단축
기존 93만원에서 7만원으로 총 분석 자원 비용 93% 감소
편의점 업계의 디지털 혁신이 하루가 다르게 빠른 속도로 진행되고 있는 가운데 업계 선두 업체들은 현재 무인 매장, 생성형 인공지능(AI) 등의 다양한 기술적 도전에 직면하고 있습니다. 스마트 기술을 접목할 때는 무엇보다 데이터관리에 기반을 두어야 하므로 데이터의 체계적 수집과 분석은 이제 필수적 요건이 되었습니다. 이마트24는 국내 유통 역사를 이끌어 온 신세계 그룹이 시작한 편의점 사업으로 ‘고객’과 ‘유통’이라는 본질에서부터 시작해 현재 6,500개의 점포를 보유한 굴지의 기업입니다. 2022년에는 매출액 2조 1,000억 원을 기록하는 등 업계에서 최단기간 내에 성장하는 새로운 역사를 쓰고 있습니다. 이마트24는 국내 편의점 업계에서 기술 혁신을 선도하고 있는 기업으로서 입지를 다지고 있으며 이를 공고히 하기 위해 끊임없는 도전과 창조적 작업을 이어 나가며 빠르게 성장하고 있습니다. 이러한 성장을 뒷받침하는 이마트24의 강점은 효율적인 데이터 관리를 통해 빠르게 변화하는 시장의 상황을 인식하고 고객 트렌드에 정확하게 대응하는 데에서 나옵니다. 이마트24는 많은 점포 운영, 다양한 상품 및 행사, 하루 평균 100만 명 이상 고객의 방문 및 결제에서 생산되는 엄청난 양의 데이터를 데이터브릭스 플랫폼 사용으로 성공적으로 관리하고 있습니다.
이마트24, 일반적인 유통업체가 아닌 테크놀로지 기업으로의 진화
이마트24는 기존의 전통적인 유통업체가 아닌 시대를 앞서가는 테크놀로지 기업으로 진화하는 데에 집중하고 있습니다. 2023년을 디지털 혁신의 원년으로 지정하여 고객에게는 새로운 쇼핑 경험을 제공하고, 경영주에게는 효율적인 점포 운영을 지원하기 위한 다양한 디지털 기술의 도입 및 운영에 매진하는 중입니다. 국내 최초로 상용화된 아마존 스타일의 스마트 코엑스 AI 점포와 무인 점포로 운영할 수 있는 스마트 점포 시스템과 같은 혁신적인 기술을 선보이면서 유통업계의 디지털 혁신을 주도하고 있습니다. 2021년 11월에 구성된 이마트24의 빅데이터 및 인공지능(AI) 팀은 다양한 프로젝트를 성공적으로 추진하고 디지털 혁신에 힘쓰고 있으며, 셀프서비스 BI(Self-Service BI) 시스템을 구축하여 현업 업무 담당자가 필요한 데이터를 직접 분석하고 시각화할 수 있도록 지원합니다. 또한, 이마트24는 경영주들을 위한 인공지능(AI) 상품 추천 서비스, 점포 인공지능(AI) 발주 서비스, 그리고 물류센터 AI 센터 수요량 예측과 같은 다양한 빅데이터 및 인공지능 프로젝트를 진행하며 유통 업계의 패러다임 변화에 앞장서고 있습니다.
다양한 빅데이터 및 AI 챌린지를 해결할 효과적인 통합 솔루션, 데이터브릭스
이마트24는 다양한 빅데이터 및 인공지능(AI) 프로젝트를 실현하려는 목적으로 여러 문제점을 극복하기 위해 노력했습니다. 신설된 팀이 빠른 시일 내에 현업을 지원하기 위해서는 신속한 빅데이터 분석과 인프라 구축이 필요했습니다. 영업 시스템, 판매시점관리(POS) 시스템, 고객 애플리케이션(APP) 등 여러 시스템에 흩어져 있는 데이터의 통합적 관리가 요구되었으며, 전국 6,500개 이상의 점포와 13개 대형 물류센터에서 매일 발생하는 트랜잭션과 운영 데이터를 효율적인 관리가 요구되었습니다. 데이터브릭스를 도입하기 이전에 사용했던 데이터 플랫폼은 이와 같은 대량의 데이터를 다루기에는 적절하지 않았고, 사전에 분석이 필요한 데이터를 큐브 형태로 사용하고 있는 실정이었습니다. 또 점점 더 다양해지고 있는 데이터 조직 구성원들의 페르소나에 적합한 분석 환경의 제공 역시 중요했습니다.
이마트24는 이러한 다양한 어려움을 효과적으로 해결할 수 있는 플랫폼을 찾으려는 목적으로 갖가지 평가 지표를 통해 여러 데이터 플랫폼에 대한 검토를 진행한 결과 최종적으로 데이터브릭스를 선정했습니다. IT 시스템 및 디지털 총괄인 이재경 최고정보관리책임자(CIO)는 “매일 엄청나게 쏟아지고 있는 데이터를 효율적으로 관리할 필요가 있고, 여러 전문가의 협업을 최적화할 수 있는 환경을 제공하기 위해 최종적으로 데이터브릭스를 선택하게 되었다.”라고 설명했습니다.
데이터브릭스 활용의 성공 사례: AI 상품 추천 서비스
이마트24의 인공지능(AI) 상품 추천 서비스는 기존의 전자상거래(E-Commerce) 추천 시스템에서 사용하는 협업 필터링 알고리즘을 응용한 것입니다. 이 서비스는 일반적인 사용자에게 상품을 추 천하는 시스템과는 달리 해당 점포에 적합한 상품을 추천하는 시스템입니다. 데이터브릭스를 도입하기 이전에 기존의 데이터 관리 시스템에서는 60억 건 이상의 거래 데이터와 8만 개 이상의 상품 데이터와 같은 대용량 거래 데이터를 분석하여 상품을 추천하는 데 많은 시간과 높은 자원 비용이 요구되었습니다. 기존의 분석 환경에서는 한 번의 분석 프레임을 실행하는 데 27시간이 소요되었으며 자원 비용은 93만 원이 요구되었기 때문에 이를 매일 점포 경영진에게 제공하는 것은 사실상 불가능한 상황이었습니다.
그러나 데이터브릭스 통합 솔루션의 여러 기능을 효율적으로 활용하여 획기적인 성과를 도출했습니다. 데이터브릭스의 데이터 분산 처리 기능과 알고리즘 최적화 자원을 사용하여 데이터 압축, 스키핑, 파티션 프루닝 및 캐싱을 효율적으로 진행할 수 있게 되었습니다. 그리고 컴퓨팅 자원 최적화 자원을 사용하여 강력한 배치 스케줄 관리 및 작업별로 최적화된 클러스터의 할당, 작업 모니터링을 통한 워커 노드 파티션의 최적화, 다양한 클러스터 옵션 및 오토 스케일링을 할 수 있었습니다. 이에 따라 분석 시간은 27시간이 걸리던 것에서 한 시간으로 획기적으로 단축할 수 있었고, 총 분석 자원 비용 또한 93만 원에서 7만 원으로 대폭 감소하였습니다. 종합하면 분석 시간을 96% 단축하고 비용도 93% 절약하는 드라마틱한 성과를 거둔 것입니다.
협업 중심의 다양한 빅데이터 및 AI 인프라 구현
이마트24 빅데이터 및 인공지능(AI) 전략의 주요 강점은 데이터 수집, 인프라 구축, 인공지능(AI) 모델 개발, 서비스화 및 구현과 같은 모든 프로젝트의 과정을 철저하게 과제 중심으로 진행한 것을 들 수 있습니다. 현업 담당자들이 데이터 전문가들과 함께 협력하여 과제를 선정하고, 실제 업무에 필요한 데이터를 중심으로 수집하며, 프로젝트 검증 역시 현업과 데이터 전문가들이 협력하여 진행했습니다. 또 자연스러운 협업 과정을 지원하기 위해 회사 내의 데이터 문화를 구축하는 노력도 더불어 실천했습니다. 또한, 이마트24의 관계사인 신세계아이앤씨(신세계I&C)와 데이터브릭스의 델타 쉐어링(Delta Sharing) 기능을 통해 데이터의 공유 및 공동 분석 작업을 진행하고 있음을 밝혔습니다. 데이터브릭스의 인프라와 플랫폼은 다양한 모델을 신속하게 설립하고 실행하며 검증하고 업그레이드하는 협업 작업을 지원하는 데 크게 기여했습니다.
데이터브릭스와 함께 미래 빅데이터 및 AI 과제의 성공을 향해
앞으로 이마트24는 업계 선두 기업의 입지를 강화하고 기업 경쟁력을 높이기 위해 데이터브릭스를 통한 분석을 더욱 활발하게 사용할 것입니다. 회사의 전반적인 밸류체인(value chain) 상에서 빅데이터를 활용한 인공지능(AI) 서비스가 중요한 역할을 담당하는 만큼, 상품 기획, 물류 관리, 마케팅, 점포 개발에도 다양한 디지털 혁신을 추진할 예정임을 밝혔습니다. 이마트24의 이재경 최고정보관리책임자는 “미래 과제 성공의 가장 중요한 요소는 빅데이터를 다루는 데이터 플랫폼인 데이터브릭스가 될 것이다.”라고 하며 이마트24와 데이터브릭스의 협업 중요성을 강조했습니다.
