국내외 여행, 여가 및 문화를 아우르는 종합 플랫폼 기업인 NOL UNIVERSE는 ‘누구나 마음 편히 놀 수 있게’라는 비전 아래 고객에게 다양한 일상의 즐거움을 선사하고 있는 기업입니다. NOL, NOL 인터파크 투어, NOL 티켓, 트리플 브랜드를 중심으로 항공, 숙소, 교통에서 공연, 투어, 전시까지 폭넓은 콘텐츠를 제공하고 있습니다. NOL 티켓은 국내 최대 공연 예약 플랫폼으로서 압도적인 시장 점유율을 유지하고 있으며, 국내 1위 숙박 예약 플랫폼 야놀자로 시작한 NOL은 현재까지도 국내 시장을 선도하고 있습니다. NOL UNIVERSE는 다양한 서비스 카테고리와 고도화된 기술을 바탕으로 압도적인 비즈니스 경쟁력을 보유하고 있기에, 당사에게 여러 브랜드를 관통하는 도메인의 효율적인 데이터 관리는 필수적이었습니다. 하지만 기존의 데이터 시스템은 여러 솔루션들이 분산되어 있어 점점 증가하는 데이터양에 적합한 운영 체계를 제공하지 못하였기에, 당사는 통합 데이터 솔루션인 데이터브릭스 플랫폼을 도입하였습니다. 데이터브릭스의 다양한 기능을 통해 데이터 관리 효율성을 극대화하였고, 전사 구성원이 자율적으로 데이터를 활용할 수 있게 되어 비즈니스 민첩성 또한 향상하였습니다.
통합 데이터 관리에 비효율적이었던 기존의 데이터 시스템
여행 및 여가 산업 특성상 실시간으로 변화하는 실제 상황에 신속히 대응하고, 연관된 고객에게 정확한 안내를 제공하는 것은 매우 중요합니다. 특히, 다양한 이벤트가 비즈니스에 미치는 영향을 분석하고, 이에 따른 전략을 수립하는 과정이 데이터 기반으로 이루어지기 때문에, NOL UNIVERSE에게 효율적인 데이터 관리는 핵심 역량으로 작용하고 있습니다. 하지만, 기존 데이터 환경은 다양한 시스템이 개별적으로 존재하여 확장성 및 관리 효율성 면에서 큰 한계를 지니고 있었습니다.
기존 시스템은 MySQL, SQL Server 등 여러 데이터베이스와 함께, Amazon EMR 기반의 Hive 및 Spark 분산 처리 엔진을 활용하여 데이터를 수집, 정제 및 분석하는 구조로 운영되었습니다. 워크플로우 스케줄링과 데이터 파이프라인 관리를 위해서는 Apache Airflow와 Apache NiFi를 병행해 활용했으며, 처리된 데이터는 Amazon S3에 저장되었습니다. 데이터 분석 및 시각화는 Redash, Tableau 등 여러 BI 툴을 사용하였습니다.
그러나 서비스 운영 기간이 길어지면서 누적되는 데이터의 양이 크게 증가하였고, 이에 따라 배치 처리 시간도 증가하였습니다. 또한, 데이터 처리 엔진과 스케줄링 시스템이 분리되어 있어, 배치 장애 발생 시 원인 추적과 대응이 지연되는 구조는 운영에 비효율적이었습니다. 서비스별로 상이한 클라우드 계정과 권한 체계도 통합 관리에 어려움을 더했고, Amazon S3 내 파티션이 증가함에 따라 메타스토어 관리 부담도 심화되었습니다. 이에 대해 NOL UNIVERSE의 데이터 엔지니어들은, “분산된 툴과 심화되는 데이터 조회 속도 및 안정성 문제는 데이터 사용자들에게 큰 불편을 초래했습니다. ”라고 당시 상황을 회고했습니다.
더불어, 조직 간 합병과 서비스 확장이 이루어지면서 다양한 시스템에서 생성되는 데이터를 하나의 계정 체계와 플랫폼 내에서 분석할 수 있는 필요성이 더욱 대두되었습니다. 또한, 기존에는 데이터 팀이 모든 데이터 프로덕트를 전담해 업무 과중 시 병목 현상이 발생했기에, 이를 해소하기 위해 각 도메인이 주체적으로 데이터를 운영할 수 있는 셀프 서비스형 배치 파이프라인 구조가 필요하였습니다. 이러한 기존 환경의 한계를 해소하고 확장성, 통합 관리, 사용자 자율성, 운영 및 비용 효율성 측면을 종합적으로 고려한 결과, 이에 가장 적합한 솔루션인 데이터브릭스 인텔리전스 플랫폼 도입을 결정하였습니다.
자율적인 데이터 활용을 장려하는 통합된 데이터 시스템
NOL UNIVERSE는 데이터브릭스를 활용하여 통합된 데이터 환경을 구축하였습니다. 기존 Hive 기반의 약 2,500개 쿼리를 데이터브릭스 환경으로 변환함으로써 기존 데이터 레이크하우스를 전면적으로 이관하였고, 기존의 Apache Airflow 및 Apache NiFi 기 반의 데이터 파이프라인도 전면 이관하였습니다. 분산되어 있던 BI 솔루션들도 하나의 플랫폼 내로 통합하여 일관된 분석 환경을 구축할 수 있었습니다. 이를 통해 데이터 처리부터 분석, 워크플로우 운영에 이르기까지 전 과정을 단일 플랫폼에서 통합적으로 관리하게 되었습니다.
방대한 데이터가 일관되게 중앙에서 관리되었을 뿐만 아니라, 항공, 호텔, 티켓, T&A, 패키지 등 각 도메인에서는 자율적으로 데이터를 활용할 수 있는 거버넌스와 셀프서비스 분석 환경이 제공되었습니다. 데이터 사용자들은 직접 데이터를 서빙하고 분석하며, 대시보드를 구축하는 등 데이터 프로덕트를 자율적으로 개발 및 운영할 수 있게 되었습니다. 최근에는 CS팀이 데이터브릭스의 머신러닝 기능을 활용하여 CS 상담 내역의 카테고리 분류 시스템을 자동화하여 작업 효율성을 크게 높인 사례가 있었습니다. 조직 합병 후에는 Delta Sharing 기능을 활용하여 단 하루 만에 각 도메인의 데이터를 통합할 수 있게 되었습니다. 대시보드, 쿼리, 노트북 등 각 정책에 의해 할당된 컴퓨팅 자원을 설정하여 경합 없이 데이터를 조회할 수 있는 환경이 제공되었습니다.
더불어, 데이터브릭스의 고성능 기능을 기반으로 쿼리 성능을 최적화하여 배치 시간이 대폭 단축되었고, 이로 인해 전반적인 데이터 생산성도 크게 향상되었습니다. 통합된 보안과 거버넌스 체계도 함께 구축되었습니다. 사내 SSO 시스템과의 연동을 통해 사용자 인증을 일원화하였으며, Unity Catalog를 기반으로 일관된 권한 관리 및 메타데이터 관리 체계를 확립하여 데이터 거버넌스를 효율적으로 운영할 수 있게 되었습니다.
아울러, 워크로드 변화에 따라 클러스터를 자동으로 확장 및 축소되는 기능을 활용하여 리소스 활용의 효율성을 극대화하였습니다. DBU 기반의 비용 가시화를 통해 사용자 및 조직 단위의 데이터 비용을 추적할 수 있게 되어, 비용 효율성도 크게 향상되었습니다. 보안 요구사항과 내부 운영 정책을 반영한 유연한 인프라 아키텍처를 구축함으로써, 정밀한 거버넌스 체계를 유지하면서도 필요에 따라 리소스를 유연하게 확장할 수 있는 환경이 마련되었습니다. 이에 대해 NOL UNIVERSE의 데이터 엔지니어들은 “이는 보안성과 확장성 간의 균형을 확보하면서도, 데이터 팀과 클라우드 팀의 전문성을 살려 인프라를 신속하고 안정적으로 구축할 수 있는 기반을 마련하였습니다.”라고 설명했습니다.
단 2개월 만에 새로운 통합 데이터 환경으로 전환
NOL UNIVERSE는 단 2개월 만에 새로운 통합 데이터 환경 구축을 성공적으로 완료하였습니다. 2024년 8월, 전체 운영 테이블을 대상으로 PoC(Proof of Concept)를 진행한 후, 이를 바탕으로 9월부터 11월까지 약 두 달간 전환 및 검증 작업이 집중적으로 이루어졌습니다. 그 결과, 빠른 기간 안에 통합된 데이터 운영 환경이 안정적으로 도입되었습니다. 이러한 빠른 전환을 가능하게 했던 핵심 전략 중 하나는 사내 클라우드 팀과 협업하여 리소스 배포 자동화를 실현한 것이었습니다. 이를 통해 운영 환경을 신속하게 구축할 수 있었으며, 조직 합병이나 개편 등 변화하는 구조에도 유연하게 대응할 수 있는 기반을 마련할 수 있었습니다. 또한, 데이터 검증 작업을 템플릿화하고 작업자 간 기준을 표준화함으로써 데이터 정합성도 확보하였습니다.
데이터 처리 환경 측면에서도 데이터브릭스 도입은 긍정적인 성과를 가져왔습니다. 특히, 하루치 EMR 컴퓨팅 리소스 사용량을 기준으로 하였을 때, 배치 처리 소요 시간이 기존 최대 소요 시간 대비 약 84% 감소하였으며, 이에 따라 비용 또한 기존 최대 비용 대비 약 48% 절감되는 효과를 거두었습니다. CS팀이 카테고리 분류 시스템을 자동화한 사례에서는, 기존 하루 이상 소요되는 작업을 2시간 내로 완료할 수 있게 되었습니다. NOL UNIVERSE의 데이터 엔지니어들은, “NOL UNIVERSE는 짧은 시간 내에 기술적 복잡성과 운영 리스크를 최소화하면서도 고도화된 통합 데이터 환경을 성공적으로 구현하였고, 이는 데이터 기반 의사결정과 서비스 운영 전반의 효율성을 더욱 향상시키는 기반이 되었습니다.”라고 설명했습니다.
향후에도 NOL UNIVERSE는 데이터브릭스의 다양한 기능을 활용하여 데이터 환경과 비용 효율성을 지속적으로 고도화할 계획입니다. 레이크플로우 커넥터를 통해 GA4 데이터를 실시간으로 수집하여, 사용자에게 더욱 신속하게 데이터를 제공하고, 기존 테이블을 Delta Managed Table로 전환하여 운영 시간과 비용 측면에서 평균 20% 이상의 절감 효과를 기대하고 있습니다. 아울러, 도메인 주체 중심의 데이터 운영 체계를 실현하기 위해 셀프 서비스 파이프라인 구조를 도입하고, 데이터 메쉬 아키텍처 구현을 통해 데이터 생산성과 유연성을 한층 강화할 예정입니다. 이처럼 NOL UNIVERSE는 앞으로도 데이터브릭스와의 지속적인 협업을 통해 데이터 환경을 한층 더 고도화하고, 창의적인 기술 혁신을 함께 만들어가기를 기대하고 있습니다.