미리디는 누구나 쉽게 디자인하고 제작할 수 있는 통합 디자인 생태계를 제공하는 기업입니다. 대표 서비스인 미리캔버스는 직관적인 템플릿 기반 UX를 통해 비전문가도 손쉽게 디자인을 완성할 수 있도록 지원하며, 완성된 결과물은 비즈하우스 플랫폼을 통해 명함, 카드, 스티커 등 다양한 인쇄물로 간편하게 주문 제작할 수 있습니다. 이러한 탄탄한 디자인 생태계를 바탕으로 미리캔버스는 빠르게 성장해, 2024년 기준 누적 가입자 1,600만 명, 월간 디자인 다운로드 수 1,300만 건을 돌파하는 성과를 거두었습니다. 그러나 기존의 레거시 아키텍처로는 급증하는 데이터 양을 효율적으로 관리하기 어려웠고, 소수의 데이터 분석 조직에 모 든 요구사항이 집중되는 구조적 한계를 안고 있었습니다. 이에 미리디는 데이터브릭스를 도입해 데이터 아키텍처를 재설계하여, 고도화된 분석 환경과 높은 데이터 접근성을 제공함으로써 전사적인 데이터 리터러시를 향상시켰고, 대부분의 구성원들이 직접 데이터를 조회하고 활용할 수 있는 자율적이고 유연한 데이터 중심 문화를 성공적으로 정착시켰습니다.
대규모 데이터 운영에 비효율적이었던 레거시 아키텍처
미리디는 디자인부터 제작까지 전 과정을 아우르는 통합 플랫폼을 통해 누구나 쉽게 창작하고 실현할 수 있는 환경을 제공합니다. 미리캔버스와 비즈하우스를 비롯해 다양한 디자인 및 인쇄 서비스를 하나의 생태계로 유기적으로 연결함으로써, 더욱 풍부한 디자인 경험을 제공합니다. 특히 미리캔버스는 고객 수 증가와 함께 온라인 행동 데이터 및 서비스 데이터도 빠르게 증가하였는데, 대용량 데이터를 빠르게 수집하고 분석하여 고객 피드백을 제품에 반영할 수 있는 데이터 분석 환경이 매우 필요한 상황이었습니다. 하지만 기존의 복잡하고 일원화되지 않은 데이터 파이프라인, 비효율적인 컴퓨팅 환경으로 인해 데이터 수집 및 운영에 어려움이 많았습니다. 다양한 도구들이 목적별로 파편화돼 있어 흐름 파악과 유지보수가 복잡했으며, 일관되지 않은 구조는 신규 분석가와 비데이터 직군에게 높은 진입 장벽으로 작용하였습니다.
또한 데이터 품질 및 접근 안정성을 위한 거버넌스 체계도 미비해 데이터 신뢰도와 보안 측면에서 한계를 겪었습니다. 기존 테이블 구조는 스키마 변경이 어렵고 유연하지 않아 데이터 누락과 불일치가 빈번했고, 이는 쿼리 오류와 분석 신뢰도 저하로 이어졌습니다. 권한 관리, 데이터 흐름 추적 등 기본적인 품질 관리에도 어려움이 있어, 장애 발생 시 원인 파악이 지연되기도 했습니다. 인프라 측면에서도 확장성에 한계가 있었고, 응답 지연 및 쿼리 실패가 반복되었습니다. 그 결과, 마케팅이나 고객 대응 등 주요 부서에서 데이터를 실질적으로 활용하기 어려웠고, 조직 전반의 자율적인 데이터 활용은 불가능하였습니다.
이에 관해, 이준수 데이터 엔지니어는 “기존 아키텍처는 급격히 성장하는 비즈니스 환경에서 발생하는 데이터 수요를 감당하기 어려웠으며, 대용량 데이터의 수집, 저장, 분석, 거버넌스 전반에서 구조적인 한계를 가지고 있었습니다.”라고 설명했습니다. 이에 미리디는 전면적인 아키텍처 전환의 필요성을 인식하고, 대규모 데이터를 통합된 솔루션으로 관리가 가능한 데이터브릭스 인텔리전스 플랫폼의 도입을 결정하게 되었습니다.
데이터브릭스 도입으로 데이터 아키텍처 전면 재설계
미리디는 데이터브릭스 기반으로 데이터 아키텍처를 전면 재설계하였습니다. 미리디는 AWS Glue 기반의 데이터브릭스 서버리스 환경으로 전환하고, 스파크 코드 최적화를 통해 데이터 변환 및 적재 성능을 개선했습니다. 예시로, 고객 온라인 데이터 관리에도 데이터브릭스 워크플로우와 클러스터를 활용하여 빠르고 최적화된 데이터 파이프라인을 구성할 수 있었기에, 고객 온라인 데이터 수집 및 변환 성능을 크게 개선할 수 있었습니다.
또한, Unity Catalog를 활용해 메타데이터를 중앙에서 일괄 관리하고, 컬럼 마스킹과 권한 관리 정책을 적용해 민감 정보 보호와 권한 기반 접근 제어가 가능해졌습니다. 감사 로그 및 테이블 히스토리를 통해 사용자 활동을 추적할 수 있어 정보 보호 체계의 중요 요건도 충족할 수 있게 되었습니다.
더불어, Unity Catalog 기반의 메달리온 아키텍처 도입으로 데이터 품질을 계층적으로 관리하게 되었고, 불필요한 리소스를 줄이며 신뢰도 높은 분석 데이터를 일관되게 제공할 수 있게 되었습니다. 또한 작업 목적에 따라 클러스터를 분리 운영함으로써 데이터 처리 성능과 안정성은 물론, 비용 효율성까지 크게 개선했습니다.
데이터브릭스 노트북을 활용해 코드, 시각화, 설명이 통합된 형태로 데이터를 분석함으로써 구성원 간 맥락 이해를 돕고 협업 효율성을 높였습니다. 이전에는 분석 코드가 개인 PC나 사내 서버에 분산되어 있어 협업이 어려웠지만, 현재는 실시간 공동 작업과 피드백이 가능한 환경으로 전환되었습니다. Genie AI의 도입으로 데이터 비전문가도 직접 데이터를 조회하고 인사이트를 도출할 수 있게 되면서, 다양한 부서에서 빠르고 자율적인 데이터 기반 의사결정이 가능해졌습니다. 이에 대해 이준수 데이터 엔지니어는, “데이터브릭스를 단순한 기술 도입이 아닌, 조직 전체의 데이터 활용 문화를 전환하는 핵심 축으로 삼았습니다.”라고 설명하였습니다.
전사적 데이터 리터러시 및 데이터 활용도 대폭 향상
미리디는 데이터브릭스를 활용하여 데이터 파이프라인을 최적화하였고, 그 결과, 기존 4시간 이상 소요되던 고객 행동 데 이터 수집 및 변환 작업은 1시간 이내로 단축되어, 데이터 수집 성능이 75% 이상 향상되었습니다. 이에 따라, 고객 행동 데이터를 기반으로 한 의사결정 시점도 오후에서 오전으로 앞당겨졌고, 전략 실행 속도 크게 개선되었습니다.
데이터브릭스 도입 이후, 미리디의 대부분 구성원들의 데이터 리터러시가 향상되어, 전사적으로 데이터 중심의 유연하고 자율적인 업무 문화가 정착되었습니다. 기존에는 데이터 분석가나 데이터 엔지니어에게 요청이 몰렸던 반면, 지금은 디자이너, 프로젝트 매니저, 마케터 등 다양한 직군의 구성원들이 데이터브릭스의 노트북과 Genie AI를 활용하여 쿼리, 코드, 시각화 등 작업을 능동적으로 할 수 있게 되었습니다. 비데이터 전문가들도 직접 대시보드를 생성하고, 워크플로우를 사용하여 배치화 작업도 할 수 있게 되었습니다. 그 결과, 약 5개월만에 미리디의 전체 구성원의 70% 이상(약 280명)이 데이터브릭스를 업무에 활용하고 있으며, 200여개의 대시보드와 180여개의 워크플로우가 운영되고 있습니다.
또한, 실시간 리소스 사용 현황이 전사적으로 공유됨에 따라 비용 효율성에 대한 인식도 함께 향상되었습니다.
“모든 구성원이 데이터를 직접 활용할 수 있는 환경을 통해 데이터 엔지니어의 업무 부담을 줄였을 뿐만 아니라, 협업의 속도와 정확도를 높이고, 유연하고 자율적인 데이터 중심 문화를 조직 전반에 성공적으로 안착 시킬 수 있었습니다.”라고 고재승 데이터 플랫폼 팀 리드가 설명하였습니다.
이러한 전사적인 변화가 가능했던 것은 단순히 새로운 데이터 도구를 도입한 것이 아니라, 데이터브릭스를 중심으로 아키텍처를 재설계하고 모든 구성원이 쉽게 접근할 수 있도록 데이터 환경을 개선한 결과였습니다. 기술팀의 개입 없이도 업무 자동화가 가능해졌기에, 데이터 엔지니어의 부담은 줄고, 팀별로 빠르게 데이터를 분석해 의사결정에 활용할 수 있는 유연성과 용이성을 강화하였습니다.
향후 미리디는 데이터브릭스를 활용한 데이터 환경 고도화를 지속하는 한편, 자사 AI 서비스 운영의 핵심 도구로도 활용 범위를 확대할 예정입니다. 검색 도구에서 활용되는 딥러닝 모델의 오프라인 학습 및 온라인 추론 성능 트래킹을 위해 MLflow를 적극 활용하여 체계적인 MLOps 환경을 구축할 계획이며, AI Agent의 트래킹, Prompt 거버넌스, AI Playground, LLM 평가를 포함한 LLMOps 체계 역시 데이터브릭스 MLflow 기반으로 정비해 나갈 예정입니다. 미리디는 데이터브릭스와의 지속적인 협업을 통해 데이터 기반 혁신을 가속화하고, AI 환경의 고도화를 함께 추진해 나갈 계획입니다.