데이터, 인공지능, 머신러닝 활용으로 애드테크 기술 발전

메조미디어의 디지털 트랜스포메이션: 온프레미스에서 클라우드까지

메조미디어는 데이터 기반 기술을 활용하여 기존의 틀에서 벗어나 새로운 가치를 창출하고 혁신을 이루는 것을 최우선으로 하고 있습니다. 데이터, 인공지능, 머신러닝을 활용하여 통합적인 데이터 파이프라인을 관리하고, 전 직원의 데이터 리터러시 역량 향상을 목표로 하고 있습니다. 더불어 데이터 처리와 분석에 소요되는 시간과 비용을 최소화하고, 변화하는 시장에 적응하기 위해 데이터의 패턴과 트렌드를 식별하고 예측하는 모델을 개발하고자 합니다.

하지만 이러한 비즈니스 모델을 실현하는 데 있어 기존의 온프레미스 하둡 시스템은 여러 자원적인 한계와 제한을 지니고 있었습니다. 복잡한 인프라와 높은 관리 비용으로 다양한 워크로드 구현에 어려움이 있었고, 유동적인 스케일링이 불가하여 데이터 처리 속도가 느렸으며, 동시 쿼리 실행이 불가하여 사용성도 떨어졌습니다. 또한, 데이터 접근 관리에 제한이 따라 팀간 데이터 사일로가 형성되었고, 이러한 까닭에 데이터 품질과 일관성이 크게 떨어질 수밖에 없었습니다.

데이터 파이프라인 구축에도 어려움이 있었습니다. 하둡의 복잡한 데이터 파이프라인은 각각 다른 솔루션이나 서버에 구축되어 있어, 데이터 플로우 관리, 스케줄링, 오류 처리 등 중요 프로세스에 불편함을 초래했습니다. 데이터 검색과 메타데이터 관리에도 문제가 있었습니다. 솔루션별로 데이터가 분산 저장되어 필요한 데이터를 찾는 과정이 쉽지 않았고, 온프레미스 환경에서 대규모 데이터 처리에 필요한 인프라를 효율적으로 운영하기 어려웠습니다. 이러한 어려움을 극복하기 위해 메조미디어는 더 효율적으로 데이터 수집 및 분석이 가능하고, 다양한 워크플로우를 수용할 수 있는 클라우드 플랫폼 도입이 시급함을 체감하였습니다.

데이터브릭스의 통합 솔루션으로 효율적인 데이터 관리

메조미디어는 데이터브릭스 도입으로 통합된 단일 솔루션에서 대용량 데이터를 효율적으로 관리할 수 있게 되었습니다. 이에 따라 복잡하기만 했던 기존 프로세스와 워크플로우를 크게 간소화할 수 있었습니다. 데이터 엔지니어들은 보다 신속하게 외/내부 데이터 연동을 수행하고 개별적인 데이터 관리와 계정 권한 제어를 설정함으로써 다양한 사용 사례에 적극 대응할 수 있게 되었습니다. 한편, 데이터 분석가들은 통합된 시스템을 활용하여 정기적인 데이터 처리 및 분석 작업을 스케줄링과 자동화함으로써 반복적인 작업이 줄어들어 생산성이 향상되었습니다. 또한, 광고 이상 탐지와 성과 예측을 위한 머신러닝 및 딥러닝 모델 개발에 필요한 대규모 데이터 가공도 가능해졌습니다.

무엇보다 데이터브릭스 도입으로 기존의 하둡 운영 비용 대비 월별 약 70~80%의 비용을 절감하였으며, 추가적인 서버 설치나 관리 작업이 뒤따르지 않아 운영 리소스가 줄어들어 비즈니스 운영 비용이 크게 절감되는 효과를 가져왔습니다. 이에 더해 안정적인 서비스 운영으로 시스템 안정성이 향상되어 고객과 사용자들에게 높은 데이터 신뢰성을 제공하게 되었습니다. 이러한 이점들을 통해 장기적으로 비용 절감 효과를 더욱 확대하고, 지속적으로 증가하는 데이터에 유연하게 대응할 수 있는 환경을 갖추게 되었습니다. 나아가 광고 성과 데이터를 쉽고 빠르게 광고주에게 리포트 하는 중간 역할을 데이터브릭스가 수행함으로써 간접 매출에도 긍정적인 영향을 주었습니다.

데이터브릭스 플랫폼 활용으로 협업 개선

메조미디어는 데이터브릭스 도입으로 기존 시스템에서는 제한적이었던 데이터 액세스 문제 또한 단순화되고, 민주화되었습니다. 이에 따라 데이터브릭스의 통합된 플랫폼은 데이터팀의 협업뿐만 아니라 전 사내 조직 간 협업을 촉진하였습니다. 데이터를 별도의 파일 형태로 제공할 필요가 없어져 더욱 쉽고 빠르게 데이터를 공유할 수 있게 되었습니다. 엔지니어가 생성한 테이블을 사용자들이 쉽게 조회하고 분석할 수 있어 의사소통이 원활해지고 데이터 일관성도 유지할 수 있게 되었습니다. 또한, 테이블이나 칼럼의 코멘트 기능을 활용하여 비개발자 사용자들도 데이터 정보를 쉽게 이해할 수 있게 되었습니다. 이로 인해 관리자는 사용자를 위한 지원에 더 적은 시간을 할애하고 운영 및 관리 업무에 더 집중할 수 있는 환경이 마련되었습니다. 비전문가들도 데이터브릭스의 간편한 인터페이스를 통해 필요한 데이터 기반 인사이트를 얻고 이에 따라 데이터 기반 의사결정을 직접 할 수 있게 되었기에 전체적인 비즈니스 효율성도 높일 수 있었습니다.

데이터브릭스 도입으로 애드테크 기술 경쟁력 강화

메조미디어는 데이터브릭스를 통해 데이터 관리의 생산성과 조직 내 협업을 크게 향상할 수 있었습니다. 데이터브릭스의 통합된 플랫폼에서 데이터 수집, 분석, 모델링, 그리고 머신 러닝까지 모두 수행할 수 있어 업무 효율이 향상되었고, 간단하고 유연한 아키텍처로 운영 및 관리가 용이해지면서 비용 효율성이 높아진 것입니다. 이를 통해 메조미디어는 인공지능/머신러닝 기반의 애드테크 (Ad-Tech) 기업으로 성큼 올라설 수 있었고, 다양한 데이터 활용 또한 증가하여 비즈니스 영역에서의 성장을 견인했습니다. 메조미디어 데이터 파트의 이상현 엔지니어는, "데이터브릭스는 메조미디어의 애드테크 기술 역량을 강화해 디지털 광고 시장에서의 경쟁 우위를 유지하고, 메조미디어가 대한민국 No.1 통합 디지털 마케팅 컴퍼니로 성장할 수 있는 기틀이 다져졌다."라고 힘주어 말하고 있습니다.