레이크하우스에서 완전하고 구성 가능한 CDP 구축하기

고객 데이터는 모든 산업 분야에서 현대적인 조직의 핵심 자산입니다. 조직이 데이터 레이크하우스(Data Lakehouse)를 통해 데이터 팀과 실무 역량을 한 단계 끌어올림에 따라, 레이크하우스를 단순히 분석을 위한 신뢰할 수 있는 단일 원천(source of truth)으로만 사용하는 것이 아니라 마케팅, 운영, 개인화 등을 구동하는 엔진으로 활용하는 사례가 점점 더 늘어나고 있습니다.

Databricks Ventures는 데이터 레이크하우스 네이티브 고객 데이터 플랫폼(CDP)을 지원하기 위해 Hightouch에 투자했습니다. Hightouch는 Databricks 사용자가 레이크하우스에서 직접 고객 데이터를 수집, 저장, 모델링 및 활성화하는 데 필요한 모든 기능을 제공합니다. 이러한 레이크하우스 중심의 아키텍처는 자체 데이터 인프라를 중심으로 하는 완전한 구성 가능한 CDP(Composable CDP)를 구축합니다. 이 블로그를 통해 레이크하우스 네이티브 구성 가능한 CDP의 진정한 의미와 이것이 고객 데이터에 대한 최선의 접근 방식인 이유, 그리고 가장 중요하게는 이를 직접 구축하는 방법을 알아보세요.

고객 데이터 플랫폼(CDP)이란 무엇인가요?

CDP는 기업에 고객 데이터를 수집, 저장, 모델링 및 활성화할 수 있는 방법을 제공합니다. 궁극적으로 CDP는 마케터, 광고주 및 기타 비즈니스 사용자가 매일 사용하는 다운스트림 도구로 고객 데이터를 전송하여 다양한 사용 사례를 지원합니다. CDP는 고객 데이터의 신뢰할 수 있는 단일 원천이 되어 기업이 각 고객에 대한 360도 고객 뷰(360-degree view)를 구축할 수 있도록 돕습니다.

일반적으로 CDP는 다음과 같은 몇 가지 핵심 구성 요소로 이루어집니다.

• 이벤트 추적(Event Tracking): 웹사이트나 모바일 애플리케이션에 구현할 수 있는 SDK를 통해 사용자의 디지털 상호작용을 수집합니다.
• ID 통합(Identity Resolution): 서로 다른 기기, 시간 경과에 따른 상호작용 등에서 발생하는 이질적인 고객 레코드의 중복을 제거하고 통합합니다.
• 오디언스 구축(Audience Building): 마케터 친화적인 UI에서 다양한 고객 타겟 세그먼트를 정의합니다.
• 데이터 활성화(Data Activation): 고객 오디언스를 다운스트림 도구와 동기화하여 마케팅 자동화, 비즈니스 운영 등을 지원합니다.

과거에는 CDP 솔루션이 모두 하나로 묶인 번들형 플랫폼이었습니다. 기존의 전통적인 CDP를 구매하면 자체 전용 데이터 스토리지 내에서 고객 데이터를 수집 및 모델링하고, 이 분리된 스토리지 레이어에서 오디언스를 구축하고 활성화하는 도구를 제공합니다.

구성 가능한 고객 데이터 플랫폼(Composable CDP)이란 무엇인가요?

구성 가능한 CDP는 데이터 레이크하우스와 같은 기존 데이터 인프라를 운영의 중심에 두는 고객 데이터에 대한 새로운 접근 방식입니다. 기존 CDP는 자체 데이터 스토리지를 갖춘 번들형 플랫폼인 반면, 구성 가능한 CDP는 언번들형(unbundled)이므로 기술 스택의 유연성을 높이고 데이터 레이크하우스를 데이터 저장 및 모델링에 사용할 수 있도록 지원합니다.

데이터 레이크하우스 기반의 구성 가능한 CDP는 고객 마케팅을 위한 강력하고 대중적인 솔루션으로 자리 잡았습니다. 이러한 인기로 인해 많은 CDP가 '구성 가능(Composable)'이라는 단어를 내세워 마케팅을 하고 있으며, 때로는 잘못된 방식으로 사용되기도 하므로 구성 가능성(Composability)이 실제로 무엇을 의미하는지 명확히 정의하는 것이 중요합니다.

구성 가능한 CDP는 4가지 주요 측면에서 기존 CDP와 다릅니다.

• 자체 데이터 인프라에서 실행됩니다. 구성 가능한 CDP를 사용하면 데이터를 외부의 블랙박스로 복사할 필요 없이 데이터 레이크하우스에 이미 있는 모든 데이터와 모델링을 활용할 수 있습니다.
• 스키마에 구애받지 않습니다(schema agnostic). 데이터 레이크하우스와 구성 가능한 CDP는 데이터의 형태에 대한 제한이나 고정된 기준이 없습니다. 가구, 반려동물, 은행 계좌 등 비즈니스에 중요한 어떤 엔티티를 중심으로든 고객 데이터를 구성할 수 있습니다. 반면 기존 CDP는 사용자 및 이벤트를 중심으로 구축된 경직된 데이터 모델에 의존합니다.
• 모듈식이며 상호 운용이 가능합니다. 모든 기업은 CDP 구매를 결정하기 전에 이미 일부 데이터 인프라(이벤트 수집, ETL, 대시보드 등)를 갖추고 있습니다. 구성 가능한 CDP는 이미 보유하고 있는 인프라와 연동되며, 필요한 기능의 공백을 채워줍니다.
• 언번들형 요금제를 제공합니다. 플랫폼과 함께 제공되지만 사용하지 않는 불필요한 기능(shelfware)에 비용을 지불할 필요 없이, 실제로 사용할 기능에 대해서만 비용을 지불하면 됩니다.

레이크하우스 기반 구성 가능한 CDP의 장점

레이크하우스 기반의 구성 가능한 CDP는 팀이 이미 데이터 레이크하우스에서 진행하고 있는 데이터 투자 및 모델링의 이점을 그대로 누릴 수 있습니다. 이러한 신뢰할 수 있는 단일 원천과 머신 러닝은 모든 비즈니스 사용 사례를 지원할 수 있습니다. 이는 비즈니스 팀과 데이터 팀 간의 선순환 피드백 구조를 만듭니다. 비즈니스 팀은 기존 데이터를 쉽게 활용하고, 추가적인 혁신에 도움이 될 모델이나 속성에 대해 데이터 팀과 원활하게 소통할 수 있습니다. 예를 들어, 3,500개 이상의 호스피탈리티 브랜드가 사용하는 제품을 운영하는 Mews는 레이크하우스를 사용하여 서로 다른 데이터를 신뢰할 수 있는 단일 원천으로 통합한 후, 이를 통해 사용 사례를 직접 구동하고 있습니다.

레이크하우스 기반 구성 가능한 CDP의 데이터 포괄성은 뛰어난 데이터 유연성과 결합되어 있습니다. 레이크하우스는 비즈니스에 필요한 어떤 스키마에도 데이터를 맞출 수 있습니다. 반면 기존 CDP는 미리 정의된 스키마에 맞는 웹 이벤트 및 기타 제한적인 사용자 속성으로 한정됩니다. 레이크하우스는 복잡한 비즈니스 구조를 가진 기업이 CDP 사용 사례에 적합한 데이터를 지원하는 데 더 적합합니다. 예를 들어, PetSmart는 각 고객이 키우는 반려동물을 기반으로 레이크하우스에서 마케팅 캠페인을 실행하고 있는데, 이러한 '반려동물' 엔티티는 기존 CDP에서는 지원할 수 없습니다. 기존 CDP는 이벤트와 사용자(사람)에 대한 데이터 모델만 제공하므로, 각 사용자의 여러 '반려동물'과 생일, 복용 약물, 사료 브랜드 등 이와 관련된 특성을 함께 추적하는 것은 불가능합니다.

또한 데이터 레이크하우스는 데이터 거버넌스 측면에서도 뛰어나며, 고객 데이터 아키텍처의 각 단계에서 완전한 투명성, 보증 및 감사 가능성을 제공합니다. 레이크하우스 기반의 CDP를 사용하면 데이터 팀이 소유권과 통제권을 블랙박스 형태의 타사 시스템에 위임하는 대신, 고객 데이터를 완전히 제어하고 소유할 수 있습니다.

레이크하우스 중심으로 구성 가능한 CDP 아키텍처를 구축하면 모듈성을 유지하고 미래의 변화에 대비할 수 있습니다. 이벤트 수집과 같은 CDP 기술 스택의 일부를 교체하고 싶다면 언제든지 자유롭게 변경할 수 있습니다. 나머지 기술 스택의 변경 여부와 관계없이 핵심 데이터 자산은 레이크하우스에 안전하게 보관되기 때문입니다. 단일 벤더의 폐쇄적인 CDP에 종속(lock-in)되지 않고, 비즈니스 성장에 맞춰 각 CDP 사용 사례에 적합한 최적의 기술 제공업체를 선택할 수 있습니다.

또한, 레이크하우스 기반의 구성 가능한 CDP는 기존 CDP보다 더 높은 투자 수익률(ROI)을 제공합니다. 새로운 시스템으로 처음부터 다시 시작하는 대신 기존 인프라를 활용하기 때문에 가치 실현 시간(time to value)을 훨씬 더 단축할 수 있습니다. 이를 통해 구성 가능한 CDP를 더욱 비용 효율적으로 운영할 수 있습니다. 이러한 비용 효율성은 벤더 선택에서도 비롯됩니다. 중복된 기능이 포함된 올인원 플랫폼을 구매하는 대신 필요한 CDP 구성 요소만 구매하면 되기 때문입니다. 또한 불필요하게 중복된 플랫폼에 데이터를 저장하고 컴퓨팅을 실행하기 위해 추가 비용을 지불할 필요가 없으며, 신뢰할 수 있는 주요 단일 원천인 데이터 레이크하우스를 통해 규모의 경제 효과를 누릴 수 있습니다.

구성 가능한 CDP 방법론: Hightouch와 Databricks의 파트너십

Hightouch와 Databricks는 함께 사용할 때 더 큰 시너지 효과를 발휘하며 기업에 고객 데이터를 활성화하는 최선의 방법을 제공합니다. 이것이 바로 Databricks가 Hightouch에 투자한 이유입니다.

Hightouch는 조직이 레이크하우스 네이티브 CDP를 구성하는 데 필요한 다음과 같은 모든 구성 요소를 제공합니다.

• 이벤트 수집(Event Collection): 이벤트를 수집하고 레이크하우스에 로드합니다.
• ID 통합(Identity Resolution): 데이터를 모델링하고 레이크하우스에서 Customer 360 프로필을 통합합니다.
• 오디언스 구축(Audience Building): 고객의 속성에 따라 즉석에서 고객을 오디언스 그룹으로 분류하고, 마케터 친화적인 인터페이스를 통해 여러 오디언스에 걸쳐 마케팅 캠페인 및 실험을 조율합니다.
• 데이터 활성화(Data Activation): 레이크하우스의 데이터를 200개 이상의 다운스트림 도구와 동기화하여 라이프사이클 마케팅, 광고 캠페인, 운영 분석 등과 같은 CDP 사용 사례를 지원합니다.

또한 Hightouch는 기존 CDP가 레이크하우스 사용자에게 제공하지 못하는 기능을 제공합니다. 예를 들어, Match Booster는 광고 플랫폼으로 전송되는 퍼스트 파티 데이터에 서드 파티 식별자를 실시간으로 보강하여 Databricks 고객의 매칭률을 직접 높여주며, Liveramp와 같은 데이터 온보딩 플랫폼과 유사한 역할을 수행합니다. Personalization API를 사용하면 웹사이트와 앱에서 데이터 레이크하우스의 예측 모델을 호출하여 실시간 개인화를 구현할 수도 있습니다.

중요한 점은 Hightouch가 구성 가능한(composable) CDP의 개념을 전적으로 수용한다는 것입니다. 즉, 레이크하우스 환경에서 필요한 만큼만 이러한 서비스를 선택하여 구축할 수 있습니다. 레이크하우스에서 직접 dbt를 사용하여 ID 통합(identity resolution)을 수행하려는 경우, Hightouch에서 중복되는 서비스를 구매할 필요가 없습니다. 구성 가능성(Composability)이란 원하는 방식을 자유롭게 선택할 수 있음을 의미하며, 조직의 요구 사항에 집중하여 꼭 필요한 기능만 추가할 수 있도록 지원합니다.

시작하기

데이터 레이크하우스에서 구성 가능한 CDP를 구축하는 것이 그 어느 때보다 쉬워졌습니다. 무료로 Databricks를 시작하고, Hightouch의 솔루션 엔지니어와 상담하여 필요한 구성 가능한 CDP 기능의 구현 계획을 세워보세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)