성향 점수를 통한 개인화 시작하기

소비자는 갈수록 개인화된 방식으로 소통하기를 기대합니다. 최근 구매한 제품을 보완하는 제품을 홍보하는 이메일 메시지이든, 자주 탐색하는 카테고리의 제품 세일을 알리는 온라인 배너이든, 아니면 표현된 관심사에 맞춘 콘텐츠이든, 소비자는 돈을 쓸 수 있는 선택지가 점점 더 많아지고 있으며 자신의 개인적인 필요와 선호도를 알아주는 매장을 선호합니다.

McKinsey의 최근 설문조사에 따르면, 현재 소비자의 거의 4분의 3이 쇼핑 경험의 일부로 개인화된 상호작용을 기대하고 있습니다. 이 설문조사에 포함된 연구에 따르면, 이를 올바르게 수행하는 기업은 개인화된 참여를 통해 40% 더 많은 매출을 올릴 수 있어, 개인화가 우수한 소매 기업의 핵심 차별화 요소가 되고 있습니다.

하지만 여전히 많은 소매업체가 개인화에 어려움을 겪고 있습니다. Forrester의 최근 설문조사에 따르면, US 소비자의 30%, UK 소비자의 26%만이 소매업체가 자신에게 유용한 경험을 잘 만들어내고 있다고 믿는 것으로 나타났습니다. 3radical의 별도 설문조사에서는 응답자의 18%만이 맞춤형 추천을 받고 있다고 강하게 느꼈고, 52%는 자신과 무관한 커뮤니케이션과 제안을 받아 불만을 느낀다고 답했습니다. 소비자가 브랜드와 매장을 더 쉽게 바꿀 수 있게 됨에 따라, 개인화를 올바르게 구현하는 것이 점점 더 많은 기업의 우선순위가 되었습니다.

개인화는 여정입니다

개인화를 처음 접하는 조직에게 일대일 참여를 제공한다는 것은 막막해 보일 수 있습니다. 사일로화된 프로세스, 부실한 데이터 관리, 데이터 프라이버시에 대한 우려를 극복하고 이 접근 방식에 필요한 데이터를 어떻게 수집할 수 있을까요? 제한된 마케팅 리소스만으로 어떻게 진정으로 개인화된 느낌을 주는 콘텐츠와 메시지를 제작할 수 있을까요? 우리가 만드는 콘텐츠가 계속 변화하는 니즈와 선호도를 가진 개인에게 효과적으로 타겟팅되도록 하려면 어떻게 해야 할까요?

개인화에 관한 많은 문헌이 참신함(항상 효과성이 보장되는 것은 아니지만)으로 돋보이는 최첨단 접근 방식을 강조하지만, 현실적으로 개인화는 하나의 여정입니다. 초기 단계에서는 프라이버시와 고객 신뢰를 더 쉽게 유지할 수 있는 퍼스트 파티(first-party) 데이터를 활용하는 데 중점을 둡니다. 검증된 기능을 도입하기 위해 상당히 표준적인 예측 기술이 적용됩니다. 가치가 입증되고 조직이 이러한 새로운 기술에 익숙해질 뿐만 아니라 이를 업무에 통합할 수 있는 다양한 방법을 개발함에 따라, 더 정교한 접근 방식이 도입됩니다.

성향 점수화는 종종 개인화를 향한 첫 걸음이 됩니다

개인화 여정의 첫 번째 단계 중 하나는 개별 고객의 선호도에 대한 인사이트를 얻기 위해 매출 데이터를 검토하는 것입니다. 성향 점수화(propensity scoring)라고 하는 프로세스에서 기업은 제안이나 특정 제품군과 관련된 콘텐츠에 대한 고객의 잠재적인 수용도를 추정할 수 있습니다. 이러한 점수를 사용하여 마케터는 사용 가능한 많은 메시지 중 어떤 메시지를 특정 고객에게 제시해야 하는지 결정할 수 있습니다. 마찬가지로, 이러한 점수를 사용하여 특정 형태의 참여에 더 수용적이거나 덜 수용적인 고객 세그먼트를 식별할 수 있습니다.

대부분의 성향 점수화 작업의 시작점은 과거 상호작용에서 수치적 속성(피처)을 계산하는 것입니다. 이러한 피처에는 고객의 구매 빈도, 특정 제품 카테고리와 관련된 지출 비율, 마지막 구매 후 경과일, 과거 데이터에서 파생된 기타 여러 지표 등이 포함될 수 있습니다. 그런 다음 이러한 피처가 계산된 기간 바로 다음의 과거 기간을 조사하여 특정 카테고리 내 제품 구매 또는 쿠폰 사용과 같이 관심 있는 행동이 있는지 확인합니다. 해당 행동이 관찰되면 피처에 레이블 1이 연결됩니다. 관찰되지 않으면 레이블 0이 할당됩니다.

데이터 사이언티스트는 피처를 레이블의 예측 변수로 사용하여 관심 있는 행동이 발생할 확률을 추정하도록 모델을 학습시킬 수 있습니다. 이 학습된 모델을 가장 최근 기간에 계산된 피처에 적용하여, 마케터는 고객이 가까운 미래에 이 행동을 할 확률을 추정할 수 있습니다.

사용할 수 있는 제안, 프로모션, 메시지 및 기타 콘텐츠가 다양하므로, 각각 다른 행동을 예측하는 수많은 모델을 학습시키고 이 동일한 피처 세트에 적용합니다. 관심 있는 각 행동에 대한 점수로 구성된 고객별 프로필이 컴파일된 다음, 마케팅에서 다양한 캠페인을 오케스트레이션하는 데 사용할 수 있도록 다운스트림 시스템에 게시됩니다.

Databricks는 성향 점수화를 위한 중요한 기능을 제공합니다

성향 점수화가 간단해 보이지만 어려움이 없는 것은 아닙니다. 성향 점수화를 도입하는 소매업체들과 대화를 나누다 보면 종종 다음과 같은 세 가지 질문을 받게 됩니다.

1. 성향 모델을 학습시키는 데 사용하는 수백 개, 때로는 수천 개의 피처를 어떻게 유지 관리해야 할까요?
2. 마케팅 팀이 추진하고자 하는 새로운 캠페인에 맞춘 모델을 어떻게 신속하게 학습시킬 수 있을까요?
3. 고객 패턴이 변화함에 따라 재학습된 모델을 어떻게 점수 산정 파이프라인에 신속하게 재배포할 수 있을까요?

Databricks의 목표는 엔터프라이즈의 엔드투엔드 요구 사항을 염두에 두고 구축된 분석 플랫폼을 통해 고객의 역량을 강화하는 것입니다. 이를 위해 당사는 플랫폼에 Feature Store, AutoML, MLflow와 같은 기능을 통합했으며, 이 모든 기능은 강력한 성향 점수화 프로세스의 일부로 이러한 과제를 해결하는 데 활용될 수 있습니다.

Feature Store

Databricks Feature Store는 다양한 모델 학습 작업에서 피처의 영속성 유지, 검색 및 공유를 가능하게 하는 중앙 집중식 리포지토리입니다. 피처가 캡처될 때 계보(lineage) 및 기타 메타데이터도 함께 캡처되므로, 다른 사람이 생성한 피처를 재사용하려는 데이터 사이언티스트가 안심하고 쉽게 재사용할 수 있습니다. 표준 보안 모델을 통해 허용된 사용자와 프로세스만 이러한 피처를 사용할 수 있도록 보장하므로, 데이터 액세스에 대한 조직의 정책에 따라 데이터 과학 프로세스가 관리됩니다.

AutoML

Databricks AutoML을 사용하면 업계 베스트 프랙티스를 활용하여 모델을 빠르게 생성할 수 있습니다. 투명한 유리 상자(glass box) 솔루션인 AutoML은 먼저 시나리오에 맞춘 다양한 모델 변형을 나타내는 노트북 컬렉션을 생성합니다. 데이터 세트에 가장 적합한 모델을 결정하기 위해 다양한 모델을 반복적으로 학습시키는 동안, 각 모델과 관련된 노트북에 액세스할 수 있도록 지원합니다. 많은 데이터 과학 팀에게 이러한 노트북은 모델 변형을 추가로 탐색할 수 있는 편집 가능한 시작점이 되며, 궁극적으로 목표를 달성할 수 있다고 확신하는 학습된 모델에 도달할 수 있게 해줍니다.

MLflow

MLflow는 Databricks 플랫폼 내에서 관리되는 오픈 소스 머신러닝 모델 리포지토리입니다. 이 리포지토리를 통해 데이터 과학 팀은 AutoML 및 맞춤형 학습 주기에 의해 생성된 다양한 모델 반복을 추적하고 분석할 수 있습니다. 워크플로 관리 기능을 통해 조직은 학습된 모델을 개발 단계에서 프로덕션 단계로 신속하게 이동하여 학습된 모델이 운영에 더 즉각적으로 영향을 미치도록 할 수 있습니다.

Databricks Feature Store와 함께 사용할 경우, MLflow로 유지되는 모델은 학습 중에 사용된 피처에 대한 정보를 유지합니다. 추론을 위해 모델을 가져올 때 이 정보를 통해 모델이 Feature Store에서 관련 피처를 검색할 수 있으므로, 점수 산정 워크플로가 크게 간소화되고 신속한 배포가 가능해집니다.

성향 점수화 워크플로 구축하기

이러한 기능을 결합하여 많은 조직이 3부작 워크플로의 일부로 성향 점수화를 구현하는 것을 볼 수 있습니다. 첫 번째 부분에서는 데이터 엔지니어가 데이터 사이언티스트와 협력하여 성향 점수화 작업과 관련된 피처를 정의하고 이를 Feature Store에 유지합니다. 새로운 데이터 입력이 들어옴에 따라 최신 피처 값을 계산하기 위해 일별 또는 실시간 피처 엔지니어링 프로세스가 정의됩니다.

다음으로, 추론 워크플로의 일부로, 사용 가능한 최신 피처를 기반으로 성향 점수를 생성하기 위해 이전에 학습된 모델에 고객 식별자가 제공됩니다. 모델과 함께 캡처된 Feature Store 정보를 통해 데이터 엔지니어는 이러한 피처를 검색하고 비교적 쉽게 원하는 점수를 생성할 수 있습니다. 이러한 점수는 분석을 위해 Databricks 플랫폼 내에 저장될 수 있지만, 일반적으로는 다운스트림 마케팅 시스템에 게시됩니다.

마지막으로, 모델 학습 워크플로에서 데이터 사이언티스트는 고객 행동의 변화를 포착하기 위해 성향 점수 모델을 주기적으로 재학습시킵니다. 이러한 모델은 MLflow에 저장되므로, 변경 관리 프로세스를 적용하여 모델을 평가하고 조직의 기준을 충족하는 모델을 프로덕션 상태로 승격합니다. 추론 워크플로의 다음 반복에서는 각 모델의 최신 프로덕션 버전을 가져와 고객 점수를 생성합니다.

이러한 기능들이 어떻게 함께 작동하는지 보여주기 위해, 공개 데이터 세트를 기반으로 한 성향 점수 산정용 엔드투엔드 워크플로를 구축했습니다. 이 워크플로는 위에서 설명한 워크플로의 세 가지 단계를 보여주며, 핵심 Databricks 기능을 활용하여 효과적인 성향 점수 산정 파이프라인을 구축하는 방법을 보여줍니다.

여기에서 자산을 다운로드하여 Databricks 플랫폼을 사용하는 개인화 기반을 구축하기 위한 시작점으로 활용해 보세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)