실시간 리테일 인텔리전스: Databricks에서 Lakebase 및 AI Search를 활용한 E-Commerce 추천 구축

기회: 수익 엔진으로서의 개인화

쇼핑객이 패션 이커머스 앱에서 보내는 매 순간은 검색, 상품 조회, 위시리스트 추가, 장바구니 상호작용과 같은 일련의 의도 신호를 생성합니다. 이러한 신호를 실시간으로 관련성 높은 상품 추천으로 전환하는 플랫폼이 시장에서 승리합니다. 업계 벤치마크에 따르면 효과적인 개인화는 전환율을 10~30% 높이고 평균 주문 가치를 크게 증가시킬 수 있습니다.

하지만 프로덕션 수준의 추천 시스템을 구축하는 것은 여전히 가장 어려운 ML 엔지니어링 과제 중 하나입니다. 재고, 위치, 비즈니스 규칙을 동기화 상태로 유지하면서 실시간 데이터 수집, 복잡한 피처 엔지니어링, 협업하는 여러 ML 모델, 밀리초 단위로 응답하는 서빙 인프라가 모두 필요하기 때문입니다.

본 블로그에서는 10만 개 이상의 SKU 카탈로그 전체에서 월간 활성 사용자 수 100만 명 이상을 보유한 아시아 최고의 패션 이커머스 플랫폼의 실제 구현 사례를 바탕으로, Databricks에서 이러한 시스템을 구축하기 위한 완전한 참조 아키텍처를 소개합니다.

시스템 개요: 아키텍처 한눈에 보기

이 아키텍처는 수집부터 서빙에 이르는 모든 구성 요소가 Unity Catalog의 거버넌스 하에 Databricks에서 실행되는 통합 플랫폼 접근 방식을 따릅니다.

전체 시스템 아키텍처:

데이터 수집: 클릭스트림에서 레이크하우스까지 단 몇 초 만에

이 플랫폼은 상품 조회, 검색, 장바구니 담기, 구매, 세션 메타데이터 등 초당 약 1,000개의 이벤트를 수집합니다. Lakeflow Connect의 Zerobus Ingest는 수집 백본을 제공하여, 자체 관리형 메시지 브로커 없이도 이벤트를 Unity Catalog Delta 테이블로 직접 로드합니다.

중요한 아키텍처적 차이점은 클릭스트림 데이터가 오프라인 피처 계산 및 모델 학습을 위해 Zerobus를 통해 레이크하우스로 흐르지만, 실시간 추론(경로 B) 중에는 쇼핑객이 지금 바로 탐색 중인 세션 내 사용자 신호가 API 요청 페이로드의 일부로 Model Serving 엔드포인트에 직접 전송된다는 점입니다. 이를 통해 추론 경로 동안 레이크하우스 스토리지를 완전히 우회하므로 수집 지연 시간 없이 실시간 컨텍스트를 사용할 수 있습니다.

Zerobus는 간단한 구성 변경(부트스트랩 서버를 Zerobus 엔드포인트로 지정)을 통해 모든 표준 Kafka 프로듀서 클라이언트(Java, Python, Go)의 데이터를 수락하며, 레코드는 대상 Delta 테이블에 저장됩니다. 이미 Kafka 인프라를 운영 중인 팀의 경우, Declarative Pipelines를 사용한 Structured Streaming이 동일한 다운스트림 아키텍처를 갖는 대안 경로를 제공합니다.

데이터는 메달리온 아키텍처로 흐릅니다:

Bronze 레이어 — 추가 전용 원시 이벤트 스트림 및 참조 데이터:

• 사용자 신호:
  • 행동: 탐색 시퀀스, 검색 쿼리, 체류 시간 패턴, 클릭률 기록
  • 거래: 구매 빈도, 평균 주문 가치, 반품률, 카테고리별 지출 분포
  • 선호도: 위시리스트 상품, 저장된 검색어, 브랜드 친밀도, 사이즈 선호도
  • 인구통계학적 특성: 연령대, 위치 클러스터, 디바이스 유형, 앱 참여 등급
• 상품 신호:
  • 카탈로그: 카탈로그 계층 구조, 브랜드, 가격대, 소재, 색상, 계절성
  • 성과: 전환율, 조회 대비 장바구니 전환율, 반품률, 평균 평점
  • 시각적 요소: 이미지 임베딩(텍스트 속성을 넘어선 스타일 유사도 캡처)
  • 신선도: 등록 후 경과 일수, 트렌드 속도, 재고 추이
• 컨텍스트 신호:
  • 시간적 요소: 하루 중 시간대, 요일, 급여일 근접도, 축제/세일 기간
  • 지리적 요소: 사용자 도시, 가장 가까운 풀필먼트 센터, 지역별 스타일 선호도
  • 환경적 요소: 날씨(카테고리 선호도에 영향), 지역 이벤트
  • 세션: 현재 탐색 의도(세션 내 행동에서 추론)

Silver 레이어 — 정제, 세션화 및 강화된 데이터:

• 세션화된 사용자 행동(탐색 시퀀스, 체류 시간, 상호작용 패턴)
• 정제된 상품 피처(정규화된 속성, 카테고리 계층 구조)
• 집계된 참여 신호(7일간의 조회수, 트렌드 점수, 인기도 지수)
• 사용자-상품 상호작용 행렬(암묵적 피드백 신호)

Gold 레이어 — 모델 준비 완료 피처 테이블 및 학습 데이터 세트:

• 사용자 피처 벡터(행동 임베딩, 선호도 프로필, 인구통계학적 클러스터)
• 상품 피처 벡터(상품 임베딩, 속성 인코딩)
• 학습 데이터 세트(모델 학습을 위한 레이블이 지정된 상호작용 쌍)
• 사전 계산된 추천 목록(배치 생성되어 빠른 조회를 위해 저장됨)

피처는 서로 다른 주기로 업데이트됩니다. 행동 집계 데이터는 예약된 Databricks Workflows를 통해 매일 업데이트되는 반면, 전체 상품 카탈로그는 매주 동기화됩니다. 변화하는 선호도와 신규 재고를 반영하기 위해 사용자와 상품 모두에 대한 임베딩이 매일 재계산됩니다. Databricks Feature Store는 오프라인 피처(학습용)와 온라인 피처(서빙용)를 모두 관리하여 학습-서빙 일관성을 보장합니다. 즉, 모델 학습 중에 사용된 것과 동일한 피처 정의를 Lakebase 온라인 테이블을 통해 추론 시점에 자동으로 사용할 수 있습니다.

Unity Catalog는 모든 레이어를 제어하여 원시 클릭스트림 이벤트부터 앱에 제공되는 최종 예측에 이르기까지의 리니지를 제공하며, 세분화된 액세스 제어를 통해 PII를 안전하게 보호하는 동시에 집계된 피처가 모델 학습으로 원활하게 흐르도록 합니다.

실시간 서빙: 짧은 지연 시간의 응답을 위한 두 가지 경로

서빙 아키텍처는 서로 다른 상호작용 패턴에 각각 최적화된 두 가지 상호 보완적인 경로를 제공합니다. 경로 A는 사전 계산이 가능하고 최적인 대용량의 예측 가능한 영역을 처리합니다. 경로 B는 사용자의 즉각적인 의도가 실시간으로 응답에 반영되어야 하는 동적인 세션 인식 영역을 처리합니다.

경로 A — 사전 계산된 배치 추천(< 두 자릿수 ms)

경로 A는 홈페이지 캐러셀, 카테고리 페이지 순위, 이메일 캠페인, 푸시 알림 등 대부분의 추천 영역을 지원합니다. 이러한 영역은 사용자의 신원과 영역 유형을 미리 알 수 있으므로 결과를 미리 계산할 수 있다는 공통된 특징이 있습니다.

Databricks Workflows가 오케스트레이션하는 야간 배치 작업은 모든 활성 사용자에 대해 오프라인으로 전체 3단계 퍼널을 실행합니다. 최신 사용자 임베딩을 검색하고, AI Search 상품 인덱스에 대해 배치 ANN 쿼리를 실행하여 후보를 생성하고, Gold 레이어의 피처를 사용하여 LightGBM 모델로 점수를 매긴 다음, 비즈니스 규칙(재고 점수, 배송 근접성, 다양성, 프로모션 부스팅)을 적용합니다. 출력 결과인 사용자당 상위 N개 순위의 상품 목록(일반적으로 영역당 50~100개 상품)은 user_id 및 surface 유형을 키로 하여 Lakebase 온라인 테이블에 기록됩니다.

서빙 시점에 앱은 간단한 키-값 조회(user_id + surface → 순위가 지정된 상품 목록)를 수행합니다. 모델 추론, 벡터 검색, 피처 조립 없이 Lakebase에서 직접 읽기만 하면 됩니다.

배치 작업이 매일 밤 실행되기 때문에 경로 A는 이전 날의 신호와 재고 상태를 반영합니다. 대부분의 영역에서는 이 정도의 최신성으로도 충분합니다. 장기적인 선호도와 브랜드 친밀도는 몇 분이 아니라 며칠에 걸쳐 진화하기 때문입니다. 또한 초기 임베딩을 생성한 신제품은 24시간 이내에 추천에 표시됩니다.

경로 B — 실시간 세션 인식 스코어링(< 두 자릿수 ms)

경로 B는 상품 상세 페이지의 "유사한 상품", "함께 어울리는 상품" 추천 또는 사용자가 탐색함에 따라 조정되는 동적으로 재순위화된 검색 결과와 같이 추천 컨텍스트가 요청 시점에만 존재할 때 활성화됩니다.

이커머스 앱은 최근 몇 분 동안 조회한 상품, 활성 검색 쿼리, 장바구니 내역, 체류 시간 패턴 등의 현재 세션 신호를 REST API를 통해 Model Serving 엔드포인트에 요청 페이로드로 직접 전송합니다. 엔드포인트는 단일 요청-응답 주기 내에서 전체 3단계 퍼널을 동기식으로 실행합니다.

• 1단계 — 실시간 후보 검색 엔드포인트는 세션 신호를 쿼리 임베딩으로 변환합니다. 이는 현재 조회 중인 상품의 상품 임베딩이거나, 장기 선호도 프로필(Lakebase에서 가져옴)과 세션 내 행동을 융합하고 최근 신호에 더 많은 가중치를 부여한 혼합 사용자 임베딩입니다. 이 임베딩은 Databricks AI Search로 전송되어 하이브리드 검색을 수행합니다. 즉, ANN 유사도 검색과 하드 메타데이터 필터(카테고리 적격성, 지역 재고, 최소 재고 임계값)를 결합합니다. 품절되었거나 부적격한 상품은 후보 세트에 절대 포함되지 않습니다. AI Search는 단일 네트워크 왕복으로 200~500개의 후보를 반환합니다. 세션 인식 영역의 경우, 엔드포인트는 사용자의 사전 계산된 장기 선호도 임베딩(Lakebase에서 검색됨)과 최근 조회한 상품에서 파생된 세션 임베딩을 결합하여 즉각적인 의도를 포착하기 위해 최근 신호에 가중치를 둔 혼합 쿼리 임베딩을 계산합니다. 이 혼합은 별도의 모델 호출이 아니라 엔드포인트 내에서 수행되는 가벼운 계산입니다.
• 2단계 — 피처 조립 및 스코어링 후보 상품 ID는 Lakebase 온라인 테이블에 대한 포인트 조회를 트리거하여 사전 계산된 사용자 피처(행동 집계, 인구통계학적 세그먼트, 가격 민감도) 및 상품 피처(전환율, 트렌드 점수, 등록 후 경과 일수)를 검색합니다. 실시간 컨텍스트 피처(시간대, 기기, 위치, 활성 프로모션)는 요청 페이로드에서 직접 파생됩니다. 엔드포인트는 사용자-후보 쌍 각각에 대한 피처 벡터(사용자-카테고리 친밀도 및 브랜드 선호도 중복과 같은 교차 피처 포함)를 구성하고 이를 LightGBM 스코어링 모델로 전달합니다. 이 모델은 GPU 리소스 없이 단일 배치 추론 호출로 전환 확률을 예측합니다.
• 3단계 — 비즈니스 규칙 및 재순위화 점수가 매겨진 목록은 결정론적 재순위화 레이어를 거칩니다. 재고 인식 스코어링은 감소하는 재고의 우선순위를 낮추고, 배송 근접성 스코어링은 더 빠른 배송을 위해 더 가까운 창고를 선호하며, 다양성 주입은 최종 목록에서 특정 브랜드나 카테고리가 독점하는 것을 방지하고, 프로모션 부스팅은 활성 캠페인에 부합하는 상품을 노출합니다. 재순위화된 목록은 요청된 크기(일반적으로 10~20개 상품)로 잘려 API 응답으로 반환됩니다.

비즈니스 규칙은 구성 기반으로 작동합니다. 프로모션 가중치, 다양성 임계값, 재고 차단 기준은 서빙 시점에 관리형 구성 테이블에서 읽어오므로, 비즈니스 팀이 모델을 다시 배포하지 않고도 규칙을 조정할 수 있습니다.

엔드포인트는 단일 predict() 호출 내에서 AI Search 쿼리, Lakebase 조회 수행, LightGBM 추론 실행, 비즈니스 규칙 적용 등 내부적으로 다단계 파이프라인을 조정하는 맞춤형 MLflow PyFunc 모델로 구현됩니다.

폴백 전략은 복원력을 보장합니다. 실시간 경로가 대기 시간 제한을 초과하면 시스템은 캐시된 인기 상품이나 경로 A에서 사전 계산된 사용자 추천을 제공하는 방식으로 유연하게 대처합니다.

콜드 스타트 문제 해결

모든 추천 시스템은 두 가지 콜드 스타트 시나리오를 해결해야 합니다.

신규 사용자(탐색 기록 없음): 사용자가 처음 방문하면 시스템은 위치, 기기 유형, 가입 컨텍스트, 명시된 선호도 등 사용 가능한 인구통계학적 신호로부터 기본 사용자 임베딩을 구성합니다. 이 임베딩은 상품 인덱스에 대한 ANN 검색에 사용되어 신규 사용자를 유사한 인구통계학적 특성을 가진 행동 클러스터에 효과적으로 배치합니다. 사용자가 상호작용함에 따라 임베딩은 실제 선호도에 빠르게 수렴합니다.

신규 상품(상호작용 데이터 없음): 새로운 SKU가 카탈로그에 추가되면 시스템은 제목, 카테고리, 브랜드, 가격대, 상품 이미지에서 추출한 시각적 특징 등의 속성에서 상품 임베딩을 생성합니다. 이 임베딩은 벡터 공간에서 유사한 기존 상품을 찾는 데 사용되며, 신제품은 가장 가까운 이웃으로부터 초기 추천 점수를 상속받습니다. 신제품은 다음 일일 배치 주기에 추천에 표시됩니다.

모델 수명 주기 및 지속적인 개선

모델은 Databricks Workflows를 사용하여 매주 재학습되며, 실험 추적 및 버전 관리는 MLflow를 통해 관리됩니다. 플랫폼은 챔피언/챌린저 배포를 지원하므로 새로운 모델 버전이 프로덕션 모델과 함께 배포되며, 온라인 성능 메트릭에 따라 트래픽이 점진적으로 전환됩니다.

모니터링되는 주요 ML 메트릭은 다음과 같습니다.

• AUC-ROC — 사용자가 참여할 상품과 참여하지 않을 상품을 구별하는 스코어링 모델의 능력을 측정합니다.
• NDCG@K (Normalized Discounted Cumulative Gain) — 가장 관련성이 높은 상품이 순위 목록의 맨 위에 표시되는지 평가합니다.
• Recall@K — 후보 생성 단계에서 관련 상품을 얼마나 성공적으로 검색하는지 측정합니다.
• Log Loss — 예측 보정을 추적하여 시간이 지남에 따라 전환 확률 점수가 잘 보정된 상태로 유지되도록 합니다.

이러한 모델 메트릭은 클릭률, 전환율, 세션당 매출과 같은 비즈니스 KPI로 보완되며, 이는 모델 개선이 실제 비즈니스 영향으로 이어지는지 확인하는 궁극적인 검증 역할을 합니다.

자동화된 드리프트 감지는 피처 분포 또는 예측 점수 분포가 기준선에서 벗어날 때 이를 표시하여 조사 또는 가속화된 재학습을 트리거합니다. 서빙 로그는 요청 수준 식별자를 통해 학습 파이프라인과 다시 연관되어 피드백 루프가 다음 모델 반복을 위해 데이터 누출이 없는 깨끗한 학습 데이터를 생성하도록 보장합니다. 위치 인식 학습 기술은 모델이 디스플레이 위치 아티팩트가 아닌 실제 사용자 선호도를 학습하도록 보장합니다.

기대 효과

이 아키텍처를 통해 다음과 같은 효과를 얻을 수 있습니다.

• 현대의 모바일 퍼스트 쇼핑객의 성능 기대치를 충족하는 대규모 환경에서의 낮은 두 자릿수 ms의 개인화된 응답
• 최신 재고, 트렌드 상품, 진화하는 사용자 선호도를 반영하는 매일 업데이트되는 최신 추천
• Unity Catalog를 통한 전체 리니지 및 액세스 제어를 통해 원시 클릭스트림부터 프로덕션 예측까지 통합된 거버넌스
• 신속한 실험 — 몇 달이 아닌 며칠 내에 새로운 모델 변형을 학습, 평가 및 배포할 수 있습니다.
• 운영 단순성 — 단일 플랫폼이 수집, 피처 엔지니어링, 학습, 서빙을 위한 개별 시스템의 짜깁기를 대체합니다.
• 유연한 확장성 — 서버리스 컴퓨팅과 관리형 인프라를 활용하여 아키텍처를 재설계하지 않고도 수천 명에서 수백만 명의 사용자로 확장할 수 있습니다.

결론

프로덕션 등급의 추천 및 순위 지정 엔진을 구축하기 위해 더 이상 수십 개의 특화된 시스템을 짜깁기할 필요가 없습니다. 실시간 수집(Zerobus), 피처 관리(Feature Store + Lakebase), 모델 학습(MLflow + Workflows), 벡터 검색(AI Search), 저지연 서빙(Model Serving)을 단일 거버넌스 플랫폼으로 통합함으로써 이커머스 팀은 고객을 이해하고 적절한 순간에 적절한 상품을 제공하는 가장 중요한 일에 집중할 수 있습니다.

그 결과는 단순한 추천 엔진이 아닙니다. 모든 이커머스 경험의 지능형 중추 역할을 할 수 있는 완전하고 프로덕션 준비가 완료된 개인화 플랫폼입니다.

직접 구축할 준비가 되셨나요? Databricks 추천 엔진 솔루션 액셀러레이터를 살펴보거나, AI Search 문서를 자세히 읽어보거나, Databricks 계정 팀에 문의하여 아키텍처 워크숍을 신청해 보세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)