피처를 한 번만 작성하고 어디서나 활용하세요. 하나의 선언형 정의로 p95 34 ms의 시점 일치 학습 및 빠른 온라인 랭킹을 지원하며, 세션 내 신호는 130 ms 미만으로 실시간 반영됩니다.
작성자: Tian Tan, Sixuan He, Nick Joung , Julia Brouillette
실시간 개인화는 고객이 지금 무엇을 원하는지 이해하는 데 달려 있습니다. 소매 금융 고객이 계좌를 확인하거나, 신용카드를 살펴보거나, 대출 계산기를 사용할 때 모든 상호작용은 현재의 의도를 나타냅니다. 관련성 높은 제안은 고객이 세션에 머물러 있는 동안 전달되어야 합니다.
과제는 이러한 의도를 모델에서 사용할 수 있도록 만드는 것입니다. 원시 클릭스트림 데이터는 두 가지 목적을 위해 시간 윈도우 기반 피처로 집계되어야 합니다. 특정 시점에 존재했던 과거 값으로 학습하는 것과 현재 값을 사용하여 밀리초 단위의 지연 시간으로 예측을 서빙하는 것입니다. 이러한 파이프라인을 별도로 구축하면 시간이 지남에 따라 틀어질 수 있는 중복된 피처 정의가 생성되어 모델 정확도가 떨어질 수 있습니다.
Databricks Feature Views는 학습과 서빙 모두에 피처를 한 번만 정의할 수 있도록 하여 이 문제를 해결합니다. 이 블로그에서는 Solution Accelerator를 사용하여 Feature Views로 금융 서비스를 위한 실시간 차선책 제안(NBO) 추천 시스템을 구축하는 방법을 살펴봅니다.

이 액셀러레이터는 일괄 처리 피처를 사용하는 추천 시스템과 스트리밍 및 세션 내 의도를 추가하는 확장 기능의 두 부분으로 구성됩니다. 두 부분 모두 Databricks에서 엔드투엔드로 구축되었으며, 복제하여 배포할 수 있는 실행 가능한 노트북이 함께 제공됩니다.
실시간 추천에는 일관성과 속도가 모두 필요합니다. 모델 정확도를 떨어뜨릴 수 있는 학습/서빙 간 불일치를 방지하려면 학습과 서빙 시 피처가 동일한 방식으로 계산되어야 합니다. 또한 추론 시점에는 이러한 피처를 밀리초 단위로 검색하고 스코어링해야 합니다.
전통적으로 이 두 가지 요구 사항을 모두 충족한다는 것은 학습 피처용 배치 파이프라인과 온라인 서빙용으로 직접 작성한 스트리밍 작업 등 별도의 시스템을 유지 관리해야 함을 의미했습니다. 이는 시간이 지나면서 서로 어긋날 수 있는 중복 로직을 만듭니다.
Feature Views를 사용하면 별도의 피처 정의가 필요하지 않습니다. 로직을 한 번만 선언하면 Databricks가 학습과 서빙에 걸쳐 이를 재사용합니다.
학습 시점에 create_training_set API은(는) 레이블이 지정된 각 이벤트 시점에 존재했던 피처 값을 검색하여 미래 데이터 유출을 방지합니다. 추론 시점에 Model Serving 엔드포인트는 customer_id을(를) 사용하여 온라인 스토어에서 배치 피처를 가져옵니다.
두 워크플로 모두 동일한 피처 정의를 사용하므로 오프라인 및 온라인 변환을 각각 따로 구현할 때 발생하는 불일치를 방지할 수 있습니다.
이 액셀러레 이터는 소매 금융을 위한 실시간 차선책(NBO) 추천 시스템을 구현합니다. 고객이 계좌를 둘러보거나, 신용카드를 살펴보거나, 대출 계산기를 사용할 때 시스템은 신용카드 업그레이드, 저축 상품, 개인 신용대출 등 다양한 제안 카탈로그의 순위를 매겨 세션 중에 가장 관련성 높은 옵션을 추천합니다.
추천 시스템은 잔액, 지출, 거래 기간, 위험 등급과 같은 안정적인 고객 컨텍스트와 세션 내 의도를 포착하는 최근의 클릭스트림 활동을 결합합니다. 단일 순위 모델이 두 가지 유형의 데이터를 모두 사용하는 동시에 Feature Views는 오프라인 학습과 온라인 서빙 간에 피처 정의가 일관되게 유지되도록 합니다.
이 액셀러레이터는 카탈로그, 스키마, 온라인 스토어 및 피처 정의를 공유하는 두 부분에 걸쳐 실행 가능한 노트북으로 제공되는 세 단계로 구성됩니다.

Feature Views를 사용하면 동일한 접근 방식으로 배치 테이블 및 라이브 Kafka 스트림에 걸쳐 피처를 선언할 수 있습니다.
피처 | 선언 방식 | 모델에 제공되는 내용 |
30일 평균 잔액 |
| 롤링 행동 패턴 |
90일 지출 |
| 고정 기간 행동 패턴 |
로열티 등급, 위험 등급, 소득, 가입 기간 |
| 안정적인 고객 컨텍스트 |
지난 10분간의 카테고리 조회 수 |
| 가장 최신의 세션 내 의도 |
30일 카테고리 관심도 |
| 긴 윈도우, 최신 선행 지표 |
지출 대비 소득 비율 |
| 파생 피처, 요청 시 계산됨 |
스트리밍 피처의 경우 테이블 대신 Kafka 토픽을 지정합니다. Feature Views는 별도의 직접 작성한 스트리밍 작업이나 중복된 피처 로직 없이 이벤트를 온라인 스토어로 지속적으로 집계합니다.
SawtoothWindow은(는) 더 긴 스트리밍 윈도우를 실용적으로 사용할 수 있게 해줍니다. 예를 들어, 30일 카테고리 집계 수는 모든 이벤트에 대해 전체 이력을 다시 계산할 필요 없이 새로운 이벤트가 도착함에 따라 최신 상태로 유지됩니다.
Feature Engineering SDK를 사용하여 시점 조인(point-in-time join)을 수행하면 과거 레이블이 존재했던 시점의 각 피처 값이 재구성되어 미래 데이터 유출을 방지합니다. 결과로 생성된 학습 세트는 Unity Catalog에 등록된 LightGBM 순위 모델에 입력됩니다.
학습과 서빙이 동일한 피처 선언을 사용하므로 오프라인 및 온라인 변환을 각각 따로 구현하여 피처가 서로 어긋날 일 이 없습니다.
순위 모델은 경로 최적화된 Model Serving 엔드포인트에서 실행됩니다. 각 요청에는 {customer_id, candidate offers, session context}이(가) 포함됩니다. 엔드포인트는 키를 기준으로 온라인 스토어에서 고객 피처를 검색하고, 후보군을 좁히는 추가 단계 없이 40개의 모든 제안을 직접 스코어링합니다.
두 번째 경로 최적화된 Feature Serving 엔드포인트는 피처 값을 노출하므로 애플리케이션이 온라인 스토어를 직접 조회하지 않고도 제안이 선택된 이유를 표시할 수 있습니다.

실시간 추천 시스템에서 가장 중요한 두 가지 측정 지표는 클릭이 모델에 보이는 피처가 되는 데 걸리는 시간과 학습 및 서빙이 동일한 피처 값을 생성하는지 여부입니다.
저희는 튜닝 없이 가장 작은 구성(소형 서빙 엔드포인트 및 단일 노드 온라인 스토어)을 사용하여 액셀러레이터를 엔드투엔드로 벤치마킹했습니다. 스트리밍 이벤트가 모델에 보이는 데 약 0.1초가 소요되었으며, 학습 및 서빙 경로는 동일한 값을 생성했습니다.
각 막대 쌍은 중앙값(p50)과 95 백분위수(p95) 지연 시간을 나타냅니다. 앞의 두 개는 요청 지연 시간을 측정하며 직접 비교할 수 있습니다. 세 번째는 사용자가 대기하는 시간이 아니라 이벤트 수집부터 온라인 사용 가능까지의 피처 최신성을 측정합니다. 점선은 두 서빙 경로가 모두 충족하는 50ms 예산 한도를 표시합니다.
온라인 피처 조회 및 추론을 포함한 전체 랭킹 요청은 가장 작은 엔드포인트 크기에서 50ms 예산 내에 처리됩니다. 실시간 스트리밍 피처를 추가하면 지연 시간이 단 3~4ms만 증가합니다.
랭킹 엔드포인트는 p95 지연 시간이 50ms를 초과하기 전까지 초당 약 56개의 요청(RPS)을 처리했으며, Feature Serving 엔드포인트는 초당 약 390개의 RPS를 처리했습니다.
측정된 처리량은 동시성을 서비스 시간으로 나눈 값과 15% 이내로 일치하여 다음과 같은 실용적인 사이징 공식을 제공합니다.
required concurrency = 4 × ceil(target RPS ÷ measured RPS at your SLO)
이러한 결과에 따라 50ms p95 SLO(서비스 수준 목표) 내에서 초당 150개의 랭킹 요청을 지원하려면 동시성 12가 필요합니다.
당사는 웜 엔드포인트, 리전 내 클라이언트, 그리고 가벼운 부하가 적용된 액셀러레이터의 벤치마크 노트북을 사용했습니다. 캐시 미스를 늘리기 위해 Zipfian 분포를 사용하여 2,000명의 고객에게 분산된 요청 키를 사용한 결과, 랭킹 지연 시간은 p50 33ms 및 p95 48ms로 측정되었습니다.
당사는 Kafka 쓰기부터 온라인 스토어에서 값을 읽을 수 있게 되기까지의 이벤트당 피처 최신성을 측정했습니다. 일관성을 위해 널 안전(null-safe) 동등성을 사용하여 모든 고객의 오프라인 물질화(materialized) 값을 온라인 스토어와 비교했습니다.
이러한 결과에는 두 가지 제한 사항이 있습니다. 첫째, 랭킹 엔드포인트는 제로 스케일(scale-to-zero)을 사용하므로 유휴 기간 이후의 첫 번째 요청에는 수십 초의 콜드 스타트가 발생할 수 있습니다. 둘째, 보고된 지연 시간은 피처 검색과 추론을 결합한 것입니다. 따라서 27ms 측정값은 피처 읽기 지연 시간만 보고하는 벤치마크와 직접 비교할 수 없습니다.
이 액셀러레이터는 검증된 수익 증대가 아니라 작동하는 실시간 추천 시스템을 보여줍니다. 합성 데이터를 사용하므로 전환율 향상을 주장하지 않습니다. 대신 팀이 비즈니스 영향을 측정할 수 있는 시작점을 제공합니다.
프로덕션 이전에 팀은 자격, 동의, 적합성 및 억제 제어를 구현해야 합니다. 제안 랭킹은 최종 제안 결정이 아닌 모델링 단계입니다. 이 액셀러레이터는 이러한 비즈니스 규칙이 아니라 피처 엔지니어링 및 서빙 인프라를 보여줍니다.
액셀러레이터를 사용하면 배치 피처로 시작한 다음 피처 인프라를 다시 구축하지 않고도 실시간 스트리밍을 추가할 수 있습니다.
액셀러레이터를 배포하려면 Declarative Automation Bundles (DABs)을 사용하세요.
배포 순서가 중요합니다. 앱은 노트북이 런타임에 생성하는 Part 2 서빙 엔드포인트에 종속됩니다. 작업(job)을 배포하고, Part 1 및 Part 2를 실행한 다음 앱을 배포하세요. 모든 것은 Unity Catalog에 의해 거버넌스가 관리되는 서버리스 컴퓨팅에서 실행됩니다.
Feature Views를 사용하면 AWS, Azure 및 GCP 전반에서 시점 정확한(point-in-time-correct) 학습 및 짧은 지연 시간의 온라인 서빙을 위해 피처를 한 번 정의할 수 있습니다. 액셀러레이터를 탐색하여 실시간 추천 시스템에서 배치 및 스트리밍 피처가 어떻게 결합되는지 확인하세요.
Feature Views란 무엇인가요?
Feature Views를 사용하면 피처 변환을 한 번 정의하고 모델 학습과 온라인 서빙에서 재사용할 수 있습니다. 학습을 위한 시점 정확한(point-in-time-correct) 과거 값과 추론을 위한 현재 값에 대한 짧은 지연 시간 액세스와 함께 배치 및 스트리밍 피처를 지원합니다.
Feature Views는 학습/서빙 편향(train/serve skew)을 어떻게 방지하나요?
Feature Views는 학습과 서빙 간에 공유 피처 정의를 사용하여 별도의 변환 로직 유지 관리로 인한 불일치를 방지합니다. 또한 create_training_set API는 시점 조인(point-in-time join)을 사용하여 각 과거 레이블 시점에 존재했던 피처 값을 재구성함으로써 미래 데이터 유출을 방지합니다.
Feature Views가 실시간 스트리밍 피처를 지원할 수 있나요?
네. Feature Views는 별도의 수동 스트리밍 작업 없이도 Kafka의 이벤트를 온라인 스토어로 지속적으로 집계할 수 있습니다. 액셀러레이터는 최근 세션 활동에 RollingWindow을(를) 사용하고 더 긴 과거 윈도우에 SawtoothWindow을(를) 사용하여 이를 보여줍니다.
차선책 추천(next-best-offer) 액셀러레이터는 어느 정도의 성능을 달성하나요?
벤치마크 구성에서 랭킹 엔드포인트는 온라인 피처 검색 및 추론을 포함하여 34ms p95 지연 시간을 달성했습니다. 랭킹 엔드포인트는 초당 약 56개의 요청을 처리했으며, Feature Serving 엔드포인트는 50ms p95 지연 시간 예산을 초과하기 전까지 초당 약 390개의 요청을 처리했습니다.
차선책 추천 액셀러레이터를 실행하려면 어떻게 해야 하나요?
Databricks 워크스페이스, 구성된 Databricks CLI 프로필 및 액셀러레이터의 GitHub 리포지토리가 필요합니다. Part 1은 Declarative Automation Bundles을 사용하여 배치 피처 추천 시스템을 배포합니다. Part 2에서는 라이브 세션 활동을 통합하기 위해 추가로 Unity Catalog Kafka 연결과 Amazon MSK 연결이 필요합니다.
(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)
블로그를 구독하고 최신 게시물을 이메일로 받아보세요.