대형 언어 모델을 활용한 상식 기반 상품 추천

상품 추천은 현대적인 고객 경험의 핵심 기능입니다. 사용자가 이전에 상호작용했던 사이트에 다시 방문할 때, 이전 활동과 관련된 추천을 통해 중단했던 부분부터 자연스럽게 이어갈 수 있기를 기대합니다. 특정 상품을 살펴볼 때는 자신의 니즈에 딱 맞는 상품을 찾을 수 있도록 유사하고 관련성 높은 대안 상품이 제안되기를 바랍니다. 또한 장바구니에 상품을 담을 때, 전체적인 구매 경험을 완성하고 향상시켜 줄 추가 상품이 추천되기를 기대합니다. 이러한 상품 추천이 제대로 이루어지면 쇼핑 여정이 원활해질 뿐만 아니라, 고객이 리테일 매장으로부터 존중받고 이해받고 있다는 느낌을 받게 됩니다.

상품 추천을 생성하는 방법에는 여러 가지가 있지만, 오늘날 사용되는 대부분의 추천 엔진은 리테일러 고유의 대규모 데이터 세트에 정교한 기술을 적용하여 학습한 상품과 고객 간의 과거 상호작용 패턴에 의존합니다. 이러한 엔진은 성공적인 고객 참여로부터 학습된 패턴을 강화하는 데 놀라울 정도로 강력하지만, 때로는 색다른 경험을 제공하기 위해 이러한 과거 패턴에서 벗어나야 할 때도 있습니다.

데이터 내에 상호작용이 제한적인 신상품이 출시된 시나리오를 생각해 보세요. 수많은 고객 참여를 통해 학습된 지식을 필요로 하는 추천 시스템은 추천을 뒷받침할 충분한 데이터가 쌓일 때까지 해당 상품을 제안하지 못할 수 있습니다.

또는 단일 상품이 과도하게 많은 관심을 받는 다른 시나리오를 생각해 보세요. 이 시나리오에서 추천 시스템은 압도적인 인기 때문에 포트폴리오 내의 다른 유망한 상품들을 배제하고 항상 이 한 가지 상품만 추천하는 함정에 빠질 위험이 있습니다.

이러한 문제와 유사한 문제를 방지하기 위해 리테일러는 상식에 기반하여 널리 알려진 상품 연관성 패턴을 활용하는 전략을 도입할 수 있습니다. 친절한 매장 직원처럼, 이러한 유형의 추천 시스템은 고객이 관심을 보이는 상품을 살펴보고 해당 상품 조합이 나타내는 방향성에 부합하는 추가 상품을 제안할 수 있습니다.

LLM을 활용한 추천 생성

고객이 겨울용 목도리, 비니, 벙어리장갑을 쇼핑하는 시나리오를 가정해 보겠습니다. 이 고객은 추운 날씨에 외출할 준비를 하고 있는 것이 분명합니다. 이때 리테일러가 최근 제품 포트폴리오에 두꺼운 울 양말과 겨울용 부츠를 새로 추가했다고 가정해 봅시다. 다른 추천 시스템은 과거 데이터의 상호작용 부족으로 인해 이러한 상품과 고객이 탐색 중인 상품 간의 연관성을 아직 파악하지 못할 수 있지만, 일반적인 상식은 이 상품들을 서로 연결해 줍니다.

이러한 종류의 지식은 방대한 양의 일반 텍스트로 학습된 LLM에 의해 캡처되는 경우가 많습니다. 해당 텍스트에서 벙어리장갑과 부츠는 사람들이 야외로 나가기 전에 두 가지 아이템을 모두 착용하는 행위를 통해 직접 연결될 수 있으며, '추위', '눈', '겨울'과 같은 개념과 연관되어 관계를 강화하고 다른 관련 상품을 끌어들일 수 있습니다.

그런 다음 LLM에 목도리, 비니, 벙어리장갑과 연관될 수 있는 다른 상품이 무엇인지 물어보면, 수십억 개의 내부 매개변수(parameter)에 담긴 이 모든 지식을 활용하여 고객이 관심을 가질 만한 추가 상품의 우선순위 목록을 제안합니다. (그림 1)

">

이 접근 방식의 장점은 LLM에 장바구니에 담긴 상품만 단독으로 고려하도록 제한할 필요가 없다는 것입니다. 텍사스 남부에서 이러한 겨울 상품을 쇼핑하는 고객은 미네소타 북부에서 동일한 상품을 쇼핑하는 고객과 다른 선호도를 가질 수 있음을 인지하고, 이러한 지리적 정보를 LLM의 프롬프트에 통합할 수 있습니다. 또한 프로모션 캠페인이나 이벤트에 대한 정보를 포함하여 LLM이 이러한 활동과 관련된 상품을 제안하도록 유도할 수도 있습니다. 매장 직원과 마찬가지로 LLM은 다양한 입력을 조율하여 의미 있으면서도 관련성 높은 추천 세트를 도출할 수 있습니다.

추천 상품과 판매 가능 상품 연결하기

하지만 LLM이 제공하는 일반적인 상품 제안을 당사 제품 카탈로그의 특정 상품과 어떻게 다시 연결할 수 있을까요? 공개적으로 사용 가능한 데이터 세트로 학습된 LLM은 일반적으로 리테일러의 특정 제품 포트폴리오에 대한 지식이 없으며, 리테일러 고유의 정보로 이러한 모델을 학습시키는 것은 시간과 비용이 많이 듭니다.

이 문제에 대한 해결책은 비교적 간단합니다. 온라인에서 무료로 사용할 수 있는 다양한 오픈 소스 모델 중 하나와 같은 경량 임베딩 모델을 사용하여 각 상품의 설명 정보와 기타 메타데이터를 소위 임베딩(embedding)으로 변환할 수 있습니다. (그림 2)

그림 2. all-MiniLM-L6-v2 모델을 사용하여 생성된 겨울용 부츠 관련 상품 설명의 고도로 축약된 임베딩.

임베딩의 개념은 조금 기술적일 수 있지만, 간단히 말해 텍스트와 해당 텍스트가 특정 언어 내에서 인식된 일련의 개념 및 관계를 어떻게 매핑하는지를 수치로 표현한 것입니다. 일반적인 겨울용 부츠와, 착용자가 겨울의 혹독함을 견딜 수 있는 방수 캔버스와 가죽 어퍼의 편안함 속에서 눈 덮인 도시 거리나 산길을 걸을 수 있게 해주는 특정 Acme Troopers와 같이 개념적으로 유사한 두 상품은 적절한 LLM을 통과할 때 매우 유사한 수치적 표현을 갖게 됩니다. 각 상품과 관련된 임베딩 간의 수학적 차이(거리)를 계산해 보면 두 임베딩 사이의 간격이 비교적 좁다는 것을 알 수 있습니다. 이는 이 상품들이 밀접하게 관련되어 있음을 나타냅니다.

이 개념을 실제로 적용하려면 모든 구체적인 상품 설명과 메타데이터를 임베딩으로 변환하고, 이를 흔히 벡터 스토어(vector store)라고 하는 검색 가능한 인덱스에 저장하기만 하면 됩니다. LLM이 일반적인 상품 추천을 생성하면, 이를 각각 자체 임베딩으로 변환하고 벡터 스토어에서 가장 밀접하게 관련된 상품을 검색하여 고객에게 제시할 포트폴리오 내의 구체적인 상품을 확보할 수 있습니다. (그림 3)

">

Databricks로 솔루션 통합하기

여기서 소개한 추천 패턴은 상품 연관성에 대한 일반적인 지식을 활용하여 고객에게 유용한 제안을 제공할 수 있는 시나리오에서 기업이 사용하는 추천 시스템 제품군에 훌륭한 추가 기능이 될 수 있습니다. 솔루션을 시작하려면 기업은 대형 언어 모델뿐만 아니라 경량 임베딩 모델에 액세스할 수 있어야 하며, 이 두 가지 모델의 기능과 기업 고유의 독점 정보를 결합해야 합니다. 이 작업이 완료되면 기업은 이러한 모든 자산을 이러한 추천이 필요한 다양한 고객 대면 인터페이스 전반에 걸쳐 쉽게 통합하고 확장할 수 있는 솔루션으로 전환할 수 있는 역량이 필요합니다.

Databricks Data Intelligence Platform을 통해 기업은 데이터 프라이버시를 유지하면서도 구현과 배포를 쉽고 비용 효율적으로 만들어 주는 단일하고 일관된 통합 환경에서 이러한 각 과제를 해결할 수 있습니다. Databricks의 새로운 AI Search 기능을 통해 개발자는 내장된 임베딩이 최신 상태로 유지되도록 보장하는 주변 워크플로우와 함께 통합 벡터 저장소를 활용할 수 있습니다. 새로운 Foundation Model APIs를 통해 개발자는 최소한의 설정만으로 다양한 오픈 소스 및 독점 대규모 언어 모델을 활용할 수 있습니다. 또한 향상된 Model Serving 기능을 통해 엔드투엔드 추천 워크플로우를 개방적이고 안전한 엔드포인트 뒤에 배포하도록 패키징하여 가장 광범위한 현대적 애플리케이션에 통합할 수 있습니다.

말뿐만 아니라 직접 확인해 보세요. Databricks의 최신 솔루션 가속기에서는 여기에 표시된 패턴을 구현하고, 개념 단계에서 실제 배포 및 운영 단계까지 이러한 기능들을 어떻게 결합할 수 있는지 보여주는 LLM 기반 제품 추천 시스템을 구축했습니다. 모든 코드는 무료로 제공되며, 기업이 데이터의 잠재력을 극대화할 수 있도록 지원하겠다는 Databricks의 약속의 일환으로 여러분의 환경에서 이 솔루션을 직접 탐색해 보시기를 권장합니다.

노트북 다운로드하기

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)