大規模言語モデル（LLM）を用いた常識的な商品レコメンデーション

おすすめ商品（レコメンデーション）は、現代の顧客体験における中核的な機能です。ユーザーが以前に利用したサイトを再び訪れたとき、過去の行動に関連したおすすめが表示され、前回の続きからスムーズに再開できることを期待します。特定のアイテムに興味を示したときには、ニーズにぴったりの商品を見つけられるよう、類似した関連性の高い代替商品が提案されることを望みます。また、カートに商品を入れたときには、全体の購買体験をより充実させる追加の商品が提案されることを期待します。これらのおすすめ機能が適切に機能すれば、ショッピングがスムーズになるだけでなく、顧客は「自分のことを理解してくれている」と感じるようになります。

おすすめ商品を生成する方法は数多くありますが、現在使用されているレコメンデーションエンジンの多くは、小売業者固有の大量のデータに高度な手法を適用して学習した、商品と顧客との過去のインタラクションのパターンに依存しています。これらのエンジンは、過去の成功パターンを強化することには非常に優れていますが、時には異なる体験を提供するために、こうした過去のパターンから脱却する必要があります。

例えば、新商品が発売されたばかりで、データ内のインタラクション数が限られているケースを考えてみましょう。多くの顧客行動から学習した知識を必要とするレコメンダーは、おすすめを裏付ける十分なデータが蓄積されるまで、その新商品を提案できない可能性があります。

あるいは、特定の一つの商品に過剰な注目が集まっているケースを考えてみましょう。このシナリオでは、レコメンダーはその商品の圧倒的な人気ゆえに、常にその商品ばかりを提案してしまい、ラインナップにある他の魅力的な商品が埋もれてしまうリスクがあります。

こうした課題を回避するために、小売業者は一般的な常識に基づく、広く認知された商品の関連性パターンを取り入れる手法を採用できます。優秀な店舗スタッフのように、このタイプのレコメンダーは顧客が興味を持っているアイテムを分析し、それらの商品の組み合わせが示す方向性に合致する追加のアイテムを提案できます。

大規模言語モデル（LLM）を活用したレコメンデーション

顧客が冬用のマフラー、ビーニー（ニット帽）、ミトン（手袋）を探しているシナリオを考えてみましょう。明らかに、この顧客は寒い気候での外出に備えています。ここで、小売業者が最近、厚手のウールソックスとスノーブーツを商品ラインナップに加えたとします。過去のデータにおけるインタラクションが不足しているため、従来のレコメンダーではこれらの新商品と顧客が閲覧している商品との関連性をまだ検出できないかもしれませんが、一般的な常識があれば、これらのアイテムが結びついていることは明らかです。

このような知識は、大量の一般的なテキストでトレーニングされた大規模言語モデル（LLM）に蓄積されていることがよくあります。そのテキストの中では、外出前に両方のアイテムを着用する人々の描写によってミトンとブーツが直接結びついていたり、「寒い」「雪」「冬」といった概念に関連付けられていたりすることで、その関係性が強化され、他の関連アイテムが引き寄せられます。

そして、マフラー、ビーニー、ミトンに関連する他のアイテムは何かをLLMに問いかけると、数十億もの内部パラメータに蓄積されたこれらの知識がすべて活用され、顧客が興味を持ちそうな追加アイテムの優先順位付きリストが提案されます。（図1）

">

このアプローチの素晴らしい点は、カート内のアイテムだけを個別に考慮するようLLMに求めることに限定されない点です。例えば、テキサス州南部でこれらの冬用アイテムを購入する顧客と、ミネソタ州北部で同じアイテムを購入する顧客とでは好みが異なる可能性があることを認識し、その地理的情報をLLMのプロンプトに組み込むことができます。また、プロモーションキャンペーンやイベントに関する情報を組み込んで、それらの取り組みに関連するアイテムを提案するようLLMに促すこともできます。ここでも、店舗スタッフのように、LLMはさまざまな入力をバランスよく処理し、有意義でありながら関連性の高いおすすめを導き出すことができます。

おすすめ商品と利用可能な商品の紐付け

しかし、LLMが提供する一般的なおすすめ商品の提案を、自社の商品カタログにある具体的なアイテムとどのように結びつければよいでしょうか。公開データセットでトレーニングされたLLMは、通常、小売業者固有の商品ラインナップに関する知識を持っておらず、そのようなモデルに小売業者固有の情報を学習させるには、膨大な時間とコストがかかります。

この問題に対する解決策は比較的シンプルです。オンラインで自由に利用できる多くのオープンソースモデルのような軽量な埋め込み（embedding）モデルを使用することで、各商品の説明情報やその他のメタデータを「埋め込み（embeddings）」と呼ばれるものに変換できます。（図2）

図2：all-MiniLM-L6-v2モデルを使用して生成された、スノーブーツの商品説明に関連する高度に省略された埋め込み。

埋め込みの概念は少し技術的になりますが、簡単に言うと、テキストを数値で表現したものであり、特定の言語内で認識される一連の概念や関係性をどのようにマッピングするかを示すものです。概念的に類似している2つのアイテム、例えば一般的な「スノーブーツ」と、具体的な「Acme Troopers（防水キャンバスとレザーのアッパーが冬の厳しさに耐え、雪の降る街並みや山道を快適に歩くことができる商品）」は、適切なLLMを通すと、非常に似た数値表現になります。各アイテムに関連付けられた埋め込み間の数学的な差（距離）を計算すると、それらの間の隔たりは比較的小さくなります。これは、これらのアイテムが密接に関連していることを示しています。

この概念を実際に活用するには、具体的なすべての商品説明とメタデータを埋め込みに変換し、これらを実行可能な検索インデックス（一般に「ベクトルストア」と呼ばれるもの）に保存するだけです。LLMが一般的なおすすめ商品を提案すると、それらをそれぞれ独自の埋め込みに変換し、ベクトルストアを検索して最も密接に関連するアイテムを見つけ出すことで、自社の商品ラインナップから顧客に提示すべき具体的なアイテムを特定できます。（図3）

">

Databricksでソリューションを統合する

ここで紹介したレコメンダーパターンは、商品の関連性に関する一般的な知識を活用して顧客に有益な提案を行うシナリオにおいて、組織が使用するレコメンダー群への素晴らしい追加要素となります。このソリューションを立ち上げるには、組織は大規模言語モデル（LLM）と軽量な埋め込みモデルにアクセスし、これら両方の機能と自社独自の情報を統合できる能力が必要です。これが完了したら、これらのアセットすべてを、おすすめ機能が必要とされるさまざまな顧客向けインターフェース全体で簡単に統合し、スケールできるソリューションへと変換する能力が必要になります。

Databricks Data + AI Platformを使用することで、企業はデータのプライバシーを維持しながら、実装とデプロイを容易かつコスト効率よく行える、一貫した統合環境を通じて、これらの各課題に対処できます。Databricksの新しいAI Search機能により、開発者は統合されたベクトルストアと、そこに格納されている埋め込みを最新の状態に保つワークフローを活用できます。新しいFoundation Model APIsを使用すると、開発者は最小限のセットアップで、オープンソースや独自の幅広い大規模言語モデル（LLM）を利用できます。さらに、強化されたModel Serving機能により、エンドツーエンドのレコメンダーワークフローをパッケージ化し、オープンで安全なエンドポイントの背後にデプロイして、幅広い最新アプリケーションとの統合を可能にします。

ぜひ、ご自身でお確かめください。Databricksの最新のソリューションアクセラレータでは、ここで紹介したパターンを実装したLLMベースの製品レコメンダーを構築し、これらの機能を統合してコンセプトから実運用へのデプロイまでをどのように進めるかを示しています。すべてのコードは無料で公開されています。企業のデータ活用の可能性を最大限に引き出す支援の一環として、ぜひお客様の環境でこのソリューションをお試しください。

ノートブックをダウンロードする

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事