傾向スコアリングによるパーソナライゼーションの始め方

消費者は、パーソナライズされた形でのアプローチをますます期待するようになっています。最近購入した商品を補完する製品を勧めるメール、頻繁に閲覧するカテゴリの製品のセールを告知するオンラインバナー、あるいは関心に合わせたコンテンツなど、消費者がお金を使う場所の選択肢は増えており、個人のニーズや好みを認識してくれる店舗やブランドを選ぶ傾向があります。

McKinseyによる最近の調査では、消費者の4分の3近くがショッピング体験の一部としてパーソナライズされたインタラクションを期待していることが明らかになっています。この調査に含まれる研究では、これを正しく実践している企業は、パーソナライズされたエンゲージメントを通じて収益を40%多く生み出すことができると指摘されており、パーソナライゼーションは小売業のトップ企業にとって重要な差別化要因となっています。

それでも、多くの小売業者がパーソナライゼーションに苦戦しています。Forresterによる最近の調査によると、小売業者が自分に関連性の高い体験を提供できていると回答した消費者は、USでわずか30%、UKで26%にとどまっています。3radicalによる別の調査では、カスタマイズされたおすすめを受け取っていると強く感じている回答者はわずか18%で、52%は無関係な連絡やオファーを受け取ることに不満を感じていました。消費者がブランドや店舗を簡単に切り替えられるようになっている今、パーソナライゼーションを正しく行うことは、ますます多くの企業にとって優先事項となっています。

パーソナライゼーションはジャーニーです

パーソナライゼーションに初めて取り組む組織にとって、1対1のエンゲージメントを提供するというアイデアは途方もないことに思えるかもしれません。サイロ化されたプロセス、不十分なデータ管理、データプライバシーへの懸念を克服し、このアプローチに必要なデータをどのように集めればよいでしょうか。限られたマーケティングリソースだけで、本当にパーソナライズされていると感じられるコンテンツやメッセージをどのように作成すればよいでしょうか。作成したコンテンツが、変化し続けるニーズや好みを持つ個人に効果的にターゲットされるようにするにはどうすればよいでしょうか。

パーソナライゼーションに関する文献の多くは、その斬新さ（必ずしも効果的とは限りませんが）で際立つ最先端のアプローチを強調していますが、現実にはパーソナライゼーションはジャーニーです。初期段階では、プライバシーや顧客の信頼を維持しやすいファーストパーティデータの活用に重点が置かれます。実績のある機能を導入するために、かなり標準的な予測手法が適用されます。価値が実証され、組織がこれらの新しい手法に慣れるだけでなく、それらを業務に統合するさまざまな方法を開発するにつれて、より高度なアプローチが採用されるようになります。

プロペンシティスコアリングは、多くの場合、パーソナライゼーションへの第一歩です

パーソナライゼーションのジャーニーにおける最初のステップの1つは、多くの場合、個々の顧客の好みを把握するために売上データを調査することです。プロペンシティスコアリングと呼ばれるプロセスにおいて、企業はオファーや特定の製品に関連するコンテンツに対する顧客の潜在的な受容性を推定できます。マーケターはこれらのスコアを使用して、手元にある多くのメッセージのうちどれを特定の顧客に提示すべきかを決定できます。同様に、これらのスコアを使用して、特定のエンゲージメント形態に対して受容性が高い、または低い顧客セグメントを特定できます。

ほとんどのプロペンシティスコアリングの出発点は、過去のインタラクションから数値属性（特徴量）を計算することです。これらの特徴量には、顧客の購入頻度、特定の製品カテゴリに関連する支出の割合、最終購入日からの経過日数、および履歴データから導出されるその他の多くのメトリクスが含まれます。次に、これらの特徴量が計算された期間の直後の履歴期間を調べて、特定のカテゴリ内の製品の購入やクーポンの利用など、関心のある行動がないか確認します。その行動が観察された場合、特徴量に「1」のラベルが関連付けられます。観察されなかった場合は、「0」のラベルが割り当てられます。

データサイエンティストは、特徴量をラベルの予測因子として使用し、関心のある行動が発生する確率を推定するモデルをトレーニングできます。マーケターは、このトレーニング済みモデルを直近の期間に計算された特徴量に適用することで、顧客が近い将来にこの行動をとる確率を推定できます。

利用可能な多数のオファー、プロモーション、メッセージ、その他のコンテンツがあるため、それぞれ異なる行動を予測する多数のモデルがトレーニングされ、この同じ特徴量セットに適用されます。関心のある各行動のスコアで構成される顧客ごとのプロファイルが作成され、ダウンストリームシステムに公開されて、マーケティングによるさまざまなキャンペーンのオーケストレーションに使用されます。

Databricksはプロペンシティスコアリングに不可欠な機能を提供します

プロペンシティスコアリングは簡単そうに聞こえますが、課題がないわけではありません。プロペンシティスコアリングを導入している小売業者との対話の中で、私たちはよく同じ3つの質問に直面します。

1. プロペンシティモデルのトレーニングに使用する数百、時には数千もの特徴量をどのように維持すればよいでしょうか。
2. マーケティングチームが実施したい新しいキャンペーンに合わせたモデルを、どのように迅速にトレーニングすればよいでしょうか。
3. 顧客のパターンが変化（ドリフト）するにつれて再トレーニングされたモデルを、どのように迅速にスコアリングパイプラインに再デプロイすればよいでしょうか。

Databricksでは、企業のエンドツーエンドのニーズを念頭に置いて構築された分析プラットフォームを通じて、お客様を支援することに注力しています。そのため、堅牢なプロペンシティスコアリングプロセスの一部としてこれらの課題に対処するために使用できる、Feature Store、AutoML、MLflowなどの機能をプラットフォームに組み込んでいます。

Feature Store

Databricks Feature Storeは、さまざまなモデルトレーニング全体で特徴量の永続化、検出、共有を可能にする中央リポジトリです。特徴量が取得されると、リネージやその他のメタデータも取得されるため、他のユーザーが作成した特徴量を再利用したいデータサイエンティストは、確信を持って簡単に再利用できます。標準的なセキュリティモデルにより、許可されたユーザーとプロセスのみがこれらの特徴量を使用できるため、データサイエンスプロセスはデータアクセスに関する組織のポリシーに従って管理されます。

AutoML

Databricks AutoMLを使用すると、業界のベストプラクティスを活用してモデルを迅速に生成できます。ガラスボックス（中身が見える）ソリューションとして、AutoMLはまず、シナリオに合わせたさまざまなモデルバリエーションを表すノートブックのコレクションを生成します。さまざまなモデルを反復的にトレーニングして、データセットに最適なモデルを決定する一方で、それぞれのモデルに関連付けられたノートブックにアクセスできます。多くのデータサイエンスチームにとって、これらのノートブックはモデルバリエーションをさらに探索するための編集可能な出発点となり、最終的には目的を達成できると確信できるトレーニング済みモデルに到達することができます。

MLflow

MLflowは、Databricksプラットフォーム内で管理されるオープンソースの機械学習モデルリポジトリです。このリポジトリにより、データサイエンスチームは、AutoMLとカスタムトレーニングサイクルの両方によって生成されたさまざまなモデルの反復を追跡および分析できます。そのワークフロー管理機能により、組織はトレーニング済みモデルを開発から本番環境に迅速に移行できるため、トレーニング済みモデルが業務に即座に影響を与えることができます。

Databricks Feature Storeと組み合わせて使用すると、MLflowで保存されたモデルは、トレーニング中に使用された特徴量の情報を保持します。推論のためにモデルが取得されると、この同じ情報によってモデルはFeature Storeから関連する特徴量を取得できるため、スコアリングワークフローが大幅に簡素化され、迅速なデプロイが可能になります。

プロペンシティスコアリングワークフローの構築

これらの機能を組み合わせて使用することで、多くの組織が3部構成のワークフローの一部としてプロペンシティスコアリングを実装しています。第1部では、データエンジニアがデータサイエンティストと協力して、プロペンシティスコアリングに関連する特徴量を定義し、それらをFeature Storeに保存します。その後、新しいデータが入力されるたびに最新の特徴量値を計算するために、日次またはリアルタイムの特徴量エンジニアリングプロセスが定義されます。

次に、推論ワークフローの一部として、利用可能な最新の特徴量に基づいて傾向スコアを生成するために、顧客識別子が事前にトレーニングされたモデルに提供されます。モデルとともにキャプチャされた Feature Store の情報により、データエンジニアはこれらの特徴量を簡単に取得し、目的のスコアを生成できます。これらのスコアは、Databricks プラットフォーム内での分析用に保存されることもありますが、通常は下流のマーケティングシステムに配信されます。

最後に、モデルトレーニングワークフローにおいて、データサイエンティストは顧客行動の変化を捉えるために、傾向スコアモデルを定期的に再トレーニングします。これらのモデルは MLflow に保存されるため、変更管理プロセスを使用してモデルを評価し、組織の基準を満たすモデルを本番ステータスに昇格させます。推論ワークフローの次のイテレーションでは、各モデルの最新の本番バージョンが取得され、顧客スコアが生成されます。

これらの機能がどのように連携するかを示すために、公開されているデータセットに基づいて、傾向スコアリングのエンドツーエンドのワークフローを構築しました。このワークフローは、上記で説明したワークフローの3つの要素を示しており、Databricks の主要な機能を使用して効果的な傾向スコアリングパイプラインを構築する方法を紹介しています。

アセットをこちらからダウンロードし、Databricks プラットフォームを使用したパーソナライズの独自の基盤を構築するための出発点としてご活用ください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事