StagwellがDatabricks上でプライバシーに配慮したIDマッチングを構築した方法

今日のブランドが直面しているアイデンティティマッチングの課題

ブランドは、購買履歴、CRMレコード、ロイヤルティプログラム、ウェブサイトでのインタラクションなど、ファーストパーティデータ資産の構築に多大な投資を行っています。しかし、そのデータはシステム間で断片化されており、チャネルを横断して活用することが困難です。また、ファーストパーティデータだけでは、顧客の全体像を捉えきれていません。

完全なオーディエンスプロファイルを構築するには、ブランドは自社のレコードをアイデンティティプロバイダーのスパイン（基盤データ）と照合し、メール、デバイスID、クッキー、オフラインのタッチポイントにまたがるクロスチャネルのアイデンティティグラフを作成する必要があります。

従来のアプローチは困難を伴うものでした。ブランドが顧客レコードをサードパーティのプラットフォームにエクスポートし、アイデンティティプロバイダーがマッチングアルゴリズムを実行し、その結果が戻ってくるまでに数日かかります。すべてのステップにリスクが伴います。データはブランドの安全な環境から持ち出され、PII（個人特定情報）がネットワーク上を移動し、コンプライアンスチームは交渉に数週間かかることもあるデータ共有契約をレビューしなければなりません。

同時に、プライバシー規制やプラットフォームの制限により、以下のような状況が生じています。

• サードパーティクッキーの信頼性低下
• データ共有のリスク増大
• アイデンティティスティッチングの複雑化

これにより、根本的なギャップが生じています。ブランドはデータを保有しているものの、それを安全に統合されたアイデンティティレイヤーに接続する手段が不足しているのです。

このギャップを埋めるために、ブランドには以下が必要です。

• 包括的なアイデンティティグラフと自社データを照合すること
• 追加のシグナルや属性でデータを強化（エンリッチ）すること
• 生のユーザーレベルデータを保護しながらこれらを行うこと

Stagwell傘下のグローバルマーケティングサービスエージェンシーであるThe Marketing Cloudは、クライアント企業を通じてこの摩擦を直接経験しました。そこで彼らは、より優れたモデルを推進しました。それは、ブランドが自社の生データを自社インフラの外に送信することなく、Stagwellのアイデンティティマッチング機能にアクセスできるモデルです。

マーケットプレイスアプリが配信モデルをどのように変えるか

従来のクリーンルームの実装は、手間がかかり、エンジニアリングの負担が大きく、デプロイに時間がかかる場合がありました。

Databricks Marketplaceのアプリは、従来のデータ共有モデルを覆します。「データを送信してもらえれば処理します」というモデルの代わりに、「アプリをインストールすれば、データがすでに存在する場所で実行される」というモデルになります。ブランドは、事前構築されたアプリケーションをインストールし、データを接続して、アイデンティティマッチングのワークフローを即座に実行できるようになります。

アプリケーションがDatabricks Marketplaceに公開されると、Databricksワークスペースを持つすべてのブランドがアクセスをリクエストし、直接インストールできます。アプリは、自動プロビジョニングされた独自のサービスプリンシパルを使用して、ブランド自身の環境内で実行されます。ブランドのデータがネットワークの境界を越えることはありません。

これはデータプロバイダーにとって根本的な転換です。以前は、独自のアルゴリズムを配布することは、ソースコードを公開する（パートナーはこれを嫌がります）か、ブランドにデータのエクスポートを要求する（コンプライアンスチームが反対します）かのどちらかを意味していました。マーケットプレイスアプリは両方の問題を解決します。アプリのコードはコンテナ化されて利用者からは見えない状態になり、ブランドのデータは自社のUnity Catalog内に留まります。

マーケットプレイスでの配信により、デプロイにかかる時間は数ヶ月から数分に短縮され、標準化されたワークフローによって使いやすさが向上し、ガバナンスがプラットフォームに組み込まれます。Stagwellは、このモデルを本番環境に導入した最初のパートナーの1つでした。

Stagwellが構築したものとその仕組み

Stagwellは、ブランドのファーストパーティデータの安全な取り込み、Stagwell Identity Spineとの照合、プライバシーに配慮したインサイトの生成、そしてオーディエンスの作成とアクティベーションへのシームレスな移行を可能にする、マーケットプレイス対応のクリーンルームアプリケーションをDatabricks上に構築しました。

このシステムの核心は、安全なコラボレーションのためのDatabricks Clean Rooms、ガバナンスとアクセス制御のためのUnity Catalog、アイデンティティマッチングを実行するためのジョブとノートブック、そしてユーザーエクスペリエンスのためのReactおよびExpressのアプリレイヤーの組み合わせにあります。

エンドツーエンドの流れは以下の通りです。

• ステップ1：インストールと認証
  • ブランド側の管理者がDatabricks MarketplaceでStagwellのアプリを見つけ、自社のワークスペースにインストールします。インストール中、管理者はアプリを必要なリソース（クエリ用のSQLウェアハウスや設定用のシークレットなど）に承認およびバインドする必要があります。アプリは、環境変数として資格情報が注入された、自動プロビジョニングされたサービスプリンシパルを受け取ります。手動での資格情報の設定は不要です。
• ステップ2：ブランドデータの接続
  • ブランドのユーザーがアプリを開くと、ワークスペースの標準的なOAuthフローを通じて認証されます。アプリは、On-Behalf-Of（OBO）認可を使用して、ログインしているユーザーのアイデンティティでブランドのデータにアクセスします。これにより、すべてのUnity CatalogのACL、行フィルター、列マスクが自動的に適用されます。アプリは、そのユーザーが閲覧を許可されているものだけを正確に表示し、それ以上のものは表示しません。
• ステップ3：クリーンルームマッチの開始
  • ブランドユーザーは、照合するファーストパーティのテーブルを選択し、プロセスを開始します。バックグラウンドでは、アプリがStagwellのバックエンドを呼び出して、Packaged Clean Roomを作成します。Stagwellは自社のIdentity Spineデータとマッチング用のノートブックを提供し、ブランドを実行者（ランナー）として指定します。
  • 「パッケージ化（packaged）」という指定が重要です。これにより、通常のクリーンルームで必要な承認ワークフローが不要になります。ブランドはマッチング用のノートブックをすぐに実行できます。そして極めて重要なことに、ブランドはノートブックの名前は確認できますが、そのソースコードを見ることはできません。これにより、Stagwell独自の照合ロジックが保護されます。
• ステップ4：アイデンティティマッチの実行
  • ブランドはクリーンルーム内でマッチング用のノートブックを実行し、以下の操作を行います。
    • ブランドデータとID Spineを結合する
    • 複数の識別子にわたってアイデンティティを解決する
    • 以下を計算する：
      • マッチ率
      • カバレッジ指標
      • 世帯および消費者ID
  • ノートブックは双方の入力カタログからデータを読み込み、共有出力スキーマに結果を書き込みます。Stagwellとブランドの両方が、Delta Sharingを介してマッチング結果を確認できます。
  • ブランドの生の顧客データがStagwellに見えることはありません。また、Stagwellのマッチングアルゴリズムがブランドに見えることもありません。クリーンルームは、プラットフォームレベルでこの分離を強制します。
  • すべての処理はクリーンルームの境界内で行われるため、生データの漏洩を防ぎ、ポリシーを完全に適用できます。
• ステップ5：マッチングからアクティベーションへ
  • マッチングが完了すると、アプリはデモグラフィックス、行動セグメント、地理的分布、デバイスの内訳などのインサイトを提供します。出力には、集計されたデータセットや、マッチングされたデータに関する重要なインサイトを生成するためのチャットベースのインターフェースが含まれます。これらの出力は、エクスポートしたり、ダウンストリームのプラットフォームでアクティベートしたりできます。
  • アイデンティティマッチングは始まりにすぎません。マッチング結果が提供されたら、ブランドは強化されたオーディエンスプロファイルをアクションにつなげる必要があります。
  • ブランドのファーストパーティデータが完全なマッチングに至らない場合、StagwellのCrosswalkアプリケーションが追加のアイデンティティプロバイダーと連携し、高精度なダウンストリームマッチングと包括的なオーディエンスカバレッジを確保します。
  • そこから、ブランドはStagwell Agentic Targeting System（SATS）を通じて、強化されたオーディエンスをアクティベートします。これは、マーケティングチームが会話形式でオーディエンスを検索、発見、デプロイできるようにするAI搭載ソリューションであり、データの強化からメディアのアクティベーションまでのループを完結させます。

認証アーキテクチャの詳細

アプリは、それぞれ目的に合わせてスコープ設定された4つの異なるアイデンティティレイヤーを使用します。

On-Behalf-Of（OBO）ユーザートークン - ブランドユーザーがログインすると、アプリはx-forwarded-access-tokenヘッダーを介してそのOAuthトークンを受け取ります。このトークンは、テーブルのプレビュー、SQLウェアハウスへのクエリ、ブランドの共有識別子の取得など、ブランドのデータに触れるあらゆる操作に使用されます。ユーザーのアイデンティティに基づいてUnity CatalogのACLが適用されます。

アプリのサービスプリンシパル - 自動プロビジョニングされたSPは、テレメトリ、内部状態管理、StagwellのバックエンドAPIへの呼び出しなど、アプリレベルの操作を処理します。このアイデンティティのスコープはアプリ自体に限定されており、ユーザーレベルの権限は持ちません。

Stagwellのバックエンドサービスプリンシパル - Stagwell独自のM2M OAuth資格情報が、クリーンルームの作成、アセットの追加、ノートブックの提供、ブランドのランナーとしての指定など、相手側でのクリーンルームのライフサイクルを管理します。

ブランドユーザーの個人用アクセストークン（PAT） - ブランドのクリーンルーム共同作業者は、クリーンルーム、SQL、Unity Catalogの権限を持つスコープ付きPATを生成し、シークレットリソースバインディングを介してアプリのインストール時に提供します。このトークンは生成したユーザーのアイデンティティを保持するため、ワークスペース間でネイティブに動作し、ブランド側でクリーンルームレベルの認可を必要とする操作（ブランドテーブルの追加やマッチングノートブックの実行など）を可能にします。

マーケットプレイス配信においてパッケージ化されたクリーンルームが重要な理由

標準的なクリーンルームでは承認ステップが必要です。つまり、ノートブックを実行する前に共同作業者がレビューして承認する必要があります。これはアドホックなパートナーシップには理にかなっていますが、何百ものブランドが同じアプリをインストールするようなマーケットプレイス配信モデルにとっては摩擦（ボトルネック）を生み出します。

パッケージ化されたクリーンルーム（Packaged Clean Rooms）はこの摩擦を解消します。Stagwellがパッケージ化されたクリーンルームとして指定されたクリーンルームを作成すると、ブランドはクリーンルームのセットアップ直後にノートブックを実行できます。承認待ちのキューも、やり取りの手間も、遅延もありません。

これこそが、マーケットプレイスモデルを大規模に実現可能にする理由です。ブランドはアプリをインストールし、データを接続し、わずか数分で最初のアイデンティティマッチングを実行できます。数週間も待つ必要はありません。

これがデータコラボレーションエコシステムにとって意味すること

業界は、静的なデータ共有、手動のオンボーディング、リスクの高い統合から、安全でガバナンスの効いたコラボレーション、オンデマンドのアイデンティティ解決、そして製品化されたデータワークフローへと、根本的なシフトを遂げつつあります。

Stagwellのアプリは、あらゆるデータプロバイダーが追随できるパターンを示しています。次のような可能性を考えてみてください。

• 小売メディアネットワークがアトリビューションモデルをMarketplaceアプリとしてパッケージ化し、CPGブランドが購買データを共有することなく、キャンペーンのリフト効果を測定し、価値の高いセグメントをアクティベートできるようにします。
• 医療データ企業が、病院システム独自のDatabricks環境内で動作する、患者コホートのマッチングおよびアウトリーチ調整ツールを配信します。
• 金融データプロバイダーが、銀行の顧客レコードをそのワークスペースから一切出すことなく処理する、信用リスクのエンリッチメントや事前審査済みオファーのアクティベーション機能を提供します。

いずれのケースでも、価値提案は同じです。データプロバイダーはMarketplaceを通じて自社のIPを収益化し、消費者はデータ共有に伴うコンプライアンスのオーバーヘッドなしに、インサイトを獲得してオーディエンスをアクティベートできます。

Stagwellのアプローチは、データの深さがこのモデルをどのように増幅させるかを示しています。彼らのID Spineは、行動シグナルと、The Harris Poll、Harris Quest Brand、National Research Groupからの意識データを組み合わせ、消費者の「行動」と「考え」を融合させることで、標準的なアイデンティティマッチングを超える高品質なオーディエンスを提供します。

ブランドにとって、これはインサイト獲得までの時間の短縮、オーディエンス理解の向上、プライバシーコンプライアンスの強化、そしてファーストパーティデータをアクティベートする新しい方法を意味します。エコシステム全体にとって、クリーンルームとマーケットプレイスはデータコラボレーションのオペレーティングシステムになりつつあります。

ビルディングブロックはすべてDatabricksプラットフォームの一部です。ガバナンスのためのUnity Catalog、配信のためのMarketplace、プライバシーを保護した計算のためのパッケージ化されたクリーンルーム（Packaged Clean Rooms）、結果配信のためのDelta Sharing、そして実行環境のためのDatabricks Appsです。新しいのは、これらがどのように組み合わさって、データ駆動型アプリケーションの完全な配信チャネルを構成するかという点です。

アイデンティティの未来は、より優れたグラフを構築することだけではありません。製品化された体験を通じて、アイデンティティ解決をアクセシブル、安全、かつスケーラブルにすることです。そして、それこそがマーケットプレイス主導のクリーンルームアプリが実現するものです。

始めるには

Databricks Marketplaceを通じてアルゴリズムやモデルを配信したいデータプロバイダーの方は、次のステップに進んでください。

1. アーキテクチャパターンとセキュリティのベストプラクティスについて、Marketplaceアプリの構築に関するPartner Well-Architected Frameworkガイドを確認してください。
2. Databricks Clean Roomsのドキュメントを参照し、パッケージ化されたクリーンルームがどのようにプライバシーを保護した計算を可能にするかを理解してください。
3. Databricks Appsのクイックスタートを試して最初のアプリを構築・デプロイし、既存のセットアップがない別のワークスペースにインストールしてテストしてください。
4. Databricksのアカウントチームに連絡し、Marketplaceでの公開と配信についてご相談ください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事