2023年10月18日

複雑なETLなしで360度顧客ビューを実現：レイクハウス基盤のコンポーザブルCDP構築方法

翻訳：Saki Kitaoka. - Original Blog Link

顧客データは、あらゆる業界の現代企業にとって生命線です。組織がデータレイクハウスを活用してデータチームや業務プロセスを高度化するにつれ、レイクハウスは単なる「分析のための信頼できる唯一の情報源（SSOT）」にとどまらず、マーケティング、オペレーション、パーソナライゼーションを推進する中核的なエンジンとして活用されるようになっています。

しかし、ETLの負担を最小限に抑えながら「360度顧客ビュー」を構築するには、クラウドベースの統合CDPやCRMソリューションの存在が重要になります。従来のパッケージ型CDPでは、データを別システムへ物理的に複製する必要があり、反復的なETLパイプラインの構築を強いられるうえ、分析や機械学習（ML）環境と分断されがちでした。その結果、データの重複やレイテンシの増大、さらにはガバナンスの複雑化といったサイロ化の問題を招いてきました。

レイクハウスを基盤とする「コンポーザブルCDP（Composable CDP）」は、こうした構造的な課題を解決するアプローチです。顧客データをデータレイクハウスに直接統合することで、データの複製を排除し、単一のストレージ基盤上で分析、セグメンテーション、機械学習モデリング、さらにはデータアクティベーションまでを一気通貫で実行できるようになります。

こうしたData LakehouseネイティブなCDPエコシステムをさらに強化する取り組みの一環として、Databricks VenturesはHightouchへの出資を発表しました。Hightouchは、DatabricksユーザーがLakehouseから直接顧客データを収集・保存・モデリングし、さらに各種ツールへアクティベーションするために必要な機能を提供します。このLakehouse中心のアーキテクチャにより、企業は自社のデータ基盤を中核に据えた「コンポーザブルCDP」を構築できるようになります。

この記事では、LakehouseネイティブなコンポーザブルCDPの本質とは何か、それが顧客データ戦略においてなぜ有効なのか、そして最も重要な「自社でCDPを構築する方法」について詳しく解説します。

Customer Data Platform（CDP）とは何ですか？

CDPは、顧客データを収集、保存、モデル化、活性化する方法を企業に提供します。最終的には、マーケティング担当者、広告主、その他のビジネス・ユーザーが日常的に利用するダウンストリーム・ツールに顧客データを送信することで、顧客データのユースケースを強化します。CDPは、顧客データの真実のソースとなることを約束し、企業が各顧客の顧客に関する360度のビューを構築するのに役立ちます。

一般的に、CDPにはいくつかの主要コンポーネントがあります：

イベントトラッキング：ウェブサイトやモバイル・アプリケーションに実装可能なSDKを使用して、デジタル・ユーザーのインタラクションを収集します。
アイデンティティの解決：異なるデバイス、経時的なインタラクションなどからの異種顧客レコードの重複排除と統一。
オーディエンスの構築：マーケターフレンドリーなUIで、さまざまなセグメントの顧客オーディエンスを定義します。
データの活用：顧客オーディエンスをマーケティングオートメーションやビジネスオペレーションなどの下流ツールに同期します。

歴史的に、CDPソリューションはオールインワンのバンドルプラットフォームでした。従来のCDPを購入すると、専用のデータストレージで顧客データを収集・モデリングし、この独立したストレージレイヤーからオーディエンスを構築してアクティベーションするためのツールを提供します。

コンポーザブルCDPとは？

コンポーザブルCDPは、データレイクハウスのような既存のデータインフラを業務の中心に置く、顧客データへの新しいアプローチです。従来のCDPが独自のデータストレージを備えたバンドルプラットフォームであるのに対し、コンポーザブルCDPはバンドルされていないため、技術スタックに柔軟性があり、データストレージとモデリングにデータレイクハウスを使用することができます。

Building a complete and composable CDP on the Lakehouse

データレイクハウスのコンポーザブルCDPは、顧客マーケティングのための強力で人気のあるソリューションとなっています。この人気により、多くのCDPが「コンポーザブル」という言葉で販売されるようになりましたが、時には誤っている場合もあるため、コンポーザブルの実際の意味を明確に定義することが不可欠です。

コンポーザブルCDPは、従来のCDPとは4つの点で異なります：

データインフラ上で動作します。コンポーザブルCDPは、外部のブラックボックスにデータをコピーすることなく、データレイクハウスにある全てのデータとモデリングを使用することができます。
スキーマにとらわれません。 データレイクハウス、そしてコンポーザブルCDPには、データのあり方に関する制限や意見はありません。世帯、ペット、銀行口座など、ビジネスにとって重要なエンティティを中心に顧客データを整理することができます。従来のCDPは、ユーザーやイベントを中心に構築された厳格なデータモデルに依存していました。
モジュール化、相互運用が可能です。すべての企業は、CDPの購入を決定する前に、何らかのデータインフラ（イベント収集、ETL、ダッシュボードなど）を持っています。コンポーザブルCDPは、既に持っているものと連携し、必要な機能のギャップを埋めていきます。
価格はアンバンドル価格です。プラットフォームに付属するシェルフウェアではなく、使用する機能に対してのみ支払いが必要です。

Lakehouse Composable CDPのメリット

Lakehouse Composable CDPは、すでにデータレイクハウスで行っているデータ投資とモデリングからメリットを得られます。この単一の真実のソースと機械学習は、すべてのビジネスユースケースを支援します。これにより、ビジネスチームとデータチームの間で好循環のフィードバックサイクルが生まれます。ビジネスチームは既存のデータを簡単に利用し、さらなるイノベーションに役立つ追加モデルや属性についてデータチームとコミュニケーションをとることができます。例えば、3,500以上のホスピタリティブランドで使用されている製品を運営するMews社は、Lakehouseを使用して、バラバラだったデータを単一の真実のソースに統一してから、そこから直接ユースケースをパワーアップしています。

Lakehouse Composable CDPのデータの包括性は、そのデータの柔軟性に匹敵します。Lakehouseは、ビジネスが必要とするあらゆるスキーマにデータを合わせることができます。従来のCDPは、あらかじめ定義されたスキーマに適合するウェブイベントやその他の狭いユーザー属性に制限されていました。レイクハウスは、複雑な企業がCDPのユースケースに適したデータをサポートするのに適しています。例えば、PetSmartは各人が所有するペットに基づいたマーケティングキャンペーンをレイクハウスから実施しています。従来のCDPは、イベントとユーザー（人）のデータモデルしか持っていないため、各ユーザーの複数の「ペット」や、誕生日、薬、フードブランドなどの関連する特徴も追跡することは不可能でした。

データレイクハウスはデータガバナンスにも優れており、顧客データアーキテクチャの各段階で完全な透明性、保証、監査性を提供します。LakehouseのCDPを使用することで、データチームが顧客データを完全にコントロールし、所有することができます。

また、Lakehouseを中心にコンポーザブルCDPアーキテクチャを構築することで、モジュール性と将来性も確保できます。イベント収集など、CDP技術スタックの一部を変更したい場合、コアとなるデータ資産は他の技術スタックに関係なくレイクハウスに安全に保管されるため、自由に判断して変更することができます。一元的なCDPベンダーに縛られることなく、ビジネスの進化に合わせてCDPのユースケースごとに適切な技術プロバイダーを選択することができます。

さらに、レイクハウスのコンポーザブルCDPは、従来のCDPよりも投資対効果が高いです。新しいシステムでゼロから始めるのではなく、既存のインフラで作業するため、価値実現までの時間が大幅に短縮されます。そのため、コンポーザブルCDPはコスト効率に優れています。冗長機能を備えたオールインワンのプラットフォームを購入するのではなく、必要なCDPコンポーネントを購入するだけです。また、追加の冗長プラットフォームにデータやコンピューターを保存するための費用を支払う必要もなく、メインのソース・オブ・トゥルースであるデータレイクハウスのスケールメリットを享受できます。

コンポーザブルCDP手法： HightouchとDatabricksのパートナーシップ

HightouchとDatabricksはよりよく連携し、企業に顧客データを活性化する最善の方法を提供します。

Hightouchは、組織がLakehouseネイティブCDPを構成するために必要な、以下を含むすべてのコンポーネントを提供します：

イベント収集：イベントを収集し、Lakehouseにロードします。
アイデンティティ解決：データをモデル化し、Lakehouseで顧客360のプロファイルを統一します。
オーディエンスの構築: 顧客を属性に基づいて即座にオーディエンスにグループ化し、マーケターフレンドリーなインターフェイスでオーディエンス間のマーケティングキャンペーンや実験を調整します。
データの活用：データをレイクハウスから200以上のダウンストリームツールに同期し、ライフサイクルマーケティング、広告キャンペーン、運用分析などのCDPユースケースを実現します。

Databricks レイクハウス基盤コンポーザブルCDPのアーキテクチャ図。データソースからのイベント収集、Customer 360 Toolkit、データアクティベーション、リバースETL、パーソナライゼーションAPI、データオンボーディングを経て、広告プラットフォームやSaaSツールへと連携する360度顧客ビューの構造を示している。

Hightouchはまた、従来のCDPにはない機能をLakehouseユーザーに提供しています。例えば、Match Booster は、ファーストパーティデータをサードパーティの識別子でエンリッチし、広告プラットフォームへのインフライトで、Databricksの顧客とのマッチング率を直接向上させるもので、Liverampのようなデータオンボーディングプラットフォームと同様の役割を果たします。Personalization API はまた、ウェブサイトやアプリがデータレイクハウス内の予測モデルを呼び出し、リアルタイムのパーソナライゼーションを実現することもできます。

重要なことは、ハイタッチがコンポーザブルCDPのアイデアを完全に受け入れていることです。必要な数だけ、または必要な数だけ、これらの製品でレイクハウスを構築することができます。Lakehouseで直接dbtによるID解決を行いたい場合は、Hightouchから冗長サービスを購入する必要はありません。コンポーザビリティとは、お客様自身の冒険を選択することであり、組織のニーズに焦点を当て、必要なものだけを追加することができます。

コンポーザブルCDPを使用するには

Data Lakehouse上でコンポーザブルCDPを構築することは、かつてないほど簡単です。Databricksを無料で開始し、Hightouchのソリューションエンジニアに相談して、必要なコンポーザブルCDP機能の実装プランを決定することができます。