2023年12月19日

SAP Datasphere と Databricks Data + AI Platform でマーケティングキャンペーンの効果を分析する

によってクリシュナ・サティアバラプ, カーラ・フィリップス、サンゲータ・クリシュナモワルティによる投稿

Archived. This article has not been updated since the publish date above. The dynamic nature of information means that previously accurate content can become outdated or even obsolete over time. Readers are advised to exercise due diligence and cross-check any information found in this blog post before making decisions or adopting any practices based on said information.

効果的なキャンペーンは、商品の売上を増やし、在庫を処分し、顧客を増やし、新商品を紹介することで、企業の収益を向上させることができます。キャンペーンには、オフラインまたはオンラインチャネルを通じた販売促進、クーポン、リベート、季節割引などが含まれます。

そのため、キャンペーンを綿密に計画し、その効果を確実にすることが重要です。キャンペーンが販売成績に与える影響を分析することも同様に重要です。効率的な分析により、企業は過去のキャンペーンから学び、今後の販売促進を改善することができます。

チャレンジとモチベーション：

過去のデータを分析し、マーケティングキャンペーンのために正確な機械学習予測を行うことは、非常に困難なことです。それぞれのキャンペーンには独自の指標があり、それぞれのケースに合った分析アプローチを適応させる必要があります。さらに、キャンペーンではさまざまなデータソースやプラットフォームを利用するため、データ形式や構造も多種多様になります。これらの多様なソースからのデータを統合データセットに統合することは困難であり、徹底的なデータ統合とクレンジング手順を必要とします。データの正確性を確保し、時間枠を調整し、予測に関連する特徴を設計することが不可欠であり、これがこの分析作業の複雑さをさらに高めています。

解決策

そこで、ビジネス・データ・ファブリック・アーキテクチャをサポートするソリューションが、すべてをより簡単かつ効率的にします。

SAP Datasphereは、SAP BTP 上に構築された包括的なデータサービスであり、ビジネス・データ・ファブリック・アーキテクチャの基盤です。SAP Datasphere の分析モデルを使用することで、これらの複数のソースからのデータを重複させることなく整合させることができます。キャンペーンの効果を評価する重要な指標の1つは、クリック数やインプレッション数を含むトラフィック指標です。キャンペーンにまつわるすべての指標をストリームし、収集し、統合する効率的な方法を持つことが重要です。

Databricksデータインテリジェンスプラットフォームは、企業がすべてのデータとAIを効果的に管理、活用、アクセスできるようにします。レイクハウス・アーキテクチャをベースに構築されたこのプラットフォームは、データとAIにまたがる統合ガバナンス・レイヤーと、ETL、SQL、機械学習、BIにまたがる単一の統合クエリ・エンジンを備え、データレイクとデータウェアハウスの最良の要素を組み合わせることで、コスト削減とデータおよびAIイニシアチブの迅速な実現を支援します。Unityカタログは、構造化データ、非構造化データ、機械学習モデル、ノートブック、ダッシュボード、ファイルをさまざまなクラウドやプラットフォームで効率的に管理できるようにします。Unity Catalogを通じて、データサイエンティスト、アナリスト、エンジニアは、信頼性の高いデータとAI資産を発見、アクセス、コラボレーションするためのセキュアなプラットフォームを得ることができます。この統合されたガバナンスアプローチは、合理的な方法で規制コンプライアンスを確保しながら、データとAIの両方のイニシアチブを加速します。

SAP/Databricks プラットフォーム共同アーキテクチャ — Figure 1: SAP/Databricks platforms Joint Architecture

SAP DatasphereとDatabricks Platformは、高度なアナリティクス、予測、360^oキャンペーン分析のためのキャンペーン費用に対する売上高の比較を通じて、ビジネスデータに価値をもたらします。

エンド・ツー・エンドのデータフロー — Figure 2: End to End data flow

キャンペーン分析には3つのデータソースがあります：

a. 販売履歴データ：このデータはSAP S/4HANAの財務データから生成され、過去の販売情報の豊富なソースを提供します。

b.キャンペーンデータ：このデータは、SAP Marketing Cloud システムから取得し、さまざまなマーケティングキャンペーン戦略とその結果に関する洞察を提供します。

c.クリックストリームデータ：Kafka経由でDatabricksにストリーミングされるクリックストリームデータは、リアルタイムのユーザーインタラクションをキャプチャし、分析を強化します。

2つの異なるプラットフォームにまたがるキャンペーンデータの包括的な分析について探ってみましょう。SAP Datasphere は、各プラットフォームの強みを活かして、さまざまな SAP システムのデータを統合します。Databricksは強力な機械学習機能でキャンペーン効果を予測し、Databricks SQLは洞察に満ちたビジュアライゼーションで理解を深めます。

1. クリックストリームデータのストリームと収集

Apache Spark™によるDatabricksネイティブの構造化ストリーミング機能を使用し、Apache Kafkaとシームレスに統合できます。 Kafka コネクタを使用すると、Clickstream データをリアルタイムでデータベースにストリーミングして分析できます。以下は、Kafkaトピックに接続し、そこから読み取るためのコードスニペットと、詳細なドキュメントへのリンクです。

2. SAP Datasphere 分析モデルとのデータの統合と調和

SAP Datasphereの統一された多次元分析モデルは、SAPソースからのセールスおよびキャンペーンデータと、DatabricksのClickStreamを重複することなく仮想的に結合するのに役立ちます。販売履歴 & キャンペーンデータへのアクセスに役立つ様々な SAP ソースを SAP Datasphere に接続する方法については、こちらを参照してください：
SAP Datasphere は、必要に応じて SAP Datasphere 上でデータを永続化したりスナップショットしたりする柔軟性を提供しながら、ソース・システムに対してクエリをライブでフェデレートできます。作成された分析モデルは、SAP Datasphere で実行時の成果物を作成するために展開され、SAP FedML を通じて SAP Analytics Cloud や Databricks Platform で利用することができます。

SAP Datasphereの統一データモデル — Figure 3: Unified data model in SAP Datasphere

3. SAP FedMLを使用した営業予測用Databricksプラットフォームへのデータ連携

Databricks 用の SAP FedML python ライブラリを使用すると、機械学習シナリオのために SAP Datasphere から Databricks にデータを連携させることができます。このPythonライブラリ（FedML）はPyPiリポジトリからインストールします。"execute_query_pyspark('query')" のようなメソッドで SQL クエリを実行し、取得したデータを PySpark DataFrame として返すことができます。ここにコード・スニペットを示しますが、詳細な手順については添付のノートブックを参照してください。

4. Databricks上のAI

AIアプリケーションアーキテクチャ
Databricksは、SAPなどのデータソース上に構築されたMLアプリケーションの合理化と製品化を支援する、いくつかの機械学習ツールを提供しています。私たちのアプリケーションで利用されている最初のツールは、Unity Catalogのフィーチャーエンジニアリングです。これは、フィーチャーの発見と再利用を可能にし、フィーチャーのリネージを可能にし、本番環境でMLモデルを提供する際のオンライン/オフラインのスキューを緩和します。

さらに、私たちのアプリケーションは、Databricks が管理するバージョンの MLflow を利用し、Experiments を通じてモデルの反復とモデルのメトリクスを追跡します。フィーチャーエンジニアリングクライアントは、"フィーチャーを意識した" 方法で、最適なモデルをモデルレジストリに登録することをサポートし、アプリケーションが実行時にフィーチャーを検索できるようにします。Feature Engineeringクライアントにはバッチスコアリングメソッドも含まれており、推論を行う前にトレーニング時と同じ前処理を行います。これらの機能はすべて、運用と保守が容易で堅牢なMLアプリケーションを作成するために連携します。また、DatabricksはGitリポジトリと統合し、MLOpsのベストプラクティスを通じてエンドツーエンドのコードとモデルの管理を実現します。

特徴とモデルの詳細
このモデルの目標は、現在実施中のマーケティングキャンペーンとウェブサイトのトラフィックに基づいて販売台数を予測し、キャンペーンとトラフィックが販売に与える影響を分析することです。初期データは、注文、クリックストリーム・ウェブサイト・インタラクション、マーケティング・キャンペーン・データから得られます。すべてのデータは、日次レベルで予測を行うことができるように、品目タイプと地域ごとに日ごとに集計されました。結合されたデータは特徴テーブルとして保存され、線形回帰モデルが学習されます。このモデルは、MLflowとFeature Store Engineeringクライアントを使用して記録され、追跡されました。モデル係数は、ウェブサイトのトラフィックとマーケティングキャンペーンが売上に与える影響を分析するために抽出されました。

5. Databricks SQLでの可視化

Databricks SQL は、急速に進化するデータウェアハウスとして際立っており、多彩なビジュアライゼーションのための堅牢なダッシュボード機能を備えています。印象的なダッシュボードをカスタマイズして作成し、過去のデータ分析から前のステップで行われたML分析後の予測的洞察へとシームレスに移行します。私たちは最近、Lakeviewダッシュボード（ブログ）を発表しました。ビジュアライゼーションが向上し、レンダリングが最大10倍速くなりました。Lakeviewは、Databricksに直接アクセスできない組織内のコンシューマーとの共有や配布に最適化されています。ユーザーフレンドリーなインターフェースと統合されたデータセットで設計を簡素化します。さらに、ガバナンスと透明性を強化するために、ビルトインのリネージ情報を提供するプラットフォームと統合されます。

Databricks SQL上のキャンペーン効果（予測）ダッシュボード — Figure 4: Campaign effectiveness(Prediction) Dashboard on Databricks SQL

6. 結果を SAP Datasphere に書き戻し、キャンペーン指標と売上予測を比較

SAP FedML は、予測結果を SAP Datasphere に書き戻す機能も提供しており、SAP の履歴販売データと SAP キャンペーンマスターデータに対して、統一されたセマンティックモデルでシームレスに結果を並べることができます。

EDAとML分析がデータフレームに対して実行された後、推論結果は SAP Datasphere に保存できます。

create_table API コールを使用して、SAP Datasphere にテーブルを作成できます。

insert_into_table メソッドを使用して、予測結果を SAP Datasphere のDS_SALES_PREDテーブルに書き込みます。ここで、ml_output_dataframeは、MLモデルの予測結果の出力です。詳しくは機械学習ノートをご覧ください。

7. SAP SAP Analytics Cloudでの可視化

この統一モデルはSAP Analytics Cloudに公開され、強力なセルフサービスツールと可視化機能を通じて、ビジネスユーザーが効率的なアナリティクスを実行できるよう支援します。

SAP SAC上のキャンペーン効果ダッシュボード — Figure 5: Campaign effectiveness Dashboard on SAP SAC

概要

Databricks Data + AI Platform と SAP Datasphere は互いに補完し合い、複雑なビジネス上の問題を解決するために連携することができます。例えば、マーケティングキャンペーンの効果を予測・分析することは企業にとって不可欠であり、両プラットフォームはその達成を支援することができます。SAP Datasphereは、SAP S/4HANAやSAP Marketing Cloudなど、SAPの重要なシステムからデータを集約することができます。一方、Databricks PlatformはSAP Datasphereと統合し、さまざまなソースからデータを取り込むことができます。さらに、DatabricksはAI用の強力なツールを提供しており、マーケティングキャンペーンデータの予測分析に役立ちます。詳細な分析と可視化は、Databricks SQL Lakeviewダッシュボードを使用して行うことができます。

詳細なノートをチェックしてください：

データエンジニアリングノートブック：このノートブックでは、SAP Datasphere からデータを取り込むための SAP FedML と、すべてのデータセットのモデリング Campaign+Sales+Clickstream について説明します。
機械学習ノートブック：このノートブックでは、MLflow、Feature Store、モデルのトレーニング/予測などのDatabricks上での機械学習について説明します。