セルフサービスマーケティング洞察のためのAI/BI Genie実装から得られた5つの重要な教訓

はじめに

マーケティングチームは、データへのアクセスに関して課題を抱えることが多く、そのデータを実行可能な洞察に変換するために技術チームに依存することがよくあります。このギャップを埋めるため、Databricksのマーケティングチームは「AI/BI Genie」を導入しました。これは、LLMを活用したノーコード体験で、マーケターが自然言語で質問を投げかけ、データから直接、信頼性の高い統制された回答を得ることができるツールです。

10人のユーザーが1つの限定的な用途で使用するプロトタイプとして始まったものが、現在では200人以上のマーケターが月800件以上のクエリを処理する信頼できるセルフサービスツールへと発展しました。この過程で、私たちはシンプルなプロトタイプを信頼できるセルフサービス体験に変える方法を学びました。

「Marge」の誕生

私たちのマーケティングGenieは、愛称「Marge」と呼ばれ、2024年のData + AI Summitの前に実験として始まりました。シニアマーケティングアナリティクスマネージャーのThomas Russellは、Genieの可能性を認識し、顧客アカウント、プログラムパフォーマンス、キャンペーン属性などの関連するUnity Catalogテーブルを含むGenieスペースを設定しました。

上の画像は、私たちのマーケティングGenie「Marge」が実際に動いている様子を示しています。データは匿名化されていますが、大体のイメージは掴んでいただけると思います。

リリース以来、Margeはアナリティクスチームに頼ることなく、迅速で信頼性の高い洞察を必要とするマーケターにとって頼りになるリソースとなっています。私たちはGenieを次のように捉えています：適切な指導があれば素晴らしい成果を出せるが、より複雑なタスクにはまだ体系的なサポートが必要な優秀なインターンのような存在です。この視点から、Genieをマーケティングの強力なツールに育て上げるのに役立った5つの重要な教訓をご紹介します。

教訓1：小さく、焦点を絞って始める

Genieスペースを作成する際、利用可能なデータをすべて含めたくなるものです。しかし、効果的なスペースを構築するには、小さく焦点を絞って始めることが重要です。考え方としては、データポイントが少ないほど、Genieがエラーを起こす可能性が低くなるということです。LLMは確率的なものであり、選択肢が多いほど混乱する可能性が高くなります。

これは実際にはどういう意味でしょうか？具体的には：

• 関連するテーブルとカラムのみを選択する：最初に答えたい質問に対処するために必要な最小限のテーブルとカラムのみを含める。スキーマ内のすべてのテーブルを含めるのではなく、まとまりがあり管理しやすいデータセットを目指す。
• テーブルとカラムを段階的に拡張する：最小限の設定から始めて、ユーザーフィードバックに基づいて段階的に拡張する。ユーザーがより多くのデータの必要性を特定した後にのみ、追加のテーブルとカラムを組み込む。これによりプロセスが合理化され、スペースが実際のユーザーニーズに応えるよう自然に進化することが保証される。

例：私たちの最初のマーケティング用途はメールキャンペーンのパフォーマンス分析だったため、キャンペーンの詳細、受信者リスト、エンゲージメント指標など、メールキャンペーンデータのあるテーブルのみを含めることから始めました。その後、ユーザーからより多くのデータを求めるフィードバックを受けてから、アカウントの詳細やキャンペーン属性などの追加データを含めるよう、ゆっくりと拡張していきました。

教訓2：データに徹底的に注釈と文書化を行う

世界で最も優秀なデータアナリストであっても、まず特定のビジネス概念、専門用語、プロセスを理解しなければ、洞察に富んだ回答を提供するのは困難でしょう。例えば、あなたのチームで「Q1」が標準的なカレンダーの定義ではなく3月から5月を意味する場合、最も熟練した専門家でも正しく解釈するには明確な指針が必要です。Genieも同じように動作します。強力なツールですが、最高のパフォーマンスを発揮するには、明確なコンテキストと十分に文書化されたデータが必要です。この目的のために、適切な注釈と文書化が重要です。これには以下が含まれます：

• データモデルを定義する（主キーと外部キー）：テーブルに直接主キーと外部キーの関係を追加することで、Genieが正確で意味のある回答を生成する能力が大幅に向上します。データがどのように接続されているかを明示的に定義することで、Genieがテーブル同士の関係を理解し、クエリで結合を作成できるようになります。
• メタデータにUnity Catalogを活用する：Unity Catalogを利用して記述的メタデータを効果的に管理します。Unity Catalogは統合ガバナンスソリューションで、きめ細かなアクセス制御、監査ログ、そしてDatabricks環境内のすべてのデータ資産にわたってデータ分類と説明を定義・管理する機能を提供します。メタデータ管理を一元化することで、データの説明が一貫性があり、正確で、簡単にアクセスできることを保証します。
• AI生成コメントを活用する：Unity CatalogはAIを活用して初期のメタデータ記述の生成を支援できます。この自動化により文書化プロセスは高速化されますが、正確性と関連性を確保するために、最終的な記述は知識のある人間によってレビュー、修正、承認される必要があります。そうでなければ、不正確または不完全なメタデータがGenieを混乱させることになります。
• 詳細なビジネスコンテキストを提供する：基本的な説明を超えて、注釈はデータにビジネスコンテキストを提供する必要があります。これは、各指標が組織の専門用語やビジネスプロセスに合致した用語で何を表しているかを説明することを意味します。例えば、「open_rate」がメールを開封した受信者の割合を指す場合、これはカラムの説明に明確に含まれるべきです。データからのサンプル値を追加することも非常に有用です。

例：campaign_countryカラムに「値はISO 3166-1 alpha-2の形式で、例：'US'、'DE'、'FR'、'BR'」という説明でカラム注釈を作成します。これにより、Genieがクエリを作成する際に「Germany」ではなく「DE」を使用することを理解できるようになります。

教訓3：明確なクエリ例、信頼できる資産、テキスト指示を提供する

Databricks Genieスペースの効果的な実装は、SQLの例を提供し、信頼できる資産と明確なテキスト指示を活用することに大きく依存しています。これらの手法により、自然言語の質問をSQLクエリに正確に変換し、一貫性があり信頼できる回答を確実に得ることができます。

明確な指示、クエリ例、信頼できる資産の使用を組み合わせることで、Genieに正確で信頼性の高い洞察を生成するための包括的なツールキットを提供できます。この組み合わせアプローチにより、マーケティングチームは一貫したデータ洞察をGenieに依存でき、意思決定を向上させ、成功するマーケティング戦略を推進できます。

効果的な指示を追加するためのヒント：

• 小さく始める：最初は必須の指示に焦点を当てる。最初から多すぎる指示や例でスペースを過負荷にすることは避ける。少数で管理可能な指示により、スペースが効率的に保たれ、トークン制限を回避できる。
• 段階的に進める：実際のユーザーフィードバックとテストに基づいて、詳細な指示を段階的に追加する。スペースを改良し、ギャップ（誤解されたクエリや繰り返し発生する問題など）を特定したら、すべてを先回りしようとするのではなく、これらの特定のニーズに対処する新しい指示を導入する。
• 焦点と明確性：各指示が特定の目的を果たすことを確実にする。冗長または過度に複雑な指示は、処理を合理化し回答品質を向上させるために避けるべきである。
• 監視と調整：生成されたクエリを検証し、ビジネスユーザーからフィードバックを収集することで、スペースのパフォーマンスを継続的にテストする。精度を向上させたり不足を解決するために必要な場合にのみ、追加の指示を組み込む。
• 一般的な指示を使用する：一般的な指示を活用すべき場面の例：
  1. ドメイン固有の専門用語や専門語を説明するため（例：「当社における会計年度とは何を意味するか？」）
  2. デフォルトの動作や優先順位を明確にするため（例：「誰かが『トップ10』を求めた場合、売上の降順で結果を返す」）
  3. 一般的なタイプのクエリを解釈するための包括的なガイドラインを確立するため。例をいくつかご紹介します。
     • 「私たちの会計年度は2月から始まり、'Q1'は2月から4月を指します。」
     • 「質問が'アクティブなキャンペーン'を指している場合、ステータスが'アクティブ'でend_dateが今日以上のキャンペーンをフィルタリングします。」

• 例文クエリを追加する: 例文クエリは、以下のように使用すると最大の効果を発揮します:
  1. テーブルのメタデータだけでは正しく答えられないGenieへの質問に対処するために使用する場合
  2. 派生概念や複雑なロジックを含むシナリオの取り扱い方を示す場合
  3. ユーザーがよく似たがわずかに異なる質問をする場合、例示クエリはGenieに一般的なアプローチを教えます。
     
     次は、例のクエリの素晴らしい使用例です：
     • ユーザーの質問：「Q1の各キャンペーンに帰属する総売上は何ですか？」
     • SQLの例の回答：
• 信頼できるアセットを活用： 信頼できるアセットは、一般的なユーザーの質問に対する確認済みの回答を提供するために設計された事前定義の関数と例のクエリです。ユーザーが信頼できるアセットをトリガーする質問を提出すると、結果の精度についての追加の保証層を追加することで、その応答が示されます。信頼できるアセットを使用する最良の方法の一部は次のとおりです：
  1. 正確で確認された答えが必要な、確立された頻繁に尋ねられる質問に対して使用する場合。
  2. 高価値またはミッションクリティカルなシナリオで、一貫性と精度が譲れない場合。
  3. 回答に絶対的な自信が必要な場合や、事前に確立されたロジックに依存する場合。
     
     以下は信頼できるアセットの素晴らしい使用例です：
     • 質問：「第1四半期のEMEA地域での総エンゲージメントは何でしたか？
     • パラメータ付きの例SQL回答：
     • 関数の例SQL回答：

教訓4: データの前処理による複雑なロジックの簡素化

Genieは、自然言語のクエリを解釈し、それらをSQLに変換する能力を持つ強力なツールですが、複雑なロジックをデータセット内で直接前処理する方が、より効率的で正確なことがよくあります。Genieが扱うデータを単純化することで、応答の品質と信頼性を向上させることができます。例をいくつかご紹介します。

• 複雑なフィールドの前処理: ジニーに複雑なロジックを解析する指示や例を与える代わりに、解釈プロセスを簡素化する新しい列を作成します。
• ブーリアン列: 新しい列にブーリアン値を使用して複雑な状態を表現します。これにより、データがより明確になり、Genieが理解しやすくクエリを実行しやすくなります。
• テーブルを事前に結合する: 複数の正規化されたテーブルを結合する必要がある代わりに、これらのテーブルを単一の非正規化されたビューで事前に結合します。これにより、Genieが関係を推測したり、複雑な結合を構築したりする必要がなくなり、すべての関連データが一か所でアクセス可能になり、クエリがより速く、より正確になります。
• Unity Catalog Metric Viewsを活用する（近日公開）： Unity Catalogのメトリックビューを使用して、コンバージョン率や顧客生涯価値などの主要なパフォーマンスメトリックを事前に定義します。これらのビューは、複雑な計算の背後にあるロジックを一元化することで一貫性を保証し、Genieがこれらの指標を参照するすべてのクエリに対して信頼性のある、標準化された結果を提供することを可能にします。

例：「event_status」というフィールドがあり、「登録 - 対面」、「登録 - バーチャル」、「出席 - 対面」、「出席 - バーチャル」の値があるとしましょう。このフィールドを解析する方法をGenieに指示したり、多数の例のクエリを提供したりする代わりに、このデータを単純化する新しいカラムを作成することができます：

• is_registered（event_statusが'Registered'を含む場合はTrue）
• is_attended（event_statusが'Attended'を含む場合はTrue）
• is_virtual（event_statusが'Virtual'を含む場合はTrue）
• is_inperson（event_statusが'In Person'を含む場合はTrue）

教訓5: 継続的なフィードバックと改良

Genie Spaceの設定は一度きりのタスクではありません。ユーザーとのインタラクションやフィードバックに基づいた継続的な改善は、精度と関連性を維持するために重要です。

• インタラクションの監視： Genieの監視ツールを使用して、ユーザーのインタラクションをレビューし、混乱やエラーの一般的なポイントを特定します。ユーザーに、「これは正しいですか？」というプロンプトに「はい」、「修正する」、「レビューをリクエストする」で返答することで、積極的にフィードバックを提供するように促します。さらに、ユーザーに対して、改善点やさらなる調査が必要な箇所について詳細なコメントを補足するように促します。このフィードバックループは、Genieスペースを継続的に洗練し、マーケティングチームのニーズをよりよく満たすように進化させるために不可欠です。
• フィードバックを取り入れる： ユーザーのフィードバックに基づいて、更新されたテーブルメタデータ、例示クエリ、新しい指示を定期的にスペースに更新します。この反復的なプロセスにより、Genieは時間とともに改善します。
• ベンチマークの構築と実行: これらは、事前に定義された"ゴールドスタンダード"のSQL回答との比較によるシステマティックな精度評価を可能にします。データや指示の更新後にこれらのベンチマークを実行することで、Genieがどこで改善または悪化しているかを特定し、ターゲットを絞った改良を指導します。この反復的なプロセスは、信頼性のある洞察を保証し、ビジネスニーズの進化に伴うGenieスペースの整合性を維持するのに役立ちます。

例： ユーザーがセグメント固有のデータを問い合わせる際に頻繁に誤った結果を得る場合は、セグメンテーションのロジックをより明確に定義し、対応する例のクエリを洗練させるように指示を更新してください。

まとめ

マーケティングの洞察や他のビジネスユースケースに適した効果的なDatabricks AI/BI Genieの実装は、集中的で反復的なアプローチを必要とします。小さく始めて、データを徹底的に文書化し、明確な指示と例のクエリを提供し、信頼できるアセットを活用し、ユーザーフィードバックに基づいてスペースを継続的に洗練することで、Genieの潜在能力を最大限に引き出し、高品質で正確な回答を提供することができます。

これらの戦略をDatabricksのマーケティング組織内で実施することで、大幅な改善を達成することができました。私たちのGenieの使用率は四半期ごとにほぼ50％増加し、フラグが立てられた不正確なレスポンスの数は25％減少しました。これにより、マーケティングチームはより深い洞察を得ることができ、答えを信頼し、自信を持ってデータ駆動型の決定を下すことができました。

さらに詳しく

このユースケースについて詳しく知りたい場合は、今年のサンフランシスコで開催されるData and AI SummitでThomas Russellに直接参加することができます。彼のセッション、「How We Turned 200+ Business Users Into Analysts With AI/BI Genie」は見逃せないものです！ぜひカレンダーに追加してください！

このブログから得られる主要な学びに加えて、AI/BI Genieのベストプラクティスについて学ぶための他の多くの記事やビデオがすでに公開されています。私たちの製品ドキュメンテーションで推奨されるベストプラクティスを確認することができます。Mediumでは、読むことができるブログがいくつかあります。これには以下のものが含まれます：

• DatabricksのAI/BIジニースペースのベストプラクティス
• Databricks Genieのためのセマンティックモデリングの7つのテクニック
• Databricks Genieの実装方法：ベストプラクティスと成功のヒント — SunnyData

読むよりも視聴する方が好きなら、これらのYouTubeビデオをチェックしてみてください：

• AI/BIジニーのベストプラクティス
• Databricks AI/BI Genieの展開におけるベストプラクティス

私たちが作成したブログ新しいAI/BIジニーのオンボーディングもチェックしてみてください。

AI/BI Genieやダッシュボードについてさらに探求し、学びたい場合は、以下のオプションから選択できます：

• 無料トライアル： 無料トライアルにサインアップして、実際の体験を得てください。
• ドキュメンテーション： 私たちのドキュメンテーションで詳細について深く掘り下げてみてください。
• ウェブページ： 私たちのウェブページを訪れて、もっと詳しく学んでください。
• デモ： 私たちのデモ ビデオを見て、製品ツアーを受けて、これらのAI/BIがどのように動作するかを実際に学んでください。
• トレーニング: Databricks Academyを通じて無料の製品トレーニングを始めましょう。
• eBook: ビジネスインテリジェンス meets AI eBookをダウンロードしてください。

ここまで読んでいただきありがとうございます、もっと素晴らしいAI/BIコンテンツが近々登場しますのでお楽しみに！