"DatabricksはDatabricksをどう活用しているのか" - GenAIエージェントで販売体験を革新

Databricksの自動化ビジョンはビジネスのあらゆる側面を自動化し、より良く、迅速で、コスト効率の良いものにすることです。営業チームにおいては、販売ライフサイクル全体で営業担当者を支援するGenAIエージェントを提供し、販売体験をデジタルで変革しています。私たちの目標は、AI機能を営業担当者の日常業務にシームレスに統合し、情報資産をより簡単で効果的に取得し、繰り返し行われる手動の管理作業を自動化することで営業体験を強化することです。

私たちの「Field AI Assistant」は、Databricksエージェントフレームワークを基盤に構築されており、営業担当者が複数のデータソースを横断してデータに問い合わせたり、対話したりできる方法を提供します。このアシスタントは、次の主要プラットフォームと統合されています：

• 顧客情報、営業支援コンテンツ、営業プレイブックを管理する内部Databricks Lakehouse
• 顧客関係管理プラットフォーム（CRM）システム
• 非構造化データのほとんどを収集・インデックス化するコラボレーションプラットフォーム

このAIアプリケーションは以下の目的で使用されます：

• 複数のデータソースを横断して自然言語（最初は英語）でデータと会話的にやり取り
• 収集した情報に基づいてドキュメントをダウンロード・作成する機能
• データの洞察に基づいてアクションを実行（CRMのフィールド更新、パーソナライズされた営業メールの作成、顧客提案の作成、顧客ミーティングの準備など）

このフィールドアシスタントは、ユーザーおよびページのコンテキストに基づいて事前設定されたプロンプトに応答し、上記のデータセットに関するオープンエンドのクエリに対してチャットのようなインターフェースを提供します。

ビジネスインパクト

営業担当者は、膨大な情報に圧倒されがちです。彼らは日々の業務の一環として、さまざまなサイロ化されたアプリケーションに保存されたデータにアクセスする必要があります。CRMに保存されたアカウント、機会、ユースケースデータや、顧客の市場インサイト、アカウントインテリジェンス（湖のデータに格納されているアカウント消費データを含む）への簡単なアクセスが求められます。さらに、営業コンテンツ、営業支援プレイブック、競合営業資料、製品に関するナレッジベースの記事や製品ロードマップなどにもアクセスする必要があります。それは単なるデータの取得にとどまらず、データインサイトに基づいて営業担当者が日常的に行う繰り返しの手作業を完全に自動化できることで、真の効率化が達成されます。これがまさにフィールドAIアシスタントの役割です。営業担当者が日々の業務で情報を取得し、インサイトを抽出し、それに基づいてアクションを実行するのをサポートします。

ソリューションの概要

Databricksエージェントフレームワークを活用し、複数のデータソースから構造化データと非構造化データを統合することで、Field AI Assistantを構築しました。このソリューションは、営業担当者向けにパーソナライズされ、CRMでオンデマンドで利用できる包括的なアプローチを提供します。提供される主な機能は以下の通りです：

• 顧客インサイト
  360度の顧客アカウントビューを提供し、以下を含みます：
  • アカウントに関する財務ニュース/インサイト
  • 競合データの状況
  • 製品ライン別の製品消費状況およびクラウド利用状況
  • 顧客サポートケース
  • 収益を牽引しているトップユースケース
  • 同様の顧客に提供される他のユースケースに関する営業担当者向けの推奨事項
  • データ衛生アラート
• データハイジーンアラート
  • 来週/月/四半期に実施されるユースケース
  • トップユースケースの障害要因
  • 重要な情報が欠けているユースケース（例：事業スポンサーなど）
• 営業資料
  • 営業プレイブック
  • 競合資料
  • 会議の要約
  • ピッチデック
• アクションの管理
  • 特定の機会やユースケースに対するCRMの次のステップの更新
  • 新規顧客へのプロスペクティングメールの草案作成
  • 顧客向け提案書の作成

私たちのフィールドAIアシスタントソリューションは、完全にDatabricksのテックスタックを基盤に構築されています。このソリューションは、複数の多様なデータソースとの統合を可能にし、データの取得、プロンプト処理、LLM（大規模言語モデル）の管理のためのスケーラブルなインフラフレームワークを提供します。コンパウンドAIエージェントフレームワークを使用して構築されており、SQLクエリやPython関数などの複数のツールを追加することができ、すべてがUnity Catalogのガバナンス層を通じて管理されています。

エージェント/ツールフレームワーク

人間の入力は本質的に曖昧であり、LLM（大規模言語モデル）はコンテキストを活用してリクエストの意図を解釈し、それをより決定的なものに変換する能力を提供しています。リクエストに応じるためには、特定の事実を取得し、コードを実行し、以前に学習した変換に基づいた推論フレームワークを適用する必要がある場合があります。これらすべての情報は、消費者（または何か）にとって正しくフォーマットされた一貫した出力に再構築する必要があります。

これが、フィールドAIアシスタントが販売担当者からのクエリに対応する方法そのものです。フィールドAIアシスタントには、1つのドライバーエージェントと、決定的な処理を実行する複数のツールと機能があります。

データ基盤：

これはエージェントがインタラクションを行うデータソースのセットです。私たちのソリューションでは、このデータ基盤にはLakehouseのデータ、営業資料、Googleドキュメント、CRM（Salesforce）に存在するデータが含まれます。

決定的な処理：

正確で高品質な応答を生成するために必要な機能とツールのセットです。LLMはクエリからフィールドを抽出し、それらを標準の関数呼び出しに渡して決定的な処理を行います。Databricksプラットフォーム内では、Databricksツールと機能がこれを可能にし、ユーザー定義関数はDatabricks内でほとんどの活動を実行できます。これらは通常、Python関数や簡単なSQLクエリ、外部アプリ（Glean、Perplexity、Ahaなど）との統合が可能なAPIであり、これらは自然言語で呼び出すことができます。

LLMモデル：

私たちはAzure OpenAIのGPT-4をフィールドAIアシスタントソリューションの基盤モデルとして活用しています。とはいえ、このフレームワークは、各モデルの特定の能力を評価し、特定のユースケースに対してどのモデルが最適かを考慮するマルチモデルアプローチをサポートしています。たとえば、私たちはさまざまなオープンソースモデルでソリューションを評価し、モデルの基盤となる信頼性、事実に基づいた関連性のあるコンテンツを生成する能力、各プロンプトの処理に適したユーザー定義関数／ツールを選択する能力、そしてモデルに提供されたコンテンツ出力フォーマットに従う能力に基づいて、Azure OpenAI - GPT-4を選択しました。

ただし、私たちのソリューションアーキテクチャは、新しいモデルがDatabricksエージェントフレームワークに登場するたびに柔軟に採用できるように設計されています。

Databricksでは、Agent Bricks Custom Agentsを活用し、フィールドAIアシスタントのようなgenAIアプリケーションを簡単に構築できるようにしています。このフレームワークを使用して、評価基準を定義し、LLM-as-a-judge機能を活用してアプリケーション応答のスコアリングを行います。Databricksゲートウェイは、アクセス制御、レート制限、ペイロードロギング、ガードレール（システム入力と出力のフィルタリング）を提供します。ゲートウェイは、システムが安全性、バイアス、品質の観点から常に監視されることを保証します。

フィールドAIアシスタントに活用したコンポーネント：

• 埋め込みモデルとベクターデータベース（Databricks AI Search）
• 関数呼び出しとツール使用インターフェース (Databricks Function Calling)
• LLMのカスタマイズ（プロンプティングまたはファインチューニング）（MLFlow LLMOps、DSPy on Databricks、Databricks Fine-tuning）
• 監視、レート制限、ガードレール（Agent Bricks AI Gateway）
• 基盤データセット、エージェント、ツールの発見、ガバナンス、カタログ化のためのUnity Catalog

ソリューションアーキテクチャ

私たちの学び

• データは乱雑している
  Lakehouseを活用し、データセットの反復的な拡張を行い、データエンジニアリングされたパイプラインを重視し、クリーンで信頼性のある「GOLD Single Source of Truth」データセットを構築しました。
• ROIの測定は難しい
  パイロット段階では小規模なフォーカスグループで実験を行う準備が必要です。モデルの効果を測定するための評価データセットを作成するのは難しく、集中した努力と迅速な実験をサポートする戦略が求められます。
• データとAIのガバナンスは必須
  早期に企業のセキュリティ、プライバシー、法務チームと連携し、Unity Catalogを活用してデータ、エージェント、ツールに対する強力なガバナンスモデルを構築することが重要です。

まとめ

この記事を通じて、DatabricksでどのようにGenAI技術を活用して販売チームの効果を高めているかについて学んでいただけたことを願っています。このユースケースにおけるGenAIの活用は、AIエージェントが販売の各プロセス、つまり見込み客の開拓から顧客インサイトの取得、反復的な手作業を自動化してデータの質を改善し、そのデータを活用して営業機会を推進し、営業速度を向上させる方法を大きく変革できることを示しています。

今後の投稿では、AIがどのようにDatabricksでの販売体験を再形成しているかについての経験を引き続きシェアしていきますので、ぜひご注目ください。