VisitBritain: 旅行者の感情を迅速にキャッチ！

はじめに

VisitBritainは、イギリスへの観光の公式ウェブサイトで、訪問者が旅行を計画し、歴史的および現代的な観光地のおすすめを得るために設計されています。しかし、COVID-19パンデミックが人々の訪英の目的や方法を大きく変える中で、VisitBritainチームは新たな課題に直面しました。また、気候変動（夏の気温上昇）や人口動態（寿命の延び）などのマクロトレンドも、旅行予測に影響を与えていました。VisitBritainは、旅行者のニーズの変化に対応するため、アプローチをアップデートし、適応する必要があることを認識していました。そこで、AccentureのRedshiftと連携し、データとAIツールの導入が鍵であることが明確になりました。これにより、素早く、そして効果的に戦略を転換することができるようになったのです。

一次調査によって重要な洞察がわかりました

旅行者へのアンケート調査から得られた一次調査のデータは、旅行者の感情を、移動データ（来訪数）、支出データ（クレジットカード会社）、ホテルや航空機の情報といった単なる推測に基づいたデータ以上に理解する手助けとなります。従来の調査方法では、第三者機関が提供する選択肢の多い事前コード化された回答に焦点を当てることが多く、旅行者の真の意図や感情を見逃すことがありました。しかし、オープンエンドの自由記述データは、新たな分析の課題を提起します。

VisitBritainでは、より多くの観光客に自社サービスを利用してもらうことを目指しています。訪問者を引きつけ、インスパイアするために広告キャンペーンを行っています。キャンペーンの影響を評価するために、市場調査を行い、観光客から大量の自由記述の回答を得ています。従来、これらの回答からインサイトを抽出するのは非常に手間のかかる作業であり、しばしばそのインサイトは現在のキャンペーンに影響を与えるには遅すぎることがありました。また、このプロセスは一貫性がなく、公平ではありません。複数の言語での回答は翻訳プロセスによってさらに複雑さを増します。その結果、調査の回答者から微妙な視点や感情を得ることが常に難しい状況でした。

私たちは、この分析プロセスを効率化し、観光客の感情をよりよく理解することで、キャンペーンに関する意思決定を強化し、情報価値のない回答を取り除く必要がありました。

「GenAIを活用して感情データを再構築し、簡単にクエリできるようにしました。これにより、従来は知り得なかったことを発見できるようになりました。一次調査に関するデータの“瞬時の温度計”を作成しました。データの品質を分析するのに数日、数週間かけるのではなく、数秒でデータ品質スコアを取得できるようになったのです。」

— Satpal Chana VisitBritain データおよび分析・インサイト部門 副部長

AIエージェントシステムで問題解決

現在直面している課題に対処するために、私たちは「Viewpoint」というカスタム設計された企業向けデータインテリジェンスプラットフォームと、Databricks Mosaic AIを活用しました。Mosaic AIは、OpenAIのGPT-4をはじめとする複数の大規模言語モデル（LLMs）を使用し、従来の自然言語処理（NLP）ツールではなく、こちらを選択しました。その理由は主に次の3点です：

• 導入までの時間: LLMは、特別なスキルセットに依存せず、すぐに効果を発揮する可能性が高い。
• 再利用性: LLMは、テキスト分析を含む他のユースケースにも自然に拡張可能。
• 要約力: LLMは、入力テキストの意図を正確に要約するのに優れています。

次に、データを準備するために（必要に応じて）翻訳し、低品質な回答をフィルタリングしました。例えば、1900人の訪問者を対象にした典型的な調査では、7つの自由記述式の質問を行い、27,000件の自由記述の回答を受け取りました。そこから「不適切」や「役に立たない」とラベル付けされた回答を除外し、「優れた」または「曖昧」とラベル付けされた回答を残しました。例えば、ドイツ語で「Mir fallt nichts ein」と答えた回答は、まず「I can’t think of anything（何も思いつかない）」に翻訳され、その後「役に立たない」と判定されました。

残りの48%の回答については、LLMを使用して感情、情緒、および話題を分析しました。モデルは感情を「ポジティブ」または「ネガティブ」と評価し、回答の感情的内容を分類し、次にそのトピックを3つの事前定義されたカテゴリのいずれかに分類しました。最後に、LLMは、回答内でのトピックの普及度を評価しました。その後、得られたスコアをDatabricks Medallionアーキテクチャ内のゴールドレベルテーブルに入力しました。

私たちは、最も有益なデータが重要な回答から得られることを発見しました。例えば、「アクティビティの高コスト」について言及された回答は、今後の広告で価値を強調するメッセージを追加する必要があることを示唆していました。少量のプロンプトを使用して、関連性スコアと感情の極性を導き出し、これらのタスクに割り当てた異なるLLMを使用しました。最後に、LLMに対して、トピックレベルおよびキャンペーンレベルの要約を作成させました。

Databricksと共に振り返り、未来を見据えて

結果評価のための選択肢

AIエージェントシステムの結果を評価するために、私たちは以下の3つの主な選択肢を考えました：

1. ヒューマンインザループ: LLM（大規模言語モデル）の出力が正確かどうかを手動でレビューする方法。この方法は効果的ですが、コストがかかります。
2. LLMを判定者として使用: 別のLLMでスケールに応じて回答を評価し、その判定LLMをサンプルデータセットでテストして結果が満足できるかどうかを確認します。
3. 完全一致: 回答をラベル付きのグラウンドトゥルースデータセットと比較し、「十分な精度」（たとえば90％の精度）で一致させる方法。

関連性スコアリングと要約を除いて、私たちは主にLLMを判定者として使用して評価指標を決定しました。開発とテストを行う過程で、グラウンドトゥルースデータとして使用するためのトレーニングデータセットを用意しました。初期結果に満足した時点で、それらをテストデータセットの登録モデルと比較し、グラウンドトゥルースデータに過剰適合していないことを確認しました。ある時点で、回答の品質に関して停滞を感じました。そこで、ヒューマンインザループによるレビューに依存していたグラウンドトゥルースデータセットを再確認したところ、不整合が見つかり、LLMから得たインサイトをもとにレビュー方法を修正しました。

データ変革の旅の始まり

私たちは約2年前にデータ変革の旅を始めました。データがどこにあり、どのように活用したいかというビジョンを強く持っていました。私たちは複数のデータアーキテクチャを評価し、どれが最も私たちのニーズをサポートするかを調べました。最終的に、Databricksを選択した理由は、その将来のロードマップの強さにありました。必要な機能が将来的にDatabricksで提供されるだろうと確信していました。この確信は正しかったと感じており、私たちは迅速にGenAIベースのデータ温度計を導入できました。また、Databricksのモジュラーでオープンソースのアプローチが、開発と評価プロセスを大いに簡素化したことにも感謝しています。

現在のアーキテクチャの詳細

現在のアーキテクチャについて掘り下げてみると、私たちはデータを保存し、Unity Catalogを使用してアクセス権限に基づくアクセスを有効にし、ユーザーが開発環境から本番データをクエリできるようにしています。Databricksに統合されたMLflowにより、LLMの結果を並べて比較し、LLMを判定者として使用することで、スケールに応じてデータをローコードで評価することができます。

「Databricksデータインテリジェンスプラットフォームは、私たちが異なるモデルとそれらから得られる出力を簡単に比較することを可能にしました。」

— Satpal Chana

「このプロジェクトの最良の部分は、我々が他の方法では見つけることができなかった情報源から洞察を得ることでした。これらのデータ資産について広範な知識を持つ同僚でさえも、一回のパスの後に、予期しなかったことを見つけています。」

— Satpal Chana

このプロジェクトからは予想外の価値が得られています。例えば、他のチームがこのプルーフ・オブ・コンセプトを活用して、他の調査への回答を評価することができます。もう一つの利点は、私たちの調査プロセスを改善する能力があることです。今では、人々がドロップダウンリストの外で回答を提出すると、我々は彼らの自由形式の回答から情報を得ることができ、それが我々が今後更に関連性のある質問を形成するのに役立ちます。今後を見据えて、Databricksがイノベーションの最前線にいるという事実が重要です。例えば、モデルエンドポイント間を簡単に切り替えることができます。これにより、最新かつ最高のGenAI技術に取り組むことができ、イギリスの観光業のニーズを現在および将来的に支援するのに役立ちます。