ゲームにおけるエージェント型AIの活用

はじめに

スタジオは、ゲーム開発の制約内で動作する洗練されたダイナミックなシステムを構築するための長年の経験を持っています。それでもなお、プレイヤーはもっと求めています。プレイヤーは、よりダイナミックな操作、コントロール、再プレイ可能性を求めています。彼らは、よりダイナミックなゲームの世界、生き生きとしたキャラクター、本当にインタラクティブでパーソナライズされた体験を求めています。スタジオはこれをはっきりと理解しており、私たちも同様です。一日の終わりには、私たちの共有目標はシンプルです：プレイヤーのために素晴らしいゲームを作ること。この目標を達成するためには、既存の業界における専門知識を尊重し、スタジオがプレイヤーが求める体験を提供するのに実際に役立つ解決策に焦点を当てる共有理解を確立することです。

エージェント型AIシステムは、ゲーム開発者が非常にダイナミックなゲーム世界を作成したり、プレイヤーに反応するNPCを作成したり、開発を加速し、プレイヤーサポートリクエストの結果を向上させるQAgentsを作成するのに役立ちます。エージェント型システムは、パーソナライズされたマーケティングクリエイティブを生成するようなビジネスラインの問題にも適用できます。新しい技術や能力についての会話は、しばしばバズワードや大きな約束に焦点を当て、素晴らしいゲームを作るために必要な技術的な芸術性や実際の現実を十分に評価しないままになります。このブログで共有する機会は、今日すぐに比較的簡単に行えることから、より高度な未来の機会まで幅広く取り扱います。

内容に入る前に、我々の用語について説明しなければなりません。人工知能（AI）という言葉は、ゲームの中で多くの意味を持つことができます。産業界は、NPCやボットの形でAIを作り上げてきました。手続き的生成もまた、ゲームが存在する以来、コンテンツを作成するのに役立つために活用されてきました。機械学習（ML）と強化学習（RL）が業界でより一般的になると、それらはしばしばAIと呼ばれるようになりました。今では、生成型AI（トランスフォーマーベースのモデル）がAIとして議論され、参照されています。明確にし、簡素化するために、このブログではAIと言うときはGenAIを指しています。他の用語を指している場合は、それらを具体的に名付けます。

エージェンティックAIとは何ですか？

Agentic AIは、自律的で目標志向の人工知能システムを指し、これらのシステムは独立して行動し、リアルタイムで適応し、文脈と目標に基づいて複雑な決定を下すことができます。スクリプト化された行動や静的なルーチンに従う伝統的なルールベースのAIとは異なり、エージェント型AIは、ダイナミックな環境内で学習、推論、進化するように設計されています。

パフォーマンスとスケーラビリティを備えたAgentic AIワークフローを構築するために、ゲームスタジオはエージェントをデータが存在する場所に配置する必要があります。Databricksは、ゲーム環境で信頼性のあるデータ駆動型の結果を提供するAIエージェントを開発、評価、管理するための唯一の統合プラットフォームを提供しています。既存のDatabricksソリューション、例えばAI PlaygroundやMLflow Model Signaturesを利用してエージェントの入力と出力のスキーマを定義することで、データが存在する場所でエージェントのプロトタイプを作成することができます。

ここでは、何がうまくいき、何がうまくいかないかを簡単に見てみましょう：

ゲーム内のエージェントAIの高レベル目標

プレイヤーセントリックな体験: エージェンティックAIを使用すると、各プレイヤーに対して真に反応する世界とキャラクターを提供することが可能になります。生きているNPCは、記憶、適応、進化する能力を持つことでゲームの物語を補強し、開発者が伝えたいストーリーを尊重するユニークでパーソナライズされた旅を毎回作り出します。

プレイヤーエンゲージメント：エージェントAIは、ダイナミックなインタラクションと新たなゲームプレイを可能にすることで、プレイヤーのエンゲージメントを深めます。プレイヤーは新たな挑戦、ストーリーライン、行動を経験し、それが彼らを何度も戻ってくるようにします。

より良いゲームの構築: 自動化されたQAエージェント（QAgents）はテストとコンテンツ作成を効率化します。これにより開発サイクルが短縮され、品質が向上し、既存のQAリソースがAIがテストできないものに焦点を当てることができます。

ライブゲームのサポート: エージェンティックAIは、コミュニティサポートの自動化、プレイヤー間の交流のモデレーション、ライブコンテンツの更新のパーソナライゼーションにより、スタジオがライブゲームをより効率的に管理するのを支援します。これにより、運用コストが削減され、プレイヤーにとってより安全で歓迎される環境が確保されます。

ゲーム内のエージェントAIの例を探る

高レベルの提案定義をさらに進めるために、我々は前述の目標と能力を枠組みとするプレイヤー中心のユースケース例の一部を選びました。

生きているNPC

エージェント型AIを使用すると、非プレイヤーキャラクターはあなたの選択を覚え、その性格を適応させ、さらには自分自身の目標を追求することができます。これらのキャラクターは、世界がより没入感のあるもので生き生きと感じられるような、ユニークで驚くべき方法で反応することができます。あなたのプレイスタイルに基づいて成長し変化する仲間、前回の遭遇から恨みを持つライバル、あなたが行った決定の結果として態度がダイナミックに変化するキャラクターを想像してみてください。ゲームはインタラクティブなエンターテイメントであり、あなたはこれらのタイプのことをかなりの間行ってきました、これらの概念は基本的に新しいものではありません。エージェンティックAIは、このダイナミズムに対するアプローチを進化させるために活用できる別のツールです。あなたがすべての行動変化とキャラクターの異なる反応を事前に定義する代わりに、エージェントがそれを作成します。結果として、よりパーソナルな感じのする、より没入感のある世界を作り出すことができ、プレイヤーのエンゲージメントと再プレイ性を高めることができます。

あなたが町の歴史家と同等のNPCを作成していると想像してみてください。伝統的には、XYZの入力と反応がありました。あなたはそのうち半分を書くかもしれません、おそらく他の半分をアウトソースするでしょう。エージェンティックシステムを使用すると、プレイヤーにより多くのエージェンシーを提供できます。PCゲームの場合、彼らが書き込むことができるチャットインターフェースがあるかもしれません、おそらく事前に書かれたプロンプトに加えて。コンソールゲームでは、タイピングがあまり楽しくない場合、スピーチ・トゥ・テキストソリューションを探索したり、ゲームの状態に基づいて動的にプレイヤーにプロンプトを提案するエージェントを使用することができます。プレイヤーの発言や質問が入力されたら、エージェントが応答を構築する時が来ます。その応答は、町の全ての伝承、またはあなたのゲームの世界をスキャンするシンプルな知識ベースのルックアップであるかもしれません。エージェントはまた、ゲームの現在の状態やプレイヤーを説明する一連のテーブルをクエリし、それを利用して最終的に彼らの応答を作成するために使用されるプロンプトを生成することができます。複合AIシステムとして、あなたはそれをシンプルに保つことも、複雑にすることも、さらには時間とともにエージェンティックAI拡張NPCを比較的容易に進化させることもできます。”

AWSのアンドレイ・ムラトフが私たちと共有したこのユースケースの興味深いサブカテゴリーは、肉体を持たないNPCです。彼らは、遅延がプレイヤーが現在期待するインタラクションの品質に問題を引き起こすと共有しています。スタジオが探求しているアプローチの一つは、肉体を持たない（肉体を持たない）NPCを作るためにAgentic AIを統合することです。これは、人間の形をした仲間、空からの声、あるいはあなたの頭の中からの声の形をとることができます。物理的な形を取り除くことで、問題のセットをかなり単純化します。1）反応にはもはや顔の動きが必要ない、2）反応を作成するために必要な計算を行うための追加時間が利用可能、3）プレイヤーとエンティティの相互作用を制限することができ、反応の提供コストを合理的なレベルに保つことができます。

ボットとQAgents

前述の通り、ボットの作成はゲーム開発者がすでに非常に熟知しているものです。エージェンティックAIと強化学習を活用することで、その作業を進化させ、改善することができます。続けて、QAボット（QAgentと呼ばれる）の具体的な例を探求します。QAgentのために取るであろうアーキテクチャと技術的アプローチは、あなたが任意のボットに対して採用するものと同じです。しかし、この例を活用するのは、QAgentsがより頻繁に、より迅速に開発される必要があり、ゲームプレイのメカニクスが時間とともに進化するためです。

QAgentsは、より良いゲームを作り、ライブオペレーションをサポートするための裏方的なユースケースを表しています。これらのAIパワードの自動化QAテスターは、ボットとして表現され、人間と同じようにゲームと対話します。レベルをプレイしたり、特定のアクションを実行したり、バグや予期しない挙動を探したりします。伝統的なスクリプト化されたテスト自動化とは異なり、QAgentはゲームの変更に適応し、新しいコンテンツを探索し、動的な環境に対応することができます。これにより、スタジオはより効率的にテストを行い、問題を早期に発見し、新しいリリースとライブゲームの両方で高品質を維持することができます。結果として、プレイヤーにはスムーズな体験が提供され、スタジオにはより敏捷な開発プロセスが提供されます。

これらのエージェントを開発する一つの方法は、Unreal Engineの実験的なLearning Agentsプラグインのようなツールを使用することです。このプラグインは、人気のある機械学習アルゴリズムの効率的でゲーム対応の実装と、設計者や開発者が必要なインターフェースをBlueprintsまたはC++コードで指定できるインターフェースを提供します。あなたがエージェントが観察できること、エージェントが行うことができる行動、そして「良い」があなたにとってどういう意味を持つかを定義することができれば、Learning AgentsはあなたのボットやQAgentを機械学習で動かすために必要なモデルを訓練するための経験データを収集するのを助けることができます。このプラグインは、累積報酬の最適化に基づいてモデルが学習する強化学習（つまり、他の人がプレイするのを録画するのではなく、ゲーム自体をプレイすることで学習します）と、録画されたデモンストレーション（例えば、人間のプレイヤーの行動）を利用してエージェントを訓練する模倣学習をサポートしています。たとえあなたがLearning Agentsを直接使用しなくても、あなた自身のゲームエンジン用の汎用的な機械学習実装を構築し、それを訓練ループと組み合わせてあなたのエージェントを構築することによって、同様のアプローチを採用することを検討することができます。

QAgentsやボットのML観点からのもう一つの側面は、興味のある様々な側面を認識することです。これらの中には、例えば、オブジェクト間の様々な制約違反をチェックしたり、プレイセッション全体の統計を集計したりするなど、決定論的な性質を持つものもあります（例えば、ボットがレベルを成功裏に完了することができなくなる）。他のテストでは、より高度な解決策が必要となる場合もあり、これには追加の機械学習モデルが組み込まれることもあります。例えば、画面上でプレイヤーキャラクターを視覚的に検出するオブジェクト認識モデルと、画像内の人物がTポーズになっているかどうかを検出する画像分類器を組み合わせたものは、ゲームループからサンプリングされたフレーム上で実行され、伝統的には人間の検出が必要とされる特定の種類の視覚的欠陥を判断するために使用することができます。あなたの人間のプレイテスターがあなたのゲームで作業を行うと、彼らが特定した欠陥によって生成されたデータをキャプチャすることは、これらのモデルを訓練し、彼らの作業をさらに増幅し、スケールするのに使用することができます。これにより、データとAIの増幅の良いサイクルが生まれ、いわゆるデータフライホイールがあなたのゲームのQA実践に適用され、より早く、より成功したローンチ、よりポジティブなレビュー、そしてより幸せなプレイヤーにつながります。

QAgentsやボットの使用ケースに関係なく、スタジオからはAIモデルを迅速かつ効率的に訓練し、再訓練する能力が必要であるという声が高く聞こえてきます。開発者、デザイン、クリエイティブ部門のビルドサイクルとMLopsパイプラインを同期させてモデルを最新の状態に保つことができる適応型の機械学習ワークフローを構築することで、あなたのスタジオは本当にAIを統合し、ゲームのローンチを加速させることができます。これをスケーラブルでクラウドネイティブなデータとAIプラットフォーム上で構築することで、効率的にスケールアップとスケールダウンが可能となり、スケジュールに合わせてペースを保つことができます。特徴エンジニアリングやモデル管理に関するアーキテクチャのベストプラクティス、可能な場合は転送学習を活用して微調整することを含め、開発サイクル全体で効率的に実行することができ、チームの英雄的な努力を増幅させます。QAチームはすでに迅速なターンアラウンド時間で作業を行っていることが多く、このループにモデルトレーニングの遅延を追加することは結局のところ役に立ちません。代わりに、モデルはデータに近い場所に存在する必要があります。

コミュニティサポート

ゲームでネガティブな体験をしたとき、チケットを提出し、次のような返答を得ることがあります：あなたのチケットに感謝します、いつか私たちはあなたに戻ります。応答を得ると、それはしばしばあなたの懸念に対処しない缶詰の応答のように見えます。これらの役割をスタッフィングすることは非常に高価であり、使用される知識ベースを維持し、新たに見つかったバグ、リリースされた機能、ガイドラインの変更に伴ってそれらを更新することは圧倒的です。これらの詳細のすべての結果として、プレイヤーへの応答はしばしば理想的ではありません。

エージェントAIは、コミュニティサポートのためのよりプレイヤーセントリックな体験を作り出す機会を提供してくれます。このアプローチは、サポート機能の進化を表しており、全く新しいパラダイムではありません。あなたのヒューリスティックなチャットボットは、事実上、よりダイナミックな知識ベースバックアップチャットボットに置き換えられます。これがステップワンです。それが整ったら、すぐにプレイヤーにより良い体験を提供することができます。そこから続けていきます、これがエージェントAIが登場するところで、プレイヤーからの入力を受け取り、何が尋ねられているかについての詳細を抽出し、制御するAIシステムが使用するプロンプトを増強するための追加システムを利用する複合AIシステムを構築します。

コミュニティサポートのためのAgentic AIシステムのストーリーボードがどのように見えるかを探求しましょう：

• プロンプト： ユーザーは、試合に勝つ直前にサーバーがクラッシュし、報酬を奪われたと報告しています。
• 理解を構築する：エージェントシステムはプロンプトを受け入れ、キーとなる詳細（サーバーのクラッシュ、勝利寸前、報酬が欠けている）を抽出します
  • クエリ：サーバーのクラッシュログとプレイヤーのマッチを確認して、そのマッチが失敗したサーバー上にあったかどうかを確認します（それはそうでした）
  • クエリ：ゲームの最後の状態（実際に勝つ寸前だったのか）
  • クエリ：そのサーバー上にいたプレイヤーの中に、統計的に高いレベルのサーバーの故障があるプレイヤー（チーター？）がいたかどうか
  • クエリ：これは高価値のプレイヤーですか？
• 行動を起こす
  • 上記の理解を組み合わせて評価する：何が正しい行動方針か
  • 理解から詳細を統合した理由を持って提案された行動方針でプレイヤーに応答する
  • プレイヤーは同意するか、反対する。
    • 同意：Agentic AIシステムは即座に行動を取るか、行動がレビューを必要とする場合は、それをキューに追加（理解した上で引き出す）し、プレイヤーに次のステップを知らせます。
    • 同意しない：プレイヤーが高価値であれば、彼らをライブエージェントまたは高優先度のキューに移動します。低価値のプレイヤーが尊重ある態度で応答すると、他の結果がないことが明確になります。

Agentic AIを使用すると、上記は今日の可能性の範囲内にあります。時間、テスト、努力が必要ですが、時間をかけてリテンションを向上させるプレイヤーセントリックなカスタマーサポート体験を作り出すことができます。あなたのプレイヤーとコミュニティサポートチームは依然として重要ですが、その機能はこれらのエージェントを通じて発生するポジティブな経験とネガティブな経験から学び、時間とともにそれらを改善するものとして進化します。それはまた、彼らが全体としてタイトルを改善するために開発と運用とより密接に働くことができるように彼らを解放します。目標は役割を排除することではなく、彼らが推進する結果を改善することです。

マーケティングクリエイティブ生成

これまでに提供したすべての例は、対話的な側面に大きく依存しています。Agentic AIのすべての使用が対話的である必要はありません。Agentic AIシステムは、マルチステップ、ダイナミックな要件を考慮するときに最も有用です。ゲーム内のそのような要件の一つは、マーケティングクリエイティブの大規模生成です。最近のUAセグメンテーションブログで議論したように、広告プラットフォームはますますブラックボックス化し、提供できる入力が減少しています。開発者は、マーケティングキャンペーンからのインバウンドリードについても、はるかに少ない情報を受け取ります。関連するコールドスタート問題を解決するための一つのアプローチは、異なるプレイヤーセグメントに合わせたマーケティングクリエイティブを作成し、その結果、特定の広告に関与したプレイヤーの嗜好を仮定することです。これをスケーラブルにするために、開発者はAgentic AIを活用したマーケティングクリエイティブ生成を探しています。

次のような状況を想像してみてください：あなたは過去に使用した広告クリエイティブ、ゲームのスクリーンショット、そして将来のマーケティングクリエイティブの基盤となる他のビジュアルを持っています。K-Meansクラスタリングを利用して、例えば、ソーシャライザー、コンプリーショニスト、キラー、エクスプローラーなど、名前付きのプレイヤークラスタを一連のものとして構築しました。LTVモデル、キャンペーンソース、帰属広告ネットワーク、その他のメトリクスをプレイヤーに適用して、プレイヤーとその品質についての全体的な視野を提供しています。あなたは次のマーケティングキャンペーンの準備をしています。このシステムにアクセスし、「最上位の2つのLTVプレイヤーセグメントそれぞれに対して4つの潜在的なマーケティングクリエイティブを生成し、これらのセグメントのプレイヤーに対する過去のネットワークのパフォーマンスに基づいて、広告ネットワーク間でのUA支出のミックスを推奨してください。60-120日前に参加したプレイヤーのみを考慮してください。”

エージェンティックシステムは、上記を一連のステップに分解し、提供された画像を生成の基礎として活用し、セグメントテーブル、LTV詳細、キャンペーン結果テーブルを照会し、潜在的な画像を生成し、UA支出ミックスを提案します。これらすべてをあなたのプロンプトから推測します。この出力をもとに、マーケティングクリエイティブチームは例の一つを選んで実行するか、あるいはより可能性が高いことに、それを基に最終製品を作成することができます。このアプローチを用いると、どれだけ迅速に、そしてスケールして、高度にターゲット指向でカスタマイズされたマーケティングキャンペーンを作成できるかがわかります。これにより、視聴者全体ではなく、その異なる部分に対して話しかけることができ、ROAS、eCPMの最大化とプレイヤーベースの拡大を実現することができます。

まずはここから

ゲームはインタラクティブなメディアとして、ダイナミックな体験は業界内のコアスキルです。決定木から手続き的生成、そして今ではエージェントAIシステムまで、業界は引き続き新たな方法論を統合して魅力的な体験を作り出すでしょう。私たちは、ゲーム内でのエージェントAIの潜在的な使用例の一部を共有しました。ここで説明したアプローチは、他の類似のユースケースにも適用でき、互いに組み合わせることができます。例えば、Living NPCsとBotsを別々のものとして扱っていますが、Co-Opゲームでコミュニケーションを取るプレイヤーコーチを作成したり、タイトルのFTUE中に使用できるトレーナーを作成するために、両方を活用することもあります。Agentic AIは追加の創造的なアプローチを可能にしますが、高度にスキルを持ち、創造的で知識豊富なスタッフの必要性を否定するものではありません。それはツールであり、私たちが年間を通じて進化させ、ゲームに統合してきた他のものと同じです。Straus Zelnickが言ったように、「天才は人間の領域です」。

構造化されたものであろうと、非構造化であろうと、知識ベースであろうと、すべてのデータを一か所に集めることは、Agentic AIシステムを可能にするための重要な最初のステップです。Databricksを使用すれば、これらのシステムをより簡単に構築し、プレイヤーセントリックな体験プロジェクトを可能かつコスト効率的にすることができます。Databricksがこれらの使用例や他の使用例でゲーム会社をどのように支援しているかについて詳しく知りたい場合は、databricks.com/gamesをチェックするか、あなたのアカウントエグゼクティブに連絡してください。また、私たちのeBookやソリューションアクセラレータで、データ、AI、ゲームについてさらに学ぶこともできます。

あなたが続けて構築する新しい革新的な体験に参加することを楽しみにしています。世界のプレイヤーにサービスを提供していただき、ありがとうございます。

Huntting Buckley、GTMリーダー、Carly TaylorとCorey Abshire、ゲームソリューション

Games @ Databricks