Aproveitando a IA Agente em Jogos

Introdução

Studios têm anos de experiência na construção de sistemas sofisticados e dinâmicos que funcionam dentro das limitações do desenvolvimento de jogos. Mesmo com isso em mente, os jogadores querem mais. Os jogadores querem mais dinamismo, controle e capacidade de replay. Eles querem mundos de jogos mais dinâmicos, personagens que parecem vivos e experiências que são verdadeiramente interativas e personalizadas. Os estúdios ouvem isso alto e claro, e nós também. No final do dia, nosso objetivo comum é simples: fazer jogos incríveis para os jogadores. Alcançamos esse objetivo estabelecendo um entendimento compartilhado que respeita a expertise já existente na indústria e se concentra em soluções que realmente ajudam os estúdios a entregar as experiências que os jogadores desejam.

Sistemas de IA Agentic podem ajudar desenvolvedores de jogos a: criar mundos de jogo altamente dinâmicos, NPCs que podem reagir ao jogador, QAgents que aceleram o desenvolvimento e produzem resultados de maior qualidade para solicitações de suporte ao jogador. Sistemas Agentic também podem ser aplicados a problemas de linha de negócios, como a geração de criativos de marketing personalizados. Muitas vezes, as conversas sobre novas tecnologias e capacidades se concentram em palavras da moda e grandes promessas, sem apreciar totalmente a arte técnica e as realidades práticas que entram na criação de grandes jogos. As oportunidades que compartilharemos neste blog variarão desde: algo que você pode fazer hoje com relativa facilidade até oportunidades futuras mais avançadas.

Antes de mergulhar no conteúdo, seríamos negligentes se não discutíssemos nossa nomenclatura. As palavras Inteligência Artificial (IA) podem significar tantas coisas em Jogos. A indústria tem construído IA's na forma de NPCs e bots há bastante tempo. A geração procedural também tem sido usada para ajudar a criar conteúdo desde que os jogos existem. Quando o Aprendizado de Máquina (ML) e o Aprendizado por Reforço (RL) se tornaram mais prevalentes na indústria, eles também eram frequentemente referidos como IA. Agora a IA Generativa (Modelos Baseados em Transformadores) está sendo discutida e referida como IA. Para esclarecer e simplificar, neste blog quando dizemos IA, estamos nos referindo à GenAI. Se estivermos nos referindo a qualquer um dos outros termos, nós os nomearemos especificamente.

O que é IA Agente?

IA Agente se refere a sistemas de inteligência artificial autônomos e orientados a objetivos que podem agir de forma independente, adaptar-se em tempo real e tomar decisões complexas com base no contexto e nos objetivos. Ao contrário da IA tradicional, baseada em regras, que segue comportamentos roteirizados ou rotinas estáticas, a IA Agentic é projetada para aprender, raciocinar e evoluir dentro de ambientes dinâmicos.

Para construir fluxos de trabalho de IA Agente eficientes e escaláveis, os estúdios de jogos precisam colocar seus agentes onde seus dados estão. Databricks oferece a única plataforma unificada para desenvolver, avaliar e governar Agentes de IA que fornecem resultados confiáveis e orientados por dados em ambientes de jogos. Ao aproveitar as soluções existentes do Databricks, como o AI Playground e as Assinaturas de Modelo do MLflow para definir o esquema de entrada e saída dos agentes, você pode prototipar agentes diretamente onde seus dados estão armazenados.

Aqui está uma rápida visão do que funciona e do que não funciona:

Metas de Alto Nível para IA Agentic em Jogos

Experiências Centradas no Jogador: A IA Agentic torna possível entregar mundos e personagens que se sentem verdadeiramente responsivos a cada jogador. NPCs vivos aumentam a narrativa dos jogos, permitindo que eles se lembrem, se adaptem e evoluam, transformando cada jogada em uma jornada única e personalizada que respeita a história que o desenvolvedor queria transmitir.

Engajamento do Jogador: Ao permitir interações dinâmicas e jogabilidade emergente, a IA agente promove um engajamento mais profundo do jogador. Os jogadores encontram novos desafios, enredos e comportamentos que os mantêm voltando para mais.

Construindo Jogos Melhores: Agentes de QA automatizados (QAgents) agilizam os testes e a criação de conteúdo. Isso reduz os ciclos de desenvolvimento, melhora a qualidade e apoia os recursos de QA existentes para se concentrarem em coisas que a IA não pode testar.

Suporte a Jogos ao Vivo: A IA Agente ajuda os estúdios a gerenciar jogos ao vivo de forma mais eficiente, automatizando o suporte à comunidade, moderando as interações dos jogadores e personalizando atualizações de conteúdo ao vivo. Isso reduz os custos operacionais e garante um ambiente mais seguro e acolhedor para os jogadores.

Explorando Exemplos de IA Agente em Jogos

Para aprofundar a definição proposta de alto nível, selecionamos um subconjunto de exemplos de casos de uso centrados no jogador que enquadram os objetivos e capacidades mencionados anteriormente.

NPCs Vivos

Com a IA Agente, personagens não jogadores podem lembrar suas escolhas, adaptar suas personalidades e até mesmo perseguir seus próprios objetivos. Esses personagens podem reagir de maneiras únicas e surpreendentes que tornam o mundo mais imersivo e vivo. Imagine um companheiro que cresce e muda com base no seu estilo de jogo, um rival que guarda rancor de um encontro anterior ou um personagem cujo comportamento muda dinamicamente como resultado das decisões que você tomou. Jogos são entretenimento interativo, você tem feito esses tipos de coisas há bastante tempo, esses conceitos não são fundamentalmente novos. A IA Agentic é outra ferramenta que você pode usar para evoluir sua abordagem a esse dinamismo. Em vez de você ter que pré-definir todas as mudanças de comportamento e as diferentes respostas de seus personagens, o agente cria isso para você. O resultado é ser capaz de criar mundos ainda mais imersivos que parecem mais pessoais e que impulsionam maior engajamento e repetibilidade dos jogadores.

Vamos imaginar que você está construindo um NPC que deve ser o equivalente ao historiador da cidade. Tradicionalmente, eles teriam entradas e respostas XYZ. Você pode escrever metade deles, provavelmente terceirizar a outra metade. Com um sistema Agentic, você proporciona ao jogador mais agência. Para um jogo de PC, você pode ter uma interface de chat na qual eles podem escrever, talvez além de prompts pré-escritos. Para um jogo de console, onde digitar é menos agradável, você poderia explorar uma solução de fala para texto ou usar um agente para sugerir prompts para o jogador, dinamicamente, com base no estado do jogo. Com a declaração ou pergunta do jogador inserida, é hora do agente construir uma resposta. A resposta deles pode ser uma simples pesquisa na base de conhecimento que verifica toda a tradição da cidade, ou do seu mundo de jogo. O agente também pode consultar uma série de tabelas que descrevem o estado atual do jogo ou do jogador, e então usar isso para gerar o prompt que é usado para criar sua resposta. Como um sistema de IA composto, você pode mantê-lo simples, complexo e até mesmo evoluir seus NPCs aumentados pela IA Agentic ao longo do tempo com relativa facilidade.

Uma subcategoria interessante deste caso de uso compartilhada conosco por Andrei Muratov na AWS é a dos NPCs desencarnados. Eles compartilham que a latência causa desafios com a qualidade da interação que os jogadores esperam hoje em dia. Uma abordagem que eles estão vendo os estúdios explorarem é a integração da IA Agentic para criar NPCs que não têm forma física (desencarnados). Isso pode vir na forma de um companheiro antropomórfico, uma voz do céu ou talvez de dentro da sua cabeça. Ao remover a forma física, você simplifica bastante o conjunto de problemas. 1) as respostas não exigem mais movimento facial, 2) tempo adicional está disponível para realizar o cálculo necessário para criar as respostas, 3) você pode limitar a interação do jogador com a entidade, permitindo que você mantenha os custos de servir respostas em um nível razoável.

Bots e QAgents

Como mencionamos anteriormente, a criação de bots é algo com que os desenvolvedores de jogos já estão muito familiarizados. Ao aproveitar a IA Agente e o Aprendizado por Reforço, somos capazes de evoluir e melhorar esse trabalho. Em continuação, exploramos um exemplo específico de um bot, o bot de QA (apelidado de QAgent). A arquitetura e abordagem técnica que você adotaria para um QAgent é a mesma que você usaria para qualquer bot. Aproveitamos este exemplo, no entanto, porque os QAgents geralmente precisam ser desenvolvidos com mais frequência, mais rapidamente e se adaptar à medida que as mecânicas de jogo evoluem ao longo do tempo.

QAgents representam um caso de uso nos bastidores que é tudo sobre construir jogos melhores e apoiar operações ao vivo. Esses testadores de QA automatizados alimentados por IA, expressos como bots, interagem com o jogo como um humano faria, jogando através de níveis, realizando ações específicas e procurando por bugs ou comportamentos inesperados. Ao contrário da automação de teste tradicionalmente roteirizada, os QAgents podem se adaptar a mudanças no jogo, explorar novos conteúdos e responder a ambientes dinâmicos. Isso permite que os estúdios testem de forma mais eficiente, detectem problemas mais cedo e mantenham uma qualidade mais alta tanto em novos lançamentos quanto em jogos ao vivo. O resultado é uma experiência mais suave para os jogadores e um processo de desenvolvimento mais ágil para os estúdios.

Uma maneira de desenvolver esses agentes é usando ferramentas como o plugin experimental Learning Agents do Unreal Engine. Este plugin fornece uma implementação eficiente e pronta para jogos de algoritmos populares de aprendizado de máquina, juntamente com interfaces que permitem que seus designers e desenvolvedores especifiquem a interface necessária, seja por Blueprints ou código C++. Contanto que você possa especificar as observações que seu agente pode fazer, as ações que seu agente pode tomar e definir o que "bom" parece para você em termos de uma função de recompensa, os Agentes de Aprendizagem podem facilitar a coleta de dados de experiência para treinar os modelos necessários para alimentar seu bot ou QAgent com aprendizado de máquina. O plugin suporta tanto o aprendizado por reforço, onde o modelo aprende com base na otimização de recompensas cumulativas (ou seja, ele aprende jogando o jogo em si, em vez de gravações de outros jogando), e o aprendizado por imitação, que utiliza demonstrações gravadas (por exemplo, ações de jogadores humanos) para treinar agentes. Mesmo que você não use Agentes de Aprendizado diretamente, ainda pode considerar a adoção de uma abordagem semelhante, construindo sua própria implementação de aprendizado de máquina de propósito geral para o motor do seu jogo e combinando-a com um loop de treinamento para construir seus agentes.

Além de algum tipo de modelo para ajudar a automatizar o comportamento dos seus agentes no jogo, o outro aspecto dos QAgents e bots de uma perspectiva de ML é reconhecer diferentes aspectos de interesse. Alguns desses podem ser determinísticos por natureza, por exemplo, verificar várias violações de restrições entre objetos, ou agregar estatísticas ao longo de uma sessão de jogo (por exemplo, o bot simplesmente não consegue mais completar o nível com sucesso). Outros testes podem exigir soluções mais sofisticadas, incorporando modelos adicionais de aprendizado de máquina. Por exemplo, um modelo de reconhecimento de objetos que detecta personagens de jogadores visualmente na tela, combinado com um classificador de imagens que detecta se uma pessoa em uma imagem está em uma pose T, poderia ser executado em frames amostrados do loop de jogo para determinar um tipo particular de defeito visual que normalmente exigiria detecção humana. À medida que seus testadores humanos trabalham com seu jogo, capturar os dados produzidos pelos defeitos que eles identificaram pode ser usado para treinar esses modelos e ampliar e escalar ainda mais o trabalho deles, levando a um ciclo virtuoso de dados e amplificação de IA: o chamado volante de dados aplicado à sua prática de QA para o seu jogo, levando a lançamentos mais rápidos e bem-sucedidos, críticas mais positivas e jogadores mais felizes.

Independentemente dos casos de uso para os QAgents ou bots, o que ouvimos dos estúdios em alto e bom som é que eles precisam da capacidade de treinar e re-treinar seus modelos de IA de forma rápida e eficiente. Construir um fluxo de trabalho de aprendizado de máquina adaptativo que possa manter os modelos atualizados, sincronizando o pipeline MLops com os ciclos de construção do desenvolvedor, design e departamento criativo, permite que seu estúdio integre verdadeiramente a IA para acelerar os lançamentos de seus jogos. Construir isso em uma plataforma de dados e IA nativa da nuvem escalável permite que ela aumente e diminua eficientemente, acompanhando seu cronograma. Combinado com as melhores práticas arquitetônicas em torno da engenharia de recursos e gerenciamento de modelos, incluindo ajustes finos sempre que possível para aproveitar o aprendizado de transferência, torna eficiente executar durante todo o seu ciclo de desenvolvimento, aumentando e amplificando os esforços heroicos de suas equipes. As equipes de QA geralmente já estão trabalhando em tempos de resposta acelerados, e adicionar atraso no treinamento do modelo a este ciclo é, em última análise, inútil. Em vez disso, os modelos precisam viver perto dos dados.

Suporte da comunidade

Quando você tem uma experiência negativa em um jogo, envia um ticket e recebe uma resposta que diz algo como: Obrigado pelo seu ticket, algum dia voltaremos para você. Uma vez que você recebe a resposta, muitas vezes parece ser uma resposta pronta que não aborda sua preocupação. Contratar para esses cargos é bastante caro, manter bases de conhecimento para serem usadas e mantê-las atualizadas à medida que novos bugs são encontrados, recursos são lançados e diretrizes mudam é esmagador. É resultado de todos esses detalhes que as respostas aos jogadores são frequentemente menos do que ideais.

A IA Agente nos oferece a oportunidade de criar uma experiência mais centrada no jogador para o suporte à comunidade. Esta abordagem representa uma evolução de sua função de suporte, não um novo paradigma inteiro. Seu chatbot heurístico é substituído por um chatbot mais dinâmico, apoiado por uma base de conhecimento, efetivamente. Este é o primeiro passo. Com isso em prática, você pode imediatamente proporcionar uma melhor experiência para seus jogadores. Continuamos a partir daí, é aqui que a IA Agente entra em jogo, e construímos um sistema de IA composto que recebe a entrada do jogador, extrai detalhes sobre o que é perguntado e tira proveito de sistemas adicionais para aumentar os prompts que são usados pelo sistema de IA controlador.

Vamos explorar como seria o storyboard para um sistema de IA Agente para Suporte à Comunidade:

• Prompt: O usuário relata que seu servidor caiu logo antes de ganhar a partida, roubando-lhe uma recompensa.
• Compreensão de Construção: O sistema agente aceita o prompt, extrai detalhes chave (falha do servidor, perto de ganhar, recompensa faltando)
  • Consulta: Log de falha do servidor e as partidas do jogador para ver se a partida deles estava em um servidor que falhou (estava)
  • Consulta: Último estado do jogo (você estava realmente prestes a ganhar)
  • Consulta: Havia jogadores naquele servidor que têm um nível estatisticamente alto de falhas no servidor (trapaceiros?)
  • Consulta: Este é um jogador de alto valor?
• Toma Ação
  • Combine o entendimento acima para avaliar: Qual é o curso de ação correto
  • Responde ao jogador com o curso de ação proposto com razões que integram detalhes de seu entendimento
  • O jogador concorda ou discorda.
    • Concordo: O sistema de IA Agentic toma ação imediata ou, se a ação precisar de revisão, adiciona-a a uma fila (com o entendimento de que foi puxada) para revisão adicional e informa ao jogador os próximos passos.
    • Discordo: Se o jogador é de alto valor, mova-o para um agente ao vivo ou uma fila de alta prioridade. Se o jogador de baixo valor responde de maneira respeitosa, fica claro que não há outro resultado.

Com a IA Agentic, o acima está dentro do reino das possibilidades de hoje. Isso exigirá tempo, testes e esforço, mas você terá criado uma experiência de suporte ao cliente centrada no jogador que melhora sua retenção ao longo do tempo. Sua equipe de suporte ao jogador e à comunidade ainda é crítica, mas sua função evoluirá como uma para aprender com as experiências positivas e negativas que ocorrem por meio desses agentes para melhorá-los ao longo do tempo. Isso também os liberará para trabalhar mais de perto com o desenvolvimento e as operações para melhorar o título como um todo. O objetivo não é eliminar funções, mas melhorar os resultados que elas geram.

Geração Criativa de Marketing

Até agora, todos os exemplos que fornecemos se baseiam fortemente no lado interativo das coisas. Nem todos os usos da IA Agentic precisam ser interativos por natureza. Sistemas de IA Agentic são mais úteis quando consideramos requisitos dinâmicos de várias etapas. Um desses requisitos dentro dos jogos é a geração em escala de criativos de marketing. Como discutimos em nosso recente Blog de Segmentação de UA, as plataformas de anúncios estão se tornando cada vez mais caixas pretas onde a entrada que você pode fornecer diminuiu. Os desenvolvedores também recebem muito menos informações sobre leads inbound de suas campanhas de marketing. Uma abordagem para ajudar com o problema relacionado ao início frio é criar criativos de marketing que se alinham com diferentes segmentos de jogadores e, ao fazer isso, assume as preferências dos jogadores de entrada com base no anúncio específico com o qual eles se envolveram. Para tornar isso escalável, os desenvolvedores estão buscando a geração criativa de marketing habilitada para IA Agentic.

Imagine o seguinte: você tem um criativo de publicidade que usou no passado, capturas de tela do seu jogo e outros visuais que seriam a base do seu futuro criativo de marketing. Você utilizou o agrupamento K-Means para construir uma série de clusters de jogadores nomeados, por exemplo, socializador, perfeccionista, assassino e explorador. Você tem modelos de LTV, fonte de campanha, rede de anúncios atribuída e outras métricas aplicadas aos seus jogadores para lhe dar uma visão holística de seus jogadores e sua qualidade. Você está agora se preparando para sua próxima campanha de marketing. Você entra neste sistema e pergunta "Gere 4 potenciais criativos de marketing, cada um, para os dois principais segmentos de jogadores de LTV e recomende uma mistura de gastos de UA em redes de anúncios com base no desempenho passado dessas redes para os jogadores nesses segmentos. Considere apenas jogadores que se juntaram de 60 a 120 dias atrás.”

O sistema agente irá quebrar o acima em uma série de etapas, aproveitar as imagens que você forneceu como base para a geração, consultar suas tabelas de segmento, detalhes de LTV e tabelas de resultados de campanha, gerar suas imagens potenciais e sugerir sua mistura de gastos com UA. Ele infere tudo isso a partir do seu prompt. Com essa saída, sua equipe de criação de marketing pode escolher um dos exemplos e seguir com ele ou, mais provavelmente, usá-lo como base para criar seu produto final. Você pode ver com essa abordagem o quanto mais rapidamente, e em escala, você poderia criar campanhas de marketing altamente direcionadas e personalizadas que falam não apenas para o seu público como um todo, mas para diferentes partes dele, permitindo que você maximize seu ROAS, eCPM e aumente sua base de jogadores.

Introdução

Como um meio interativo, as experiências dinâmicas dos jogos são uma habilidade central dentro da indústria. De árvores de decisão à geração procedural e agora sistemas de IA Agentic, a indústria continuará a integrar novas metodologias para criar experiências envolventes. Compartilhamos um pequeno subconjunto de possíveis casos de uso para IA Agente dentro dos Jogos. As abordagens descritas podem ser aplicadas a outros casos de uso semelhantes e podem ser combinadas entre si. Por exemplo, falamos sobre NPCs Vivos e Bots como coisas separadas, mas você pode aproveitar ambos para criar, por exemplo, um treinador de jogador com quem você se comunica em um jogo Co-Op ou para construir um treinador que poderia ser usado durante o FTUE do seu título. É importante notar que a IA Agente abre a porta para abordagens criativas adicionais, mas não nega a necessidade de uma equipe altamente qualificada, criativa e conhecedora. É uma ferramenta, não diferente de qualquer outra que evoluímos e integramos aos jogos ao longo dos anos. Como Straus Zelnick colocou bem, "O gênio é o domínio dos seres humanos."

Reunir todos os seus dados em um só lugar, seja estruturado, não estruturado ou baseado em conhecimento, é um primeiro passo crítico para tornar os sistemas de IA Agente possíveis. Com Databricks, você pode construir esses sistemas com mais facilidade, tornar projetos de experiência centrada no jogador possíveis e econômicos. Se você quiser saber mais sobre como a Databricks ajuda as empresas de jogos com esses e outros casos de uso, confira databricks.com/games ou entre em contato com seu executivo de contas. Você também pode aprender mais sobre Dados, IA e Jogos em nosso eBook ou nossos aceleradores de solução.

Mal podemos esperar para participar das novas experiências inovadoras que você continua a construir. Obrigado por servir os jogadores do mundo.

Huntting Buckley, Líder GTM com Carly Taylor e Corey Abshire, Soluções de Jogos.

Jogos @ Databricks

(This blog post has been translated using AI-powered tools) Original Post