Aprendizado por esforço aplicado ao combate em jogos eletrônicos de estratégia em tempo real

Detalhes bibliográficos
Ano de defesa: 2014
Autor(a) principal: Botelho Neto, Gutenberg Pessoa
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Federal da Paraí­ba
BR
Informática
Programa de Pós-Graduação em Informática
UFPB
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Link de acesso: https://repositorio.ufpb.br/jspui/handle/tede/6128
Resumo: Electronic games and, in particular, real-time strategy (RTS) games, are increasingly seen as viable and important fields for artificial intelligence research because of commonly held characteristics, like the presence of complex environments, usually dynamic and with multiple agents. In commercial RTS games, the computer behavior is mostly designed with simple ad hoc, static techniques that require manual definition of actions and leave the agent unable to adapt to the various situations it may find. This approach, besides being lengthy and error-prone, makes the game relatively predictable after some time, allowing the human player to eventually discover the strategy used by the computer and develop an optimal way of countering it. Using machine learning techniques like reinforcement learning is a way of trying to avoid this predictability, allowing the computer to evaluate the situations that occur during the games, learning with these situations and improving its behavior over time, being able to choose autonomously and dynamically the best action when needed. This work proposes a modeling for the use of SARSA, a reinforcement learning technique, applied to combat situations in RTS games, with the goal of allowing the computer to better perform in this fundamental area for achieving victory in an RTS game. Several tests were made with various game situations and the agent applying the proposed modeling, facing the game's default AI opponent, was able to improve its performance in all of them, developing knowledge about the best actions to choose for the various possible game states and using this knowledge in an efficient way to obtain better results in later games
id UFPB_a79d1fc5a662bf940e6e773c048d3af0
oai_identifier_str oai:repositorio.ufpb.br:tede/6128
network_acronym_str UFPB
network_name_str Biblioteca Digital de Teses e Dissertações da UFPB
repository_id_str
spelling Aprendizado por esforço aplicado ao combate em jogos eletrônicos de estratégia em tempo realInteligência artificialAprendizagem de máquinaState Action Reward State Action - SARSAArtificial intelligenceReal Time Strategy - RTSMachine learningCIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAOElectronic games and, in particular, real-time strategy (RTS) games, are increasingly seen as viable and important fields for artificial intelligence research because of commonly held characteristics, like the presence of complex environments, usually dynamic and with multiple agents. In commercial RTS games, the computer behavior is mostly designed with simple ad hoc, static techniques that require manual definition of actions and leave the agent unable to adapt to the various situations it may find. This approach, besides being lengthy and error-prone, makes the game relatively predictable after some time, allowing the human player to eventually discover the strategy used by the computer and develop an optimal way of countering it. Using machine learning techniques like reinforcement learning is a way of trying to avoid this predictability, allowing the computer to evaluate the situations that occur during the games, learning with these situations and improving its behavior over time, being able to choose autonomously and dynamically the best action when needed. This work proposes a modeling for the use of SARSA, a reinforcement learning technique, applied to combat situations in RTS games, with the goal of allowing the computer to better perform in this fundamental area for achieving victory in an RTS game. Several tests were made with various game situations and the agent applying the proposed modeling, facing the game's default AI opponent, was able to improve its performance in all of them, developing knowledge about the best actions to choose for the various possible game states and using this knowledge in an efficient way to obtain better results in later gamesCoordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPESJogos eletrônicos e, em especial, jogos de estratégia em tempo real (RTS), são cada vez mais vistos como campos viáveis e importantes para pesquisas de inteligência artificial por possuírem características interessantes para a área, como a presença de ambientes complexos, muitas vezes dinâmicos e com múltiplos agentes. Nos jogos RTS comerciais, o comportamento do computador é geralmente definido a partir de técnicas ad hoc simples e estáticas, com a necessidade de definição manual de ações e a incapacidade de adaptação às situações encontradas. Esta abordagem, além de demorada e propícia a erros, faz com que o jogo se torne relativamente previsível após algum tempo, permitindo ao jogador eventualmente descobrir a estratégia utilizada pelo computador e desenvolver uma forma ótima de enfrentá-lo. Uma maneira de tentar combater esta previsibilidade consiste na utilização de técnicas de aprendizagem de máquina, mais especificamente do aprendizado por reforço, para permitir ao computador avaliar as situações ocorridas durante as partidas, aprendendo com estas situações e aprimorando seu conhecimento ao longo do tempo, sendo capaz de escolher de maneira autônoma e dinâmica a melhor ação quando necessário. Este trabalho propõe uma modelagem para a utilização de SARSA, uma técnica do aprendizado por reforço, aplicada a situações de combate em jogos RTS, com o objetivo de fazer com o que o computador possa se portar de maneira mais adequada nessa área, uma das mais fundamentais para a busca da vitória em um jogo RTS. Nos testes realizados em diversas situações de jogo, o agente aplicando a modelagem proposta, enfrentando o oponente padrão controlado pela IA do jogo, foi sempre capaz de melhorar seus resultados ao longo do tempo, obtendo conhecimento acerca das melhores ações a serem tomadas a cada momento decisório e aproveitando esse conhecimento nas suas partidas futurasUniversidade Federal da Paraí­baBRInformáticaPrograma de Pós-Graduação em InformáticaUFPBSiebra, Clauirton de Albuquerquehttp://lattes.cnpq.br/7707799028683443Botelho Neto, Gutenberg Pessoa2015-05-14T12:36:51Z2018-07-21T00:15:29Z2014-10-272018-07-21T00:15:29Z2014-03-28info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfBOTELHO NETO, Gutenberg Pessoa. Aprendizado por esforço aplicado ao combate em jogos eletrônicos de estratégia em tempo real. 2014. 80 f. Dissertação (Mestrado em Informática) - Universidade Federal da Paraí­ba, João Pessoa, 2014.https://repositorio.ufpb.br/jspui/handle/tede/6128porinfo:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da UFPBinstname:Universidade Federal da Paraíba (UFPB)instacron:UFPB2018-09-06T01:25:23Zoai:repositorio.ufpb.br:tede/6128Biblioteca Digital de Teses e Dissertaçõeshttps://repositorio.ufpb.br/PUBhttp://tede.biblioteca.ufpb.br:8080/oai/requestdiretoria@ufpb.br|| bdtd@biblioteca.ufpb.bropendoar:2018-09-06T01:25:23Biblioteca Digital de Teses e Dissertações da UFPB - Universidade Federal da Paraíba (UFPB)false
dc.title.none.fl_str_mv Aprendizado por esforço aplicado ao combate em jogos eletrônicos de estratégia em tempo real
title Aprendizado por esforço aplicado ao combate em jogos eletrônicos de estratégia em tempo real
spellingShingle Aprendizado por esforço aplicado ao combate em jogos eletrônicos de estratégia em tempo real
Botelho Neto, Gutenberg Pessoa
Inteligência artificial
Aprendizagem de máquina
State Action Reward State Action - SARSA
Artificial intelligence
Real Time Strategy - RTS
Machine learning
CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
title_short Aprendizado por esforço aplicado ao combate em jogos eletrônicos de estratégia em tempo real
title_full Aprendizado por esforço aplicado ao combate em jogos eletrônicos de estratégia em tempo real
title_fullStr Aprendizado por esforço aplicado ao combate em jogos eletrônicos de estratégia em tempo real
title_full_unstemmed Aprendizado por esforço aplicado ao combate em jogos eletrônicos de estratégia em tempo real
title_sort Aprendizado por esforço aplicado ao combate em jogos eletrônicos de estratégia em tempo real
author Botelho Neto, Gutenberg Pessoa
author_facet Botelho Neto, Gutenberg Pessoa
author_role author
dc.contributor.none.fl_str_mv Siebra, Clauirton de Albuquerque
http://lattes.cnpq.br/7707799028683443
dc.contributor.author.fl_str_mv Botelho Neto, Gutenberg Pessoa
dc.subject.por.fl_str_mv Inteligência artificial
Aprendizagem de máquina
State Action Reward State Action - SARSA
Artificial intelligence
Real Time Strategy - RTS
Machine learning
CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
topic Inteligência artificial
Aprendizagem de máquina
State Action Reward State Action - SARSA
Artificial intelligence
Real Time Strategy - RTS
Machine learning
CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
description Electronic games and, in particular, real-time strategy (RTS) games, are increasingly seen as viable and important fields for artificial intelligence research because of commonly held characteristics, like the presence of complex environments, usually dynamic and with multiple agents. In commercial RTS games, the computer behavior is mostly designed with simple ad hoc, static techniques that require manual definition of actions and leave the agent unable to adapt to the various situations it may find. This approach, besides being lengthy and error-prone, makes the game relatively predictable after some time, allowing the human player to eventually discover the strategy used by the computer and develop an optimal way of countering it. Using machine learning techniques like reinforcement learning is a way of trying to avoid this predictability, allowing the computer to evaluate the situations that occur during the games, learning with these situations and improving its behavior over time, being able to choose autonomously and dynamically the best action when needed. This work proposes a modeling for the use of SARSA, a reinforcement learning technique, applied to combat situations in RTS games, with the goal of allowing the computer to better perform in this fundamental area for achieving victory in an RTS game. Several tests were made with various game situations and the agent applying the proposed modeling, facing the game's default AI opponent, was able to improve its performance in all of them, developing knowledge about the best actions to choose for the various possible game states and using this knowledge in an efficient way to obtain better results in later games
publishDate 2014
dc.date.none.fl_str_mv 2014-10-27
2014-03-28
2015-05-14T12:36:51Z
2018-07-21T00:15:29Z
2018-07-21T00:15:29Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv BOTELHO NETO, Gutenberg Pessoa. Aprendizado por esforço aplicado ao combate em jogos eletrônicos de estratégia em tempo real. 2014. 80 f. Dissertação (Mestrado em Informática) - Universidade Federal da Paraí­ba, João Pessoa, 2014.
https://repositorio.ufpb.br/jspui/handle/tede/6128
identifier_str_mv BOTELHO NETO, Gutenberg Pessoa. Aprendizado por esforço aplicado ao combate em jogos eletrônicos de estratégia em tempo real. 2014. 80 f. Dissertação (Mestrado em Informática) - Universidade Federal da Paraí­ba, João Pessoa, 2014.
url https://repositorio.ufpb.br/jspui/handle/tede/6128
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Federal da Paraí­ba
BR
Informática
Programa de Pós-Graduação em Informática
UFPB
publisher.none.fl_str_mv Universidade Federal da Paraí­ba
BR
Informática
Programa de Pós-Graduação em Informática
UFPB
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da UFPB
instname:Universidade Federal da Paraíba (UFPB)
instacron:UFPB
instname_str Universidade Federal da Paraíba (UFPB)
instacron_str UFPB
institution UFPB
reponame_str Biblioteca Digital de Teses e Dissertações da UFPB
collection Biblioteca Digital de Teses e Dissertações da UFPB
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da UFPB - Universidade Federal da Paraíba (UFPB)
repository.mail.fl_str_mv diretoria@ufpb.br|| bdtd@biblioteca.ufpb.br
_version_ 1831315270596034560