Aprendizado por esforço aplicado ao combate em jogos eletrônicos de estratégia em tempo real
| Ano de defesa: | 2014 |
|---|---|
| Autor(a) principal: | |
| Orientador(a): | |
| Banca de defesa: | |
| Tipo de documento: | Dissertação |
| Tipo de acesso: | Acesso aberto |
| Idioma: | por |
| Instituição de defesa: |
Universidade Federal da Paraíba
BR Informática Programa de Pós-Graduação em Informática UFPB |
| Programa de Pós-Graduação: |
Não Informado pela instituição
|
| Departamento: |
Não Informado pela instituição
|
| País: |
Não Informado pela instituição
|
| Palavras-chave em Português: | |
| Link de acesso: | https://repositorio.ufpb.br/jspui/handle/tede/6128 |
Resumo: | Electronic games and, in particular, real-time strategy (RTS) games, are increasingly seen as viable and important fields for artificial intelligence research because of commonly held characteristics, like the presence of complex environments, usually dynamic and with multiple agents. In commercial RTS games, the computer behavior is mostly designed with simple ad hoc, static techniques that require manual definition of actions and leave the agent unable to adapt to the various situations it may find. This approach, besides being lengthy and error-prone, makes the game relatively predictable after some time, allowing the human player to eventually discover the strategy used by the computer and develop an optimal way of countering it. Using machine learning techniques like reinforcement learning is a way of trying to avoid this predictability, allowing the computer to evaluate the situations that occur during the games, learning with these situations and improving its behavior over time, being able to choose autonomously and dynamically the best action when needed. This work proposes a modeling for the use of SARSA, a reinforcement learning technique, applied to combat situations in RTS games, with the goal of allowing the computer to better perform in this fundamental area for achieving victory in an RTS game. Several tests were made with various game situations and the agent applying the proposed modeling, facing the game's default AI opponent, was able to improve its performance in all of them, developing knowledge about the best actions to choose for the various possible game states and using this knowledge in an efficient way to obtain better results in later games |
| id |
UFPB_a79d1fc5a662bf940e6e773c048d3af0 |
|---|---|
| oai_identifier_str |
oai:repositorio.ufpb.br:tede/6128 |
| network_acronym_str |
UFPB |
| network_name_str |
Biblioteca Digital de Teses e Dissertações da UFPB |
| repository_id_str |
|
| spelling |
Aprendizado por esforço aplicado ao combate em jogos eletrônicos de estratégia em tempo realInteligência artificialAprendizagem de máquinaState Action Reward State Action - SARSAArtificial intelligenceReal Time Strategy - RTSMachine learningCIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAOElectronic games and, in particular, real-time strategy (RTS) games, are increasingly seen as viable and important fields for artificial intelligence research because of commonly held characteristics, like the presence of complex environments, usually dynamic and with multiple agents. In commercial RTS games, the computer behavior is mostly designed with simple ad hoc, static techniques that require manual definition of actions and leave the agent unable to adapt to the various situations it may find. This approach, besides being lengthy and error-prone, makes the game relatively predictable after some time, allowing the human player to eventually discover the strategy used by the computer and develop an optimal way of countering it. Using machine learning techniques like reinforcement learning is a way of trying to avoid this predictability, allowing the computer to evaluate the situations that occur during the games, learning with these situations and improving its behavior over time, being able to choose autonomously and dynamically the best action when needed. This work proposes a modeling for the use of SARSA, a reinforcement learning technique, applied to combat situations in RTS games, with the goal of allowing the computer to better perform in this fundamental area for achieving victory in an RTS game. Several tests were made with various game situations and the agent applying the proposed modeling, facing the game's default AI opponent, was able to improve its performance in all of them, developing knowledge about the best actions to choose for the various possible game states and using this knowledge in an efficient way to obtain better results in later gamesCoordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPESJogos eletrônicos e, em especial, jogos de estratégia em tempo real (RTS), são cada vez mais vistos como campos viáveis e importantes para pesquisas de inteligência artificial por possuírem características interessantes para a área, como a presença de ambientes complexos, muitas vezes dinâmicos e com múltiplos agentes. Nos jogos RTS comerciais, o comportamento do computador é geralmente definido a partir de técnicas ad hoc simples e estáticas, com a necessidade de definição manual de ações e a incapacidade de adaptação às situações encontradas. Esta abordagem, além de demorada e propícia a erros, faz com que o jogo se torne relativamente previsível após algum tempo, permitindo ao jogador eventualmente descobrir a estratégia utilizada pelo computador e desenvolver uma forma ótima de enfrentá-lo. Uma maneira de tentar combater esta previsibilidade consiste na utilização de técnicas de aprendizagem de máquina, mais especificamente do aprendizado por reforço, para permitir ao computador avaliar as situações ocorridas durante as partidas, aprendendo com estas situações e aprimorando seu conhecimento ao longo do tempo, sendo capaz de escolher de maneira autônoma e dinâmica a melhor ação quando necessário. Este trabalho propõe uma modelagem para a utilização de SARSA, uma técnica do aprendizado por reforço, aplicada a situações de combate em jogos RTS, com o objetivo de fazer com o que o computador possa se portar de maneira mais adequada nessa área, uma das mais fundamentais para a busca da vitória em um jogo RTS. Nos testes realizados em diversas situações de jogo, o agente aplicando a modelagem proposta, enfrentando o oponente padrão controlado pela IA do jogo, foi sempre capaz de melhorar seus resultados ao longo do tempo, obtendo conhecimento acerca das melhores ações a serem tomadas a cada momento decisório e aproveitando esse conhecimento nas suas partidas futurasUniversidade Federal da ParaíbaBRInformáticaPrograma de Pós-Graduação em InformáticaUFPBSiebra, Clauirton de Albuquerquehttp://lattes.cnpq.br/7707799028683443Botelho Neto, Gutenberg Pessoa2015-05-14T12:36:51Z2018-07-21T00:15:29Z2014-10-272018-07-21T00:15:29Z2014-03-28info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfBOTELHO NETO, Gutenberg Pessoa. Aprendizado por esforço aplicado ao combate em jogos eletrônicos de estratégia em tempo real. 2014. 80 f. Dissertação (Mestrado em Informática) - Universidade Federal da Paraíba, João Pessoa, 2014.https://repositorio.ufpb.br/jspui/handle/tede/6128porinfo:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da UFPBinstname:Universidade Federal da Paraíba (UFPB)instacron:UFPB2018-09-06T01:25:23Zoai:repositorio.ufpb.br:tede/6128Biblioteca Digital de Teses e Dissertaçõeshttps://repositorio.ufpb.br/PUBhttp://tede.biblioteca.ufpb.br:8080/oai/requestdiretoria@ufpb.br|| bdtd@biblioteca.ufpb.bropendoar:2018-09-06T01:25:23Biblioteca Digital de Teses e Dissertações da UFPB - Universidade Federal da Paraíba (UFPB)false |
| dc.title.none.fl_str_mv |
Aprendizado por esforço aplicado ao combate em jogos eletrônicos de estratégia em tempo real |
| title |
Aprendizado por esforço aplicado ao combate em jogos eletrônicos de estratégia em tempo real |
| spellingShingle |
Aprendizado por esforço aplicado ao combate em jogos eletrônicos de estratégia em tempo real Botelho Neto, Gutenberg Pessoa Inteligência artificial Aprendizagem de máquina State Action Reward State Action - SARSA Artificial intelligence Real Time Strategy - RTS Machine learning CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
| title_short |
Aprendizado por esforço aplicado ao combate em jogos eletrônicos de estratégia em tempo real |
| title_full |
Aprendizado por esforço aplicado ao combate em jogos eletrônicos de estratégia em tempo real |
| title_fullStr |
Aprendizado por esforço aplicado ao combate em jogos eletrônicos de estratégia em tempo real |
| title_full_unstemmed |
Aprendizado por esforço aplicado ao combate em jogos eletrônicos de estratégia em tempo real |
| title_sort |
Aprendizado por esforço aplicado ao combate em jogos eletrônicos de estratégia em tempo real |
| author |
Botelho Neto, Gutenberg Pessoa |
| author_facet |
Botelho Neto, Gutenberg Pessoa |
| author_role |
author |
| dc.contributor.none.fl_str_mv |
Siebra, Clauirton de Albuquerque http://lattes.cnpq.br/7707799028683443 |
| dc.contributor.author.fl_str_mv |
Botelho Neto, Gutenberg Pessoa |
| dc.subject.por.fl_str_mv |
Inteligência artificial Aprendizagem de máquina State Action Reward State Action - SARSA Artificial intelligence Real Time Strategy - RTS Machine learning CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
| topic |
Inteligência artificial Aprendizagem de máquina State Action Reward State Action - SARSA Artificial intelligence Real Time Strategy - RTS Machine learning CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
| description |
Electronic games and, in particular, real-time strategy (RTS) games, are increasingly seen as viable and important fields for artificial intelligence research because of commonly held characteristics, like the presence of complex environments, usually dynamic and with multiple agents. In commercial RTS games, the computer behavior is mostly designed with simple ad hoc, static techniques that require manual definition of actions and leave the agent unable to adapt to the various situations it may find. This approach, besides being lengthy and error-prone, makes the game relatively predictable after some time, allowing the human player to eventually discover the strategy used by the computer and develop an optimal way of countering it. Using machine learning techniques like reinforcement learning is a way of trying to avoid this predictability, allowing the computer to evaluate the situations that occur during the games, learning with these situations and improving its behavior over time, being able to choose autonomously and dynamically the best action when needed. This work proposes a modeling for the use of SARSA, a reinforcement learning technique, applied to combat situations in RTS games, with the goal of allowing the computer to better perform in this fundamental area for achieving victory in an RTS game. Several tests were made with various game situations and the agent applying the proposed modeling, facing the game's default AI opponent, was able to improve its performance in all of them, developing knowledge about the best actions to choose for the various possible game states and using this knowledge in an efficient way to obtain better results in later games |
| publishDate |
2014 |
| dc.date.none.fl_str_mv |
2014-10-27 2014-03-28 2015-05-14T12:36:51Z 2018-07-21T00:15:29Z 2018-07-21T00:15:29Z |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
| format |
masterThesis |
| status_str |
publishedVersion |
| dc.identifier.uri.fl_str_mv |
BOTELHO NETO, Gutenberg Pessoa. Aprendizado por esforço aplicado ao combate em jogos eletrônicos de estratégia em tempo real. 2014. 80 f. Dissertação (Mestrado em Informática) - Universidade Federal da Paraíba, João Pessoa, 2014. https://repositorio.ufpb.br/jspui/handle/tede/6128 |
| identifier_str_mv |
BOTELHO NETO, Gutenberg Pessoa. Aprendizado por esforço aplicado ao combate em jogos eletrônicos de estratégia em tempo real. 2014. 80 f. Dissertação (Mestrado em Informática) - Universidade Federal da Paraíba, João Pessoa, 2014. |
| url |
https://repositorio.ufpb.br/jspui/handle/tede/6128 |
| dc.language.iso.fl_str_mv |
por |
| language |
por |
| dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
| eu_rights_str_mv |
openAccess |
| dc.format.none.fl_str_mv |
application/pdf |
| dc.publisher.none.fl_str_mv |
Universidade Federal da Paraíba BR Informática Programa de Pós-Graduação em Informática UFPB |
| publisher.none.fl_str_mv |
Universidade Federal da Paraíba BR Informática Programa de Pós-Graduação em Informática UFPB |
| dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações da UFPB instname:Universidade Federal da Paraíba (UFPB) instacron:UFPB |
| instname_str |
Universidade Federal da Paraíba (UFPB) |
| instacron_str |
UFPB |
| institution |
UFPB |
| reponame_str |
Biblioteca Digital de Teses e Dissertações da UFPB |
| collection |
Biblioteca Digital de Teses e Dissertações da UFPB |
| repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações da UFPB - Universidade Federal da Paraíba (UFPB) |
| repository.mail.fl_str_mv |
diretoria@ufpb.br|| bdtd@biblioteca.ufpb.br |
| _version_ |
1831315270596034560 |