Integração de homeostase, aprendizado por reforço e emoções no projeto de personagens virtuais autônomos

Detalhes bibliográficos
Ano de defesa: 2025
Autor(a) principal: Gomes, Gilzamir Ferreira
Orientador(a): Vidal, Creto Augusto
Banca de defesa: Não Informado pela instituição
Tipo de documento: Tese
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Não Informado pela instituição
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Área do conhecimento CNPq:
Link de acesso: http://repositorio.ufc.br/handle/riufc/82050
Resumo: Game development is a process that involves experimenting with mechanics and scenarios before design decisions can be effectively validated. The advancement in the processing power of modern computers, along with the emergence of efficient algorithms and approaches for automatic content generation, has significantly expanded the possibilities for creating virtual worlds. Although robust techniques such as navigation meshes (navmesh) and behavior trees (behavior trees) have been developed, the design of autonomous characters still relies heavily on heuristics, often developed in an ad hoc manner and with a significant amount of pre-scripted behavior. This work argues that the development of autonomous virtual characters can benefit from behavior modeling paradigms inspired by biological processes. This work proposes a bio-inspired model that integrates homeostasis, reinforcement learning, and emotions to enhance the behavioral plausibility of characters in three fundamental aspects: increasing behavioral variability, generating emotions consistent with experienced situations, and adapting to environmental changes, either without the need for retraining or with minimal retraining. Additionally, behavioral variability can be controlled to create different character profiles, which is particularly useful for balancing video games. Homeostasis is used as a basis to regulate the internal balance of characters, generating complex behaviors from simulated physiological needs. However, since it is not necessary to directly imitate physiological aspects of biological beings, simulated homeostasis offers greater flexibility, allowing the inclusion of variables not necessarily related to the concept of biological physiology but that the agent must maintain in balance, such as minimum and maximum distance from other characters. Reinforcement learning enables characters to adjust their actions based on previous experiences and the reinforcement generated by seeking homeostatic balance. Finally, emotions modulate the interaction between homeostasis and learning, increasing the explainability of character behaviors, which facilitates the acceptance and understanding of these behaviors by human participants in virtual worlds. This work demonstrates how these components can be combined to construct a coherent model of an autonomous virtual character.
id UFC-7_bd8ab4bd183019b01c573e24a7cab9b6
oai_identifier_str oai:repositorio.ufc.br:riufc/82050
network_acronym_str UFC-7
network_name_str Repositório Institucional da Universidade Federal do Ceará (UFC)
repository_id_str
spelling Gomes, Gilzamir FerreiraCavalcante Neto, Joaquim BentoVidal, Creto Augusto2025-08-18T15:03:56Z2025-08-18T15:03:56Z2025GOMES, Gilzamir Ferreira. Integração de homeostase, aprendizado por reforço e emoções no projeto de personagens virtuais autônomos. 2025. 94 f. Tese (Doutorado em Ciência da Computação) - Universidade Federal do Ceará, Fortaleza, 2025.http://repositorio.ufc.br/handle/riufc/82050Game development is a process that involves experimenting with mechanics and scenarios before design decisions can be effectively validated. The advancement in the processing power of modern computers, along with the emergence of efficient algorithms and approaches for automatic content generation, has significantly expanded the possibilities for creating virtual worlds. Although robust techniques such as navigation meshes (navmesh) and behavior trees (behavior trees) have been developed, the design of autonomous characters still relies heavily on heuristics, often developed in an ad hoc manner and with a significant amount of pre-scripted behavior. This work argues that the development of autonomous virtual characters can benefit from behavior modeling paradigms inspired by biological processes. This work proposes a bio-inspired model that integrates homeostasis, reinforcement learning, and emotions to enhance the behavioral plausibility of characters in three fundamental aspects: increasing behavioral variability, generating emotions consistent with experienced situations, and adapting to environmental changes, either without the need for retraining or with minimal retraining. Additionally, behavioral variability can be controlled to create different character profiles, which is particularly useful for balancing video games. Homeostasis is used as a basis to regulate the internal balance of characters, generating complex behaviors from simulated physiological needs. However, since it is not necessary to directly imitate physiological aspects of biological beings, simulated homeostasis offers greater flexibility, allowing the inclusion of variables not necessarily related to the concept of biological physiology but that the agent must maintain in balance, such as minimum and maximum distance from other characters. Reinforcement learning enables characters to adjust their actions based on previous experiences and the reinforcement generated by seeking homeostatic balance. Finally, emotions modulate the interaction between homeostasis and learning, increasing the explainability of character behaviors, which facilitates the acceptance and understanding of these behaviors by human participants in virtual worlds. This work demonstrates how these components can be combined to construct a coherent model of an autonomous virtual character.O desenvolvimento de jogos é um processo que envolve a experimentação de mecânicas e cenários antes que decisões de projeto possam ser efetivamente validadas. O avanço no poder de processamento dos computadores modernos, aliado ao surgimento de algoritmos e abordagens eficientes para a geração automática de conteúdo, ampliou significativamente as possibilidades de criação de mundos virtuais. Embora técnicas robustas, como malhas de navegação (navmesh) e árvores de comportamento (behavior trees), tenham sido desenvolvidas, o design de personagens autônomos ainda depende muito de heurísticas muitas vezes desenvolvidas de forma ad-hoc e com muito comportamento pré-programado. Este trabalho defende que o desenvolvimento de personagens virtuais autônomos pode se beneficiar de paradigmas de modelagem comportamental inspirados em processos biológicos. Este trabalho propõe um modelo bio-inspirado que integra homeostase, aprendizado por reforço e emoções com o objetivo de aprimorar a plausibilidade comportamental dos personagens em três aspectos fundamentais: aumento da variabilidade comportamental, geração de emoções coerentes com as situações vivenciadas e adaptação a mudanças no ambiente, seja sem necessidade de retreinamento ou com retreinamento mínimo. Além disso, a variabilidade comportamental pode ser controlada para criar diferentes perfis de personagens, o que é particularmente útil no balanceamento de jogos eletrônicos. A homeostase é utilizada como base para regular o equilíbrio interno dos personagens, gerando comportamentos complexos a partir de necessidades fisiológicas simuladas. No entanto, por não ser necessário imitar diretamente aspectos fisiológicos de seres biológicos, a homeostase simulada apresenta maior flexibilidade, podendo incluir variáveis não necessariamente relacionadas com o conceito de fisiologia biológica, mas que o agente deve manter em equilíbrio, como a distância mínima e máxima em relação a outros personagens. O aprendizado por reforço permite que os personagens ajustem suas ações com base em experiências prévias e no reforço gerado pela busca de equilíbrio homeostático. Por fim, as emoções modulam a interação entre homeostase e aprendizado, aumentando a explicabilidade dos comportamentos dos personagens, o que facilita a aceitação e compreensão desses comportamentos pelos participantes humanos nos mundos virtuais. Este trabalho demonstra como esses componentes podem ser combinados para a construção de um modelo coerente de personagem virtual autônomo.Integração de homeostase, aprendizado por reforço e emoções no projeto de personagens virtuais autônomosIntegration of homeostasis, reinforcement learning, and emotions in the design of autonomous virtual charactersinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisPersonagens virtuais autônomosHomeostaseAprendizado por reforçoRedes neuraisAutonomous virtual charactersHomeostasisReinforcement learningNeural networksCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAOinfo:eu-repo/semantics/openAccessporreponame:Repositório Institucional da Universidade Federal do Ceará (UFC)instname:Universidade Federal do Ceará (UFC)instacron:UFChttp://lattes.cnpq.br/2354063080252143http://lattes.cnpq.br/9499398320838094http://lattes.cnpq.br/0866205347972203ORIGINAL2025_tese_gfgomes.pdf2025_tese_gfgomes.pdfapplication/pdf3013247http://repositorio.ufc.br/bitstream/riufc/82050/3/2025_tese_gfgomes.pdf6907d331851b50f87b17ec0bd1a7f861MD53LICENSElicense.txtlicense.txttext/plain; charset=utf-81748http://repositorio.ufc.br/bitstream/riufc/82050/4/license.txt8a4605be74aa9ea9d79846c1fba20a33MD54riufc/820502025-08-18 12:03:57.861oai:repositorio.ufc.br:riufc/82050Tk9URTogUExBQ0UgWU9VUiBPV04gTElDRU5TRSBIRVJFClRoaXMgc2FtcGxlIGxpY2Vuc2UgaXMgcHJvdmlkZWQgZm9yIGluZm9ybWF0aW9uYWwgcHVycG9zZXMgb25seS4KCk5PTi1FWENMVVNJVkUgRElTVFJJQlVUSU9OIExJQ0VOU0UKCkJ5IHNpZ25pbmcgYW5kIHN1Ym1pdHRpbmcgdGhpcyBsaWNlbnNlLCB5b3UgKHRoZSBhdXRob3Iocykgb3IgY29weXJpZ2h0Cm93bmVyKSBncmFudHMgdG8gRFNwYWNlIFVuaXZlcnNpdHkgKERTVSkgdGhlIG5vbi1leGNsdXNpdmUgcmlnaHQgdG8gcmVwcm9kdWNlLAp0cmFuc2xhdGUgKGFzIGRlZmluZWQgYmVsb3cpLCBhbmQvb3IgZGlzdHJpYnV0ZSB5b3VyIHN1Ym1pc3Npb24gKGluY2x1ZGluZwp0aGUgYWJzdHJhY3QpIHdvcmxkd2lkZSBpbiBwcmludCBhbmQgZWxlY3Ryb25pYyBmb3JtYXQgYW5kIGluIGFueSBtZWRpdW0sCmluY2x1ZGluZyBidXQgbm90IGxpbWl0ZWQgdG8gYXVkaW8gb3IgdmlkZW8uCgpZb3UgYWdyZWUgdGhhdCBEU1UgbWF5LCB3aXRob3V0IGNoYW5naW5nIHRoZSBjb250ZW50LCB0cmFuc2xhdGUgdGhlCnN1Ym1pc3Npb24gdG8gYW55IG1lZGl1bSBvciBmb3JtYXQgZm9yIHRoZSBwdXJwb3NlIG9mIHByZXNlcnZhdGlvbi4KCllvdSBhbHNvIGFncmVlIHRoYXQgRFNVIG1heSBrZWVwIG1vcmUgdGhhbiBvbmUgY29weSBvZiB0aGlzIHN1Ym1pc3Npb24gZm9yCnB1cnBvc2VzIG9mIHNlY3VyaXR5LCBiYWNrLXVwIGFuZCBwcmVzZXJ2YXRpb24uCgpZb3UgcmVwcmVzZW50IHRoYXQgdGhlIHN1Ym1pc3Npb24gaXMgeW91ciBvcmlnaW5hbCB3b3JrLCBhbmQgdGhhdCB5b3UgaGF2ZQp0aGUgcmlnaHQgdG8gZ3JhbnQgdGhlIHJpZ2h0cyBjb250YWluZWQgaW4gdGhpcyBsaWNlbnNlLiBZb3UgYWxzbyByZXByZXNlbnQKdGhhdCB5b3VyIHN1Ym1pc3Npb24gZG9lcyBub3QsIHRvIHRoZSBiZXN0IG9mIHlvdXIga25vd2xlZGdlLCBpbmZyaW5nZSB1cG9uCmFueW9uZSdzIGNvcHlyaWdodC4KCklmIHRoZSBzdWJtaXNzaW9uIGNvbnRhaW5zIG1hdGVyaWFsIGZvciB3aGljaCB5b3UgZG8gbm90IGhvbGQgY29weXJpZ2h0LAp5b3UgcmVwcmVzZW50IHRoYXQgeW91IGhhdmUgb2J0YWluZWQgdGhlIHVucmVzdHJpY3RlZCBwZXJtaXNzaW9uIG9mIHRoZQpjb3B5cmlnaHQgb3duZXIgdG8gZ3JhbnQgRFNVIHRoZSByaWdodHMgcmVxdWlyZWQgYnkgdGhpcyBsaWNlbnNlLCBhbmQgdGhhdApzdWNoIHRoaXJkLXBhcnR5IG93bmVkIG1hdGVyaWFsIGlzIGNsZWFybHkgaWRlbnRpZmllZCBhbmQgYWNrbm93bGVkZ2VkCndpdGhpbiB0aGUgdGV4dCBvciBjb250ZW50IG9mIHRoZSBzdWJtaXNzaW9uLgoKSUYgVEhFIFNVQk1JU1NJT04gSVMgQkFTRUQgVVBPTiBXT1JLIFRIQVQgSEFTIEJFRU4gU1BPTlNPUkVEIE9SIFNVUFBPUlRFRApCWSBBTiBBR0VOQ1kgT1IgT1JHQU5JWkFUSU9OIE9USEVSIFRIQU4gRFNVLCBZT1UgUkVQUkVTRU5UIFRIQVQgWU9VIEhBVkUKRlVMRklMTEVEIEFOWSBSSUdIVCBPRiBSRVZJRVcgT1IgT1RIRVIgT0JMSUdBVElPTlMgUkVRVUlSRUQgQlkgU1VDSApDT05UUkFDVCBPUiBBR1JFRU1FTlQuCgpEU1Ugd2lsbCBjbGVhcmx5IGlkZW50aWZ5IHlvdXIgbmFtZShzKSBhcyB0aGUgYXV0aG9yKHMpIG9yIG93bmVyKHMpIG9mIHRoZQpzdWJtaXNzaW9uLCBhbmQgd2lsbCBub3QgbWFrZSBhbnkgYWx0ZXJhdGlvbiwgb3RoZXIgdGhhbiBhcyBhbGxvd2VkIGJ5IHRoaXMKbGljZW5zZSwgdG8geW91ciBzdWJtaXNzaW9uLgo=Repositório InstitucionalPUBhttp://www.repositorio.ufc.br/ri-oai/requestbu@ufc.br || repositorio@ufc.bropendoar:2025-08-18T15:03:57Repositório Institucional da Universidade Federal do Ceará (UFC) - Universidade Federal do Ceará (UFC)false
dc.title.pt_BR.fl_str_mv Integração de homeostase, aprendizado por reforço e emoções no projeto de personagens virtuais autônomos
dc.title.en.pt_BR.fl_str_mv Integration of homeostasis, reinforcement learning, and emotions in the design of autonomous virtual characters
title Integração de homeostase, aprendizado por reforço e emoções no projeto de personagens virtuais autônomos
spellingShingle Integração de homeostase, aprendizado por reforço e emoções no projeto de personagens virtuais autônomos
Gomes, Gilzamir Ferreira
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Personagens virtuais autônomos
Homeostase
Aprendizado por reforço
Redes neurais
Autonomous virtual characters
Homeostasis
Reinforcement learning
Neural networks
title_short Integração de homeostase, aprendizado por reforço e emoções no projeto de personagens virtuais autônomos
title_full Integração de homeostase, aprendizado por reforço e emoções no projeto de personagens virtuais autônomos
title_fullStr Integração de homeostase, aprendizado por reforço e emoções no projeto de personagens virtuais autônomos
title_full_unstemmed Integração de homeostase, aprendizado por reforço e emoções no projeto de personagens virtuais autônomos
title_sort Integração de homeostase, aprendizado por reforço e emoções no projeto de personagens virtuais autônomos
author Gomes, Gilzamir Ferreira
author_facet Gomes, Gilzamir Ferreira
author_role author
dc.contributor.co-advisor.none.fl_str_mv Cavalcante Neto, Joaquim Bento
dc.contributor.author.fl_str_mv Gomes, Gilzamir Ferreira
dc.contributor.advisor1.fl_str_mv Vidal, Creto Augusto
contributor_str_mv Vidal, Creto Augusto
dc.subject.cnpq.fl_str_mv CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
topic CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Personagens virtuais autônomos
Homeostase
Aprendizado por reforço
Redes neurais
Autonomous virtual characters
Homeostasis
Reinforcement learning
Neural networks
dc.subject.ptbr.pt_BR.fl_str_mv Personagens virtuais autônomos
Homeostase
Aprendizado por reforço
Redes neurais
dc.subject.en.pt_BR.fl_str_mv Autonomous virtual characters
Homeostasis
Reinforcement learning
Neural networks
description Game development is a process that involves experimenting with mechanics and scenarios before design decisions can be effectively validated. The advancement in the processing power of modern computers, along with the emergence of efficient algorithms and approaches for automatic content generation, has significantly expanded the possibilities for creating virtual worlds. Although robust techniques such as navigation meshes (navmesh) and behavior trees (behavior trees) have been developed, the design of autonomous characters still relies heavily on heuristics, often developed in an ad hoc manner and with a significant amount of pre-scripted behavior. This work argues that the development of autonomous virtual characters can benefit from behavior modeling paradigms inspired by biological processes. This work proposes a bio-inspired model that integrates homeostasis, reinforcement learning, and emotions to enhance the behavioral plausibility of characters in three fundamental aspects: increasing behavioral variability, generating emotions consistent with experienced situations, and adapting to environmental changes, either without the need for retraining or with minimal retraining. Additionally, behavioral variability can be controlled to create different character profiles, which is particularly useful for balancing video games. Homeostasis is used as a basis to regulate the internal balance of characters, generating complex behaviors from simulated physiological needs. However, since it is not necessary to directly imitate physiological aspects of biological beings, simulated homeostasis offers greater flexibility, allowing the inclusion of variables not necessarily related to the concept of biological physiology but that the agent must maintain in balance, such as minimum and maximum distance from other characters. Reinforcement learning enables characters to adjust their actions based on previous experiences and the reinforcement generated by seeking homeostatic balance. Finally, emotions modulate the interaction between homeostasis and learning, increasing the explainability of character behaviors, which facilitates the acceptance and understanding of these behaviors by human participants in virtual worlds. This work demonstrates how these components can be combined to construct a coherent model of an autonomous virtual character.
publishDate 2025
dc.date.accessioned.fl_str_mv 2025-08-18T15:03:56Z
dc.date.available.fl_str_mv 2025-08-18T15:03:56Z
dc.date.issued.fl_str_mv 2025
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv GOMES, Gilzamir Ferreira. Integração de homeostase, aprendizado por reforço e emoções no projeto de personagens virtuais autônomos. 2025. 94 f. Tese (Doutorado em Ciência da Computação) - Universidade Federal do Ceará, Fortaleza, 2025.
dc.identifier.uri.fl_str_mv http://repositorio.ufc.br/handle/riufc/82050
identifier_str_mv GOMES, Gilzamir Ferreira. Integração de homeostase, aprendizado por reforço e emoções no projeto de personagens virtuais autônomos. 2025. 94 f. Tese (Doutorado em Ciência da Computação) - Universidade Federal do Ceará, Fortaleza, 2025.
url http://repositorio.ufc.br/handle/riufc/82050
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.source.none.fl_str_mv reponame:Repositório Institucional da Universidade Federal do Ceará (UFC)
instname:Universidade Federal do Ceará (UFC)
instacron:UFC
instname_str Universidade Federal do Ceará (UFC)
instacron_str UFC
institution UFC
reponame_str Repositório Institucional da Universidade Federal do Ceará (UFC)
collection Repositório Institucional da Universidade Federal do Ceará (UFC)
bitstream.url.fl_str_mv http://repositorio.ufc.br/bitstream/riufc/82050/3/2025_tese_gfgomes.pdf
http://repositorio.ufc.br/bitstream/riufc/82050/4/license.txt
bitstream.checksum.fl_str_mv 6907d331851b50f87b17ec0bd1a7f861
8a4605be74aa9ea9d79846c1fba20a33
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Repositório Institucional da Universidade Federal do Ceará (UFC) - Universidade Federal do Ceará (UFC)
repository.mail.fl_str_mv bu@ufc.br || repositorio@ufc.br
_version_ 1847792983989026816