Generative artificial intelligence for facial expressions in 3D game characters: a modular retrieval-augmented approach for immersive experiences

• Ano de defesa: 2024
• Autor(a) principal: Luz Junior, Jonas de Araújo
• Orientador(a): Rodrigues, Maria Andreia Formico
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: eng
• Instituição de defesa: Universidade de Fortaleza
• Programa de Pós-Graduação: Mestrado em Informática Aplicada
• Link de acesso: https://uol.unifor.br/auth-sophia/exibicao/39626

A animação facial é um elemento essencial na criação de experiências imersivas e emocionalmente envolventes para personagens virtuais, especialmente em jogos e aplicações interativas. Métodos tradicionais, como animações feitas à mão e sistemas de captura de movimento, produzem resultados roteirizados com variabilidade limitada. Embora eficazes, essas abordagens são intensivas em recursos e carecem da flexibilidade necessária para animações dinâmicas e adaptativas. Esta dissertação aborda essas limitações por meio do desenvolvimento do MoodMorph, um sistema que utiliza Inteligência Artificial (IA) para simular o processo de decisão de um animador humano, gerando dinamicamente expressões faciais variadas para personagens virtuais. O trabalho explora o estado da arte nos pipelines de animação facial, destacando os pontos positivos e as limitações das técnicas tradicionais. Inclui uma revisão detalhada do Facial Action Coding System (FACS) e do ARKit da Apple, enfatizando seus papéis na codificação e síntese de expressões faciais. A IA Generativa, particularmente, o Retrieval-Augmented Generation (RAG), é integrada para possibilitar animações personalizadas. O MoodMorph apresenta uma estrutura modular com mecanismos de mapeamento plugáveis ou "mapeadores" para o reconhecimento flexível de blend shapes. Duas abordagens foram desenvolvidas: uma utilizando o OpenFace, um software de reconhecimento facial, e outra que aproveita um assistente baseado em Modelos de Linguagem de Grande Escala (LLMs) para mapear blend shapes, incluindo correspondências com ARKit e emoções. Duas aplicações foram desenvolvidas para validar o sistema: um aplicativo de demonstração com sete personagens e um protótipo do jogo CancerSucks com animações em tempo real e um NPC controlado por IA. Os resultados demonstram a viabilidade de integrar IA para criar animações faciais dinâmicas e variadas, aumentando o realismo e a imersão. A dissertação discute os desafios relacionados à otimização de custos, escalabilidade e estratégias de implantação modular, contribuindo com um sistema adaptável que conecta técnicas tradicionais a tecnologias avançadas de IA para gerar animações faciais contextualmente adaptativas. Palavras-chave: Animação Facial, Inteligência Artificial, Emoções, Humanos Virtuais, Jogos Digitais, Pipelines de Animação.