Cross-dataset emotion recognition from facial expressions through convolutional neural networks : Reconhecimento de emoções a partir de expressões faciais em conjunto de dados cruzados através de redes neurais convolucionais

Detalhes bibliográficos
Ano de defesa: 2020
Autor(a) principal: Dias, William Marques, 1986-
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: [s.n.]
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Aprendizado de máquina
Visão por computador
Redes neurais (Computação)
Reconhecimento de expressões faciais
Reconhecimento de emoções humanas
Machine learning
Computer vision
Neural networks (Computer science)
Facial expressions recognition
Emotion recognition
Link de acesso: https://hdl.handle.net/20.500.12733/1639956
Resumo: Orientador: Anderson de Rezende Rocha
id UNICAMP-30_15a7a8d76805a4e61122bfd20283eed0
oai_identifier_str oai::1157336
network_acronym_str UNICAMP-30
network_name_str Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)
repository_id_str
spelling Cross-dataset emotion recognition from facial expressions through convolutional neural networks : Reconhecimento de emoções a partir de expressões faciais em conjunto de dados cruzados através de redes neurais convolucionaisReconhecimento de emoções a partir de expressões faciais em conjunto de dados cruzados através de redes neurais convolucionaisAprendizado de máquinaVisão por computadorRedes neurais (Computação)Reconhecimento de expressões faciaisReconhecimento de emoções humanasMachine learningComputer visionNeural networks (Computer science)Facial expressions recognitionEmotion recognitionOrientador: Anderson de Rezende RochaDissertação (mestrado) - Universidade Estadual de Campinas, Instituto de ComputaçãoResumo: O rosto é a janela da alma. É o que pensava o médico francês do século XIX, Duchenne de Boulogne. Usando choques elétricos para estimular contrações musculares e induzir expressões de aparência assustadora e bizarra, ele queria entender como os músculos produzem expressões faciais e, assim, revelar as emoções mais ocultas do ser humano. Passados dois séculos, esse campo de pesquisa continua muito ativo, despertando o interesse de diversos segmentos da indústria. Vemos sistemas automáticos de reconhecimento de emoção e expressão facial sendo aplicados na medicina, em sistemas de segurança e vigilância, em propaganda e \emph{marketing}, entre outros. Mas, apesar de sua ampla adoção, ainda existem questões fundamentais que os cientistas estão tentando responder quando analisamos o estado emocional de uma pessoa a partir de suas expressões faciais. É possível inferir, com segurança, o estado interno de alguém baseando-se apenas nos movimentos de seus músculos faciais? Existe uma configuração facial universal para expressar raiva, repulsa, medo, felicidade, tristeza e surpresa, comumente chamadas de emoções básicas? Nesta pesquisa, tentamos responder a essas questões explorando redes neurais convolucionais. Diferentemente da maioria dos estudos disponíveis na literatura, estamos particularmente interessados em examinar se as características aprendidas em um grupo de pessoas podem ser empregadas para prever, com sucesso, as emoções de outro. Nesse sentido, adotamos um protocolo de avaliação em conjunto de dados cruzados para mensurar o desempenho dos métodos propostos. Nosso método de base foi construído a partir do ajuste fino de um modelo originalmente empregado no problema de reconhecimento facial para o problema de categorização de emoções. Em seguida, aplicamos técnicas de visualização de dados para entender o que nossa rede de base havia aprendido para, então, derivarmos três outros métodos. O primeiro método visa direcionar a atenção da rede para regiões da face consideradas importantes na literatura, mas ignoradas pelo nosso modelo inicial, usando uma arquitetura multi-ramificada para uma abordagem baseada em partes. No segundo método, simplificamos essa arquitetura e trabalhamos nos dados de entrada, ocultando partes aleatórias da imagem facial, de modo que a rede pudesse aprender características discriminativas em diferentes regiões. No terceiro método, exploramos uma função de perda que gera representações de dados em espaços de alta dimensão, de forma que exemplos de uma mesma classe de emoção fiquem próximos e exemplos de classes diferentes fiquem distantes. Finalmente, investigamos a complementaridade entre dois de nossos métodos, propondo uma técnica de fusão tardia que combina seus resultados por meio da multiplicação de probabilidades. Para efeito de comparação de nossos resultados, compilamos uma extensa lista de trabalhos avaliados nos mesmos conjuntos de dados escolhidos. Em todos eles, quando comparados a trabalhos que seguiram um protocolo de avaliação em um único conjunto de dados, nossos métodos apresentam números competitivos. Já sob um protocolo de conjunto de dados cruzados, obtivemos resultados do estado da arte, superando até mesmo aplicações comerciais de grande empresas de tecnologiaAbstract: The face is the window to the soul. This is what the 19th-century French doctor, Duchenne de Boulogne, thought. Using electric shocks to stimulate muscular contractions and induce creepy and bizarre-looking expressions, he wanted to understand how muscles produce facial expressions and, thus, reveal the most hidden human emotions. Two centuries later, this research field remains very active, arousing the interest of several segments of the industry. We see automatic systems for recognizing emotion and facial expression being applied in medicine, in security and surveillance systems, in advertising and marketing, among others. But despite its widespread adoption, there are still fundamental questions that scientists are trying to answer when analyzing a person's emotional state from their facial expressions. Is it possible to reliably infer someone's internal state based only on the movements of their facial muscles? Is there a universal facial setting to express anger, disgust, fear, happiness, sadness, and surprise, commonly referred to as basic emotions? In this research, we seek to address some of these questions through convolutional neural networks. Unlike most studies in prior art, we are particularly interested in examining whether characteristics learned in one group of people can be generalized to successfully predict the emotions of another. In this sense, we adopted a cross-dataset evaluation protocol to assess the performance of the proposed methods. Our baseline method was created by custom-tailoring a model originally used in the problem of face recognition to the problem of emotion categorization. Next, we applied data visualization techniques to account for what our baseline model had learned in order to, then, derive three other methods. The first method aims to direct the network's attention to regions of the face considered important in the literature but ignored by our baseline model, using a multi-branched network architecture for a parts-based approach. In the second method, we simplified this architecture and worked on the input data, hiding random parts of the facial image, so that the network could learn discriminative characteristics in different regions. In the third method, we explored a loss function that generates representations of data in high-dimensional spaces, so that examples of the same emotion class are close and examples of different classes are distant. Finally, we investigated the complementarity between two of our methods, proposing a late-fusion technique that combines their outputs through the multiplication of probabilities. To compare our results, we have compiled an extensive list of works evaluated in the same adopted datasets. In all of them, when compared to works that followed an intra-dataset protocol, our methods present competitive numbers. Under a cross-dataset protocol, we achieved state-of-the-art results, outperforming even commercial off-the-shelf solutions from well-known tech companiesMestradoCiência da ComputaçãoMestre em Ciência da ComputaçãoCAPES[s.n.]Rocha, Anderson de Rezende, 1980-Costa, Paula Dornhofer ParoCampos, Teófilo Emidio deUniversidade Estadual de Campinas (UNICAMP). Instituto de ComputaçãoPrograma de Pós-Graduação em Ciência da ComputaçãoUNIVERSIDADE ESTADUAL DE CAMPINASDias, William Marques, 1986-20202020-10-02T00:00:00Zinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdf1 recurso online (80 p.) : il., digital, arquivo PDF.https://hdl.handle.net/20.500.12733/1639956DIAS, William Marques. Cross-dataset emotion recognition from facial expressions through convolutional neural networks: Reconhecimento de emoções a partir de expressões faciais em conjunto de dados cruzados através de redes neurais convolucionais. 2020. 1 recurso online (80 p.) Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação, Campinas, SP. Disponível em: https://hdl.handle.net/20.500.12733/1639956. Acesso em: 28 fev. 2025.https://repositorio.unicamp.br/acervo/detalhe/1157336Requisitos do sistema: Software para leitura de arquivo em PDFporreponame:Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)instname:Universidade Estadual de Campinas (UNICAMP)instacron:UNICAMPinfo:eu-repo/semantics/openAccess2020-11-13T16:57:43Zoai::1157336Biblioteca Digital de Teses e DissertaçõesPUBhttp://repositorio.unicamp.br/oai/tese/oai.aspsbubd@unicamp.bropendoar:2020-11-13T16:57:43Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP) - Universidade Estadual de Campinas (UNICAMP)false
dc.title.none.fl_str_mv Cross-dataset emotion recognition from facial expressions through convolutional neural networks : Reconhecimento de emoções a partir de expressões faciais em conjunto de dados cruzados através de redes neurais convolucionais
Reconhecimento de emoções a partir de expressões faciais em conjunto de dados cruzados através de redes neurais convolucionais
title Cross-dataset emotion recognition from facial expressions through convolutional neural networks : Reconhecimento de emoções a partir de expressões faciais em conjunto de dados cruzados através de redes neurais convolucionais
spellingShingle Cross-dataset emotion recognition from facial expressions through convolutional neural networks : Reconhecimento de emoções a partir de expressões faciais em conjunto de dados cruzados através de redes neurais convolucionais
Dias, William Marques, 1986-
Aprendizado de máquina
Visão por computador
Redes neurais (Computação)
Reconhecimento de expressões faciais
Reconhecimento de emoções humanas
Machine learning
Computer vision
Neural networks (Computer science)
Facial expressions recognition
Emotion recognition
title_short Cross-dataset emotion recognition from facial expressions through convolutional neural networks : Reconhecimento de emoções a partir de expressões faciais em conjunto de dados cruzados através de redes neurais convolucionais
title_full Cross-dataset emotion recognition from facial expressions through convolutional neural networks : Reconhecimento de emoções a partir de expressões faciais em conjunto de dados cruzados através de redes neurais convolucionais
title_fullStr Cross-dataset emotion recognition from facial expressions through convolutional neural networks : Reconhecimento de emoções a partir de expressões faciais em conjunto de dados cruzados através de redes neurais convolucionais
title_full_unstemmed Cross-dataset emotion recognition from facial expressions through convolutional neural networks : Reconhecimento de emoções a partir de expressões faciais em conjunto de dados cruzados através de redes neurais convolucionais
title_sort Cross-dataset emotion recognition from facial expressions through convolutional neural networks : Reconhecimento de emoções a partir de expressões faciais em conjunto de dados cruzados através de redes neurais convolucionais
author Dias, William Marques, 1986-
author_facet Dias, William Marques, 1986-
author_role author
dc.contributor.none.fl_str_mv Rocha, Anderson de Rezende, 1980-
Costa, Paula Dornhofer Paro
Campos, Teófilo Emidio de
Universidade Estadual de Campinas (UNICAMP). Instituto de Computação
Programa de Pós-Graduação em Ciência da Computação
UNIVERSIDADE ESTADUAL DE CAMPINAS
dc.contributor.author.fl_str_mv Dias, William Marques, 1986-
dc.subject.por.fl_str_mv Aprendizado de máquina
Visão por computador
Redes neurais (Computação)
Reconhecimento de expressões faciais
Reconhecimento de emoções humanas
Machine learning
Computer vision
Neural networks (Computer science)
Facial expressions recognition
Emotion recognition
topic Aprendizado de máquina
Visão por computador
Redes neurais (Computação)
Reconhecimento de expressões faciais
Reconhecimento de emoções humanas
Machine learning
Computer vision
Neural networks (Computer science)
Facial expressions recognition
Emotion recognition
description Orientador: Anderson de Rezende Rocha
publishDate 2020
dc.date.none.fl_str_mv 2020
2020-10-02T00:00:00Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/20.500.12733/1639956
DIAS, William Marques. Cross-dataset emotion recognition from facial expressions through convolutional neural networks: Reconhecimento de emoções a partir de expressões faciais em conjunto de dados cruzados através de redes neurais convolucionais. 2020. 1 recurso online (80 p.) Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação, Campinas, SP. Disponível em: https://hdl.handle.net/20.500.12733/1639956. Acesso em: 28 fev. 2025.
url https://hdl.handle.net/20.500.12733/1639956
identifier_str_mv DIAS, William Marques. Cross-dataset emotion recognition from facial expressions through convolutional neural networks: Reconhecimento de emoções a partir de expressões faciais em conjunto de dados cruzados através de redes neurais convolucionais. 2020. 1 recurso online (80 p.) Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação, Campinas, SP. Disponível em: https://hdl.handle.net/20.500.12733/1639956. Acesso em: 28 fev. 2025.
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv https://repositorio.unicamp.br/acervo/detalhe/1157336
Requisitos do sistema: Software para leitura de arquivo em PDF
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
1 recurso online (80 p.) : il., digital, arquivo PDF.
dc.publisher.none.fl_str_mv [s.n.]
publisher.none.fl_str_mv [s.n.]
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)
instname:Universidade Estadual de Campinas (UNICAMP)
instacron:UNICAMP
instname_str Universidade Estadual de Campinas (UNICAMP)
instacron_str UNICAMP
institution UNICAMP
reponame_str Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)
collection Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP) - Universidade Estadual de Campinas (UNICAMP)
repository.mail.fl_str_mv sbubd@unicamp.br
_version_ 1829137705677619200

Registros relacionados