Análise de emoções em diálogos em português brasileiro por meio da análise acústica: uma aplicação em psicoterapia

• Ano de defesa: 2024
• Autor(a) principal: Silva, Omar Rodrigues da
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Biblioteca Digitais de Teses e Dissertações da USP
• Palavras-chave em Português: Acoustic processing; Aliança terapêutica; Alignment of emotional series; Alinhamento de séries emocionais; Aprendizado de máquina; Machine learning; Processamento acústico; Psicoterapia; Psychotherapy; Recognition of emotions; Reconhecimento de emoções; Therapeutic alliance
• Link de acesso: https://www.teses.usp.br/teses/disponiveis/100/100131/tde-20012025-123806/

A identificação e a classificação de emoções (como alegria, raiva, medo, desgosto, tristeza e surpresa) nos seres humanos são estudadas vastamente dentro de diversas áreas. Nos últimos anos, as técnicas computacionais de reconhecimento de padrões e aprendizado de máquina têm sido aplicadas na análise de emoções por meio de gestos e expressões (visual), por meio do conteúdo léxico (textual) e pelo som (acústico). O som, em especial as características acústicas da fala (como frequências, tom, intensidade e harmônicas), é foco de atenção de pesquisadores por ter uma forte conexão com o estado emocional. Este projeto teve como objetivo analisar o desempenho de ferramentas para reconhecimento de emoções que extraem características acústicas de falas em língua portuguesa e propor uma forma de utilizá-las na análise de diálogos. A ferramenta de melhor desempenho no reconhecimento de emoções foi utilizada para criar uma sequência de probabilidades de emoções a partir de diálogos e gerar métricas que foram aplicadas em um estudo de caso envolvendo sessões de psicoterapia. Particularmente, a aplicação tenta predizer a aliança terapêutica entre terapeuta e paciente, que é um dos principais componentes associados ao sucesso do tratamento terapêutico. A aliança terapêutica é avaliada por uma métrica obtida por meio do WAI (Work Alliance Inventory), que é um questionário preenchido tanto pelo paciente quanto terapeuta com valores atribuídos a cada resposta e extraída uma pontuação para cada sessão de psicoterapia durante um tratamento. No estudo de caso, foi verificada a correlação das expressões emocionais obtidas a partir dos áudios das sessões de psicoterapia com esta métrica. Como resultado, foi selecionada uma ferramenta com melhor desempenho e obtida a medida f1-score de 0,53 no reconhecimento de emoções utilizando dois conjuntos de dados de emoções simuladas. Embora o desempenho obtido possa ser melhorado, há indícios de que o método desenvolvido possa ser empregado na análise de diálogos. Adicionalmente, no estudo de caso com as sessões de psicoterapia, foi obtida a correlação máxima nas sessões de terapia de -0,44 entre a expressão de emoção neutra e o WAI do terapeuta, indicando um caminho para predizer o desfecho (sucesso ou fracasso) da terapia. Como contribuições deste projeto foram produzidas uma revisão sistemática, avaliação das ferramentas disponíveis para o reconhecimento de emoções em língua portuguesa, criação de métricas para análise emocional e avaliação da correlação com o WAI.