Sumarização de vídeos a partir de dados fisiológicos, atenção visual e unidades de ação facial.

• Ano de defesa: 2019
• Autor(a) principal: PAIVA, Sérgio Cavalcanti de.
• Orientador(a): GOMES, Herman Martins.
• Banca de defesa: PEREIRA, Eanes Torres., QUEIROZ, José Eustaquio Rangel de., NASCIMENTO, Tiago Pereira do., MIRANDA, Leonardo Cunha de.
• Tipo de documento: Tese
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Universidade Federal de Campina Grande
• Programa de Pós-Graduação: PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO
• Departamento: Centro de Engenharia Elétrica e Informática - CEEI
• País: Brasil
• Palavras-chave em Português: Modelos Computacionais; Computational Models; Modelos Computacionales; Modelos Cognitivos; Cognitive Models; Sumarização de Vídeos; Video Summarization; Resumen de Video; Action Units da Face; Unidades de Acción Facial; Unidades de Ação da Face
• Área do conhecimento CNPq: Modelos Analíticos e de Simulação
• Link de acesso: https://dspace.sti.ufcg.edu.br/handle/riufcg/12716

A presente pesquisa teve como objetivo geral o desenvolvimento de uma abordagem para a sumarização de vídeos digitais, fundamentada na resposta da atenção visual (movimentos oculares), fisiológico (condutância da pele e pulsação cardíaca) e emocional (ações faciais) do telespectador. Os dados monitorados do telespectador foram adquiridos durante sessões de visualização dos vídeos. Para a consecução desse objetivo geral, fez-se necessário atingir os seguintes objetivos específicos: (1) investigar a viabilidade da sumarização automática de vídeos usando características fisiológicas, faciais e de atenção visual dos telespectadores; (2) analisar a relevância das características fisiológicas, faciais e de atenção visual dos telespectadores para o sumário automático de vídeos digitais; e (3) investigar a relação entre expressões faciais e estados emocionais induzidos pela apresentação de conteúdos multimídia. A coleta e a análise de dados aconteceu durante três conjuntos de ensaios distintos, caracterizados por diferentes coleções de vídeos, grupos de voluntários e aprimoramentos identificados como necessários após análises dos conjuntos de ensaios anteriores. Os dados do último conjunto de ensaios foram analisados conforme as seguintes etapas: sincronização e normalização, seguidas de avaliação experimental. Nas avaliações, estudou-se a viabilidade da construção de sumarizadores automáticos de vídeos a partir das características monitoradas dos telespectadores, o que sugeriu sua viabilidade, inclusive com a redução do número de características. Também foi avaliada a relação entre expressões faciais e estados emocionais dos participantes, o que forneceu evidências experimentais de tal ligação. Os resultados também evidenciaram a superioridade estatística dos modelos automáticos de sumarização afetiva em relação a uma seleção aleatória. Concluiu-se, experimentalmente, que modelos personalizados para a sumarização de vídeos podem fornecer resultados mais próximos às preferências do telespectador quando comparados a modelos genéricos.