CognUX: uma plataforma para avaliação cognitiva automatizada em sistemas de chatbots baseada em eletroencefalografia

• Ano de defesa: 2024
• Autor(a) principal: Leite Filho, Jaime Ranulfo
• Tipo de documento: Tese
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Biblioteca Digitais de Teses e Dissertações da USP
• Palavras-chave em Português: Brain-computer interaction; Cognição; Cognition; Electroencephalography; Eletroencefalografia; Experiência do usuário; Interação cérebro-computador; User experience
• Link de acesso: https://www.teses.usp.br/teses/disponiveis/100/100131/tde-15102024-182113/

A User Experience (UX) desempenha um papel vital na percepção de um produto, abrangendo vários aspectos. A UX instantânea se concentra nas mudanças de estados mentais que ocorrem durante a interação, no momento exato em que ela acontece. No entanto, a avaliação da UX em sistemas de chatbots ainda é um desafio, especialmente quando se busca uma abordagem automatizada e objetiva. Este projeto de pesquisa tem como objetivo principal definir, implementar e avaliar uma plataforma automatizada para suporte da avaliação da UX instantânea em chatbots. Para alcançar esse objetivo principal, foram estabelecidos objetivos específicos que incluem a definição de um modelo, que consideramos uma análise cognitiva, adequado para a avaliação, a especificação de parâmetros para a coleta, o armazenamento e a análise de dados de eletroencefalografia. Ainda, propusemos o desenvolvimento de uma arquitetura de sistema de suporte para avaliação e a realização de experimentos para validar o modelo proposto. A metodologia adotada incluiu uma revisão sistemática da literatura para identificar lacunas na avaliação da UX em chatbots. Em seguida, foram conduzidos estudos experimentais para comparar os níveis de atenção dos participantes durante interações com chatbots via voz e texto. Com base nos resultados desses estudos, foi desenvolvido um Modelo de suporte para Avaliação da UX, que serviu como base para a implementação da Plataforma de Avaliação da UX (CognUX). A abordagem também envolveu a realização de experimentos para verificar a eficácia da plataforma na coleta automatizada de dados de eletroencefalografia. Os experimentos realizados apresentaram uma diferença significativa nos níveis de atenção dos participantes durante interações com chatbots via voz e texto. Os dados coletados pela CognUX mostraram-se consistentes e confiáveis, permitindo um suporte para uma análise da UX instantânea em diferentes contextos de interação. Além disso, a análise estatística dos dados confirmou a eficácia da plataforma na coleta automatizada de dados de eletroencefalografia e na investigação da UX. A pesquisa conduzida apresentou uma contribuição significativa para a área de avaliação em sistemas conversacionais. O desenvolvimento da CognUX e a avaliação experimental do modelo proposto permitiram caracterizar como adequada a viabilidade e a eficácia de uma abordagem automatizada para suporte na avaliação da UX em chatbots. Essa pesquisa não apenas preenche uma lacuna na literatura acadêmica, mas também oferece uma ferramenta prática e objetiva para suporte na avaliação da UX em diferentes contextos de interação. Espera-se que os resultados deste estudo incentivem pesquisadores e profissionais a adotarem abordagens semelhantes na avaliação de sistemas conversacionais e contribuam para o avanço contínuo da área.