Itens de teste colaborativo em 6 camadas: perspectivas para avaliação formativa assistida por computador considerando níveis de compreensão

• Ano de defesa: 2020
• Autor(a) principal: Amorim, Marcelo de Moura
• Tipo de documento: Tese
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Biblioteca Digitais de Teses e Dissertações da USP
• Palavras-chave em Português: AIG- Automatic Item Generation; Bayesian networks; CQA- Community Question Answering; ITS- Intelligent Tutoring System; MTMC- Multiple-Tier Multiple-Choice; MTMC- Multiple-tier Multiplechoice; Redes Bayesianas; STI- Sistemas Tutores Inteligentes
• Link de acesso: https://www.teses.usp.br/teses/disponiveis/45/45134/tde-12092025-113733/

Avaliações formativas assistidas por computador em ambientes virtuais têm como principal recurso fornecer ajudas (feedback) sobre os itens de questão com o objetivo de melhorar o sucesso da aprendizagem. Embora, algumas pesquisas apresentem avaliações formativas com itens de múltiplas camadas como instrumentos válidos para diagnosticar a compreensão conceitual e descoberta de equívocos (misconceptions) dos alunos em alguns domínios de aprendizagem, são escassos os estudos que propõem uso de múltiplas camadas (justificativas e confiança) em avaliações formativas em ambientes virtuais. Além disso, poucos estudos levam em consideração a perspectiva de uma possível colaboração na escolha das justificativas e ajuda (feedback) entre os alunos. Este trabalho apresenta uma proposta de item de teste colaborativo em 6 camadas (item de múltipla escolha, justificativa, feedback e suas respectivas camadas de confiança). Descrevemos o processo de iteração / colaboração em ambientes virtuais e um modelo (redes bayesianas) de inferência estatística do nível cognitivo para uso como possível item de evidência em sistemas de tutores inteligentes. Além disso, avaliamos qualitativamente o instrumento proposto a partir de 20 itens que abordam conceitos de fundamentos de lógica de programação (operadores lógicos, variáveis, desvios condicionais e laços e repetição) em um grupo de 86 estudantes de graduação sem conhecimento prévio do assunto. Aplicamos pré/pós testes e questionários fornecidos a professores e alunos. Os resultados revelaram que o instrumento de avaliação formativa utilizando o item proposto melhorou significativamente o desempenho de alunos com baixo conhecimento no assunto.