Testes Adaptativos Computadorizados como um Processo de Decisão Markoviano: equilíbrio ótimo entre eficiência e precisão

• Ano de defesa: 2022
• Autor(a) principal: Fernandes, Patricia Gilavert
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Biblioteca Digitais de Teses e Dissertações da USP
• Palavras-chave em Português: Computerized Adaptive Tests; Critérios de parada; Markov Decision Processes; Processos de Decisão Markovianos; Stop criteria; Testes Adaptativos Computadorizados
• Link de acesso: https://www.teses.usp.br/teses/disponiveis/100/100131/tde-17102022-181606/

Os Testes Adaptativos Computadorizados (Computerized Adaptive Testing - CAT) avaliam os indivíduos de forma adaptativa por meio de itens selecionados sequencialmente durante o teste, após cada resposta dada, de acordo com critérios de seleção de itens e critérios de parada do teste predefinidos. Esse tipo de avaliação se destaca em relação aos testes aplicados de forma convencional (papel e lápis) por apresentar um melhor compromisso entre precisão na estimação das habilidades e o tempo do teste. Em geral, os CATs consideram um modelo probabilístico de resposta dos indivíduos para cada item, possibilitando inferir a habilidade do indivíduo; o modelo probabilístico mais comum é o modelo de Teoria de Resposta ao Item (TRI), que permitem descrever parâmetros dos itens, como dificuldade e discriminação. Tradicionalmente, os critérios de seleção de itens utilizados nos CATs são míopes, isto é, avaliam o próximo melhor item sem considerar os itens ainda por vir em conjunto; além disso, consideram um critério de parada independente do critério de seleção de itens. Uma abordagem não míope que possibilita modelar os critérios de seleção e critérios de parada juntos são os Processos de Decisão Markovianos (Markov Decision Process - MDP). Este trabalho define um CAT utilizando MDP para obter um melhor compromisso entre a qualidade da estimativa da habilidade dos indivíduos e a quantidade de questões realizadas. Embora MDPs possibilitem solucionar o problema de forma ótima, a otimalidade de fato só é possível quando o problema é discreto e em tamanho factível. Neste trabalho analisa-se empiricamente os ganhos potenciais de modelar CATs como MDPs. Além disso, é feita uma avaliação abrangente dos critérios de parada do CAT, concluindo que o critério de Comprimento Fixo mostra uma curva de compensação de eficiência de precisão competitiva em todos os cenários. Destaca-se também que o mecanismo de estimativa e a distribuição de itens por banco influenciam o desempenho dos critérios de parada.