Predicting item response theory parameters using question statements texts

• Ano de defesa: 2025
• Autor(a) principal: Marinho, Wemerson Pastor de Oliveira
• Tipo de documento: Tese
• Tipo de acesso: Acesso aberto
• dARK ID: ark:/87559/001300001cnxb
• Idioma: eng
• Palavras-chave em Português: ENEM; Teoria de resposta ao item; Modelos neurais de linguagem; Representações relativas; Exame Nacional do Ensino Médio (Brasil); Rede neural; Linguagem (Computação); Item response theory; Neural language models; Relative representations
• Link de acesso: https://app.uff.br/riuff/handle/1/39803

Nos últimos anos, avanços em Modelos Neurais de Linguagem pré-treinados em grandes corpora de textos têm possibilitado a extração de representações linguísticas ricas, permitindo o treinamento eficiente de redes neurais para aplicações específicas, mesmo com conjuntos de dados reduzidos. Neste contexto, esta tese investiga o uso dessas representações para a predição de parâmetros da Teoria da Resposta ao Item (TRI), utilizando exclusivamente os enunciados das questões. A pesquisa inova ao demonstrar a viabilidade da obtenção dos parâmetros de dificuldade dos itens a partir da Curva Característica do Item, em vez da abordagem convencional de regressão direta sobre os parâmetros, predominante na literatura. Para avaliar essa proposta, foram testados diversos tipos de encoders, baseados em arquiteturas Transformer, comparando modelos treinados em Português e Multilinguais. A arquitetura piramidal desenvolvida foi capaz de predizer o parâmetro de dificuldade das questões do ENEM 2020 e 2021 com um erro médio de 70 pontos e uma mediana de 58 pontos. Ao calcular a nota TRI para uma amostra de 100.000 estudantes, o erro absoluto médio permaneceu abaixo de 40 pontos em todas as áreas do exame. Para o quartil superior dos candidatos, os candidatos mais competitivos do SISU, o erro médio absoluto foi inferior a 30 pontos em todas as áreas, chegando a menos de 15 pontos em algumas delas. Além disso, foi desenvolvida uma nova abordagem para a obtenção de embeddings baseada em Representações Relativas, que explora a similaridade entre os tokens de uma questão e um conjunto de âncoras selecionadas, reduzindo a complexidade computacional do processo. Os experimentos demonstraram que essa estratégia apresenta desempenho similar ou superior à abordagem piramidal, que utiliza a matriz completa de tokens, além de tornar o processo mais eficiente. Os experimentos foram conduzidos em uma base de dados real e de alta relevância nacional, composta por 2.578 enunciados de questões extraídos de 14 anos de exames do ENEM, principal porta de entrada para o ensino superior no Brasil, impactando milhões de estudantes anualmente. Os resultados desta pesquisa indicam que a tecnologia desenvolvida pode ser utilizada para prever parâmetros de novas questões, compor exames simulados e avaliar o desempenho dos candidatos neste exame com precisão. Além disso, a abordagem reduz a dependência de custosos processos de pré-calibração em avaliações educacionais.