Um método baseado na Teoria da Resposta ao Item para avaliação e feedback automático no contexto de educação digital
Ano de defesa: | 2021 |
---|---|
Autor(a) principal: | |
Outros Autores: | , |
Orientador(a): | |
Banca de defesa: | |
Tipo de documento: | Dissertação |
Tipo de acesso: | Acesso aberto |
Idioma: | por |
Instituição de defesa: |
Universidade Federal do Amazonas
Instituto de Computação Brasil UFAM Programa de Pós-graduação em Informática |
Programa de Pós-Graduação: |
Não Informado pela instituição
|
Departamento: |
Não Informado pela instituição
|
País: |
Não Informado pela instituição
|
Palavras-chave em Português: | |
Link de acesso: | https://tede.ufam.edu.br/handle/tede/8406 |
Resumo: | A avaliação dos conhecimentos de estudantes é tarefa corriqueira no âmbito da educação, seja para avaliar o aprendizado ou mediar a seleção de candidatos em vestibulares. Os exames que empregam uma avaliação baseada em questões de múltipla escolha, onde o aluno assinala itens durante o tempo de prova e, depois, recebe um feedback sobre a sua nota, não oferecem ao estudante contribuições significativas para o entendimento de seu desempenho. O objetivo geral deste estudo é fornecer, tanto para estudantes quanto para professores, um feedback formativo a partir da estimação das habilidades do examinando e dificuldade dos itens, por meio de uma técnica estatística denominada Teoria da Resposta ao Item (TRI). Esta técnica produz um modelo de dados sobre o desempenho dos estudantes baseado na análise das respostas coletadas nos exames. Dois experimentos foram realizados utilizando dados de um exame aplicado em uma escola pública de ensino médio do Amazonas. Os resultados obtidos indicam que há uma quantidade valiosa de informações que permitem analisar a relação entre os diversos itens e as habilidades estimadas. É possível classificar os alunos em uma escala de habilidade de modo que o próprio discente pode localizar sua posição em uma disciplina e simular quais tópicos podem ser estudados para obter uma maior habilidade. Do ponto de vista do professor é possível analisar quais tópicos foram mais difíceis para a turma, assim como analisar se um item elaborado está em conformidade com as aulas ministradas. Caso contrário, o professor pode refazer o item ou alterar o nível de dificuldade. Os resultados proporcionaram informações significativas que permitem a elaboração de um feedback formativo capaz de fornecer aos examinandos e avaliadores as diretrizes necessárias para investigar dificuldades e contribuir para um melhor rendimento no processo de ensino-aprendizagem. |
id |
UFAM_7331aec6335865de16be8088b1a3cdc8 |
---|---|
oai_identifier_str |
oai:https://tede.ufam.edu.br/handle/:tede/8406 |
network_acronym_str |
UFAM |
network_name_str |
Biblioteca Digital de Teses e Dissertações da UFAM |
repository_id_str |
|
spelling |
Um método baseado na Teoria da Resposta ao Item para avaliação e feedback automático no contexto de educação digitalA method based on Item Response Theory for automatic assessment and feedback in the context of digital educationFormative feedbackItem Response TheoryVirtual Learning EnvironmentEducação digitalEnsino e aprendizagemCIÊNCIAS EXATAS E DA TERRAFeedback FormativoTeoria da Resposta ao ItemAvaliação AutomáticaAmbiente Virtual de AprendizagemTRIAVAA avaliação dos conhecimentos de estudantes é tarefa corriqueira no âmbito da educação, seja para avaliar o aprendizado ou mediar a seleção de candidatos em vestibulares. Os exames que empregam uma avaliação baseada em questões de múltipla escolha, onde o aluno assinala itens durante o tempo de prova e, depois, recebe um feedback sobre a sua nota, não oferecem ao estudante contribuições significativas para o entendimento de seu desempenho. O objetivo geral deste estudo é fornecer, tanto para estudantes quanto para professores, um feedback formativo a partir da estimação das habilidades do examinando e dificuldade dos itens, por meio de uma técnica estatística denominada Teoria da Resposta ao Item (TRI). Esta técnica produz um modelo de dados sobre o desempenho dos estudantes baseado na análise das respostas coletadas nos exames. Dois experimentos foram realizados utilizando dados de um exame aplicado em uma escola pública de ensino médio do Amazonas. Os resultados obtidos indicam que há uma quantidade valiosa de informações que permitem analisar a relação entre os diversos itens e as habilidades estimadas. É possível classificar os alunos em uma escala de habilidade de modo que o próprio discente pode localizar sua posição em uma disciplina e simular quais tópicos podem ser estudados para obter uma maior habilidade. Do ponto de vista do professor é possível analisar quais tópicos foram mais difíceis para a turma, assim como analisar se um item elaborado está em conformidade com as aulas ministradas. Caso contrário, o professor pode refazer o item ou alterar o nível de dificuldade. Os resultados proporcionaram informações significativas que permitem a elaboração de um feedback formativo capaz de fornecer aos examinandos e avaliadores as diretrizes necessárias para investigar dificuldades e contribuir para um melhor rendimento no processo de ensino-aprendizagem.The assessment of students' knowledge is a common task in the field of education, either to assess learning or to mediate the selection of candidates in entrance exams. Exams that employ an assessment based on multiple choice questions, in which the student marks items during the exam time and then receives feedback on his grade, do not offer the student significant contributions to understanding his performance. The general objective of this study is to provide, for both students and teachers, formative feedback from the estimation of the ability of students and difficulty of the items, through a statistical technique called Item Response Theory (IRT). This technique produces a model of data on student performance based on the analysis of the responses collected in the exams. Two experiments were conducted using data from an exam administered in a public high school in Amazonas. The results obtained indicate a valuable amount of information that allows analyzing the relationship between the various items and the estimated abilities. It is possible to classify students on a hability scale so that the student himself can locate his position in a discipline and simulate which topics can be studied to obtain greater hability. From the teacher's point of view, it is possible to analyze which topics were more difficult for the class and analyze whether an elaborated item is taught. Otherwise, the teacher can redo the item or change the difficulty level. The results provided significant information that allows the elaboration of formative feedback to provide the examinees and evaluators with the necessary guidelines to investigate difficulties and contribute to a better performance in the teaching-learning process.Fundação de Amparo à Pesquisa do Estado do Amazonas - FAPEAMCAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível SuperiorSamsung Eletrônica da Amazônia LtdaUniversidade Federal do AmazonasInstituto de ComputaçãoBrasilUFAMPrograma de Pós-graduação em InformáticaBarreto, Raimundo da Silvahttp://lattes.cnpq.br/1132672107627968Oliveira, Elaine Harada Teixeira dehttp://lattes.cnpq.br/6553721651836761Cavalcanti, Francisca Maria Coelhohttp://lattes.cnpq.br/5069100557464879Primo, Tiago Thompsenhttp://lattes.cnpq.br/5641514282351546Monteiro, Edwin Juan Lopes Barbozahttp://lattes.cnpq.br/0447115666619347https://orcid.org/0000-0002-9623-32332021-08-23T14:37:03Z2021-07-22info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfMONTEIRO, Edwin Juan Lopes Barboza. Um método baseado na Teoria da Resposta ao Item para avaliação e feedback automático no contexto de educação digital. 2021. 53 f. Dissertação (Mestrado em Informática) - Universidade Federal do Amazonas. Manaus, 2021.https://tede.ufam.edu.br/handle/tede/8406porinfo:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da UFAMinstname:Universidade Federal do Amazonas (UFAM)instacron:UFAM2021-08-24T05:03:29Zoai:https://tede.ufam.edu.br/handle/:tede/8406Biblioteca Digital de Teses e Dissertaçõeshttp://200.129.163.131:8080/PUBhttp://200.129.163.131:8080/oai/requestddbc@ufam.edu.br||ddbc@ufam.edu.bropendoar:65922021-08-24T05:03:29Biblioteca Digital de Teses e Dissertações da UFAM - Universidade Federal do Amazonas (UFAM)false |
dc.title.none.fl_str_mv |
Um método baseado na Teoria da Resposta ao Item para avaliação e feedback automático no contexto de educação digital A method based on Item Response Theory for automatic assessment and feedback in the context of digital education |
title |
Um método baseado na Teoria da Resposta ao Item para avaliação e feedback automático no contexto de educação digital |
spellingShingle |
Um método baseado na Teoria da Resposta ao Item para avaliação e feedback automático no contexto de educação digital Monteiro, Edwin Juan Lopes Barboza Formative feedback Item Response Theory Virtual Learning Environment Educação digital Ensino e aprendizagem CIÊNCIAS EXATAS E DA TERRA Feedback Formativo Teoria da Resposta ao Item Avaliação Automática Ambiente Virtual de Aprendizagem TRI AVA |
title_short |
Um método baseado na Teoria da Resposta ao Item para avaliação e feedback automático no contexto de educação digital |
title_full |
Um método baseado na Teoria da Resposta ao Item para avaliação e feedback automático no contexto de educação digital |
title_fullStr |
Um método baseado na Teoria da Resposta ao Item para avaliação e feedback automático no contexto de educação digital |
title_full_unstemmed |
Um método baseado na Teoria da Resposta ao Item para avaliação e feedback automático no contexto de educação digital |
title_sort |
Um método baseado na Teoria da Resposta ao Item para avaliação e feedback automático no contexto de educação digital |
author |
Monteiro, Edwin Juan Lopes Barboza |
author_facet |
Monteiro, Edwin Juan Lopes Barboza http://lattes.cnpq.br/0447115666619347 https://orcid.org/0000-0002-9623-3233 |
author_role |
author |
author2 |
http://lattes.cnpq.br/0447115666619347 https://orcid.org/0000-0002-9623-3233 |
author2_role |
author author |
dc.contributor.none.fl_str_mv |
Barreto, Raimundo da Silva http://lattes.cnpq.br/1132672107627968 Oliveira, Elaine Harada Teixeira de http://lattes.cnpq.br/6553721651836761 Cavalcanti, Francisca Maria Coelho http://lattes.cnpq.br/5069100557464879 Primo, Tiago Thompsen http://lattes.cnpq.br/5641514282351546 |
dc.contributor.author.fl_str_mv |
Monteiro, Edwin Juan Lopes Barboza http://lattes.cnpq.br/0447115666619347 https://orcid.org/0000-0002-9623-3233 |
dc.subject.por.fl_str_mv |
Formative feedback Item Response Theory Virtual Learning Environment Educação digital Ensino e aprendizagem CIÊNCIAS EXATAS E DA TERRA Feedback Formativo Teoria da Resposta ao Item Avaliação Automática Ambiente Virtual de Aprendizagem TRI AVA |
topic |
Formative feedback Item Response Theory Virtual Learning Environment Educação digital Ensino e aprendizagem CIÊNCIAS EXATAS E DA TERRA Feedback Formativo Teoria da Resposta ao Item Avaliação Automática Ambiente Virtual de Aprendizagem TRI AVA |
description |
A avaliação dos conhecimentos de estudantes é tarefa corriqueira no âmbito da educação, seja para avaliar o aprendizado ou mediar a seleção de candidatos em vestibulares. Os exames que empregam uma avaliação baseada em questões de múltipla escolha, onde o aluno assinala itens durante o tempo de prova e, depois, recebe um feedback sobre a sua nota, não oferecem ao estudante contribuições significativas para o entendimento de seu desempenho. O objetivo geral deste estudo é fornecer, tanto para estudantes quanto para professores, um feedback formativo a partir da estimação das habilidades do examinando e dificuldade dos itens, por meio de uma técnica estatística denominada Teoria da Resposta ao Item (TRI). Esta técnica produz um modelo de dados sobre o desempenho dos estudantes baseado na análise das respostas coletadas nos exames. Dois experimentos foram realizados utilizando dados de um exame aplicado em uma escola pública de ensino médio do Amazonas. Os resultados obtidos indicam que há uma quantidade valiosa de informações que permitem analisar a relação entre os diversos itens e as habilidades estimadas. É possível classificar os alunos em uma escala de habilidade de modo que o próprio discente pode localizar sua posição em uma disciplina e simular quais tópicos podem ser estudados para obter uma maior habilidade. Do ponto de vista do professor é possível analisar quais tópicos foram mais difíceis para a turma, assim como analisar se um item elaborado está em conformidade com as aulas ministradas. Caso contrário, o professor pode refazer o item ou alterar o nível de dificuldade. Os resultados proporcionaram informações significativas que permitem a elaboração de um feedback formativo capaz de fornecer aos examinandos e avaliadores as diretrizes necessárias para investigar dificuldades e contribuir para um melhor rendimento no processo de ensino-aprendizagem. |
publishDate |
2021 |
dc.date.none.fl_str_mv |
2021-08-23T14:37:03Z 2021-07-22 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
format |
masterThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
MONTEIRO, Edwin Juan Lopes Barboza. Um método baseado na Teoria da Resposta ao Item para avaliação e feedback automático no contexto de educação digital. 2021. 53 f. Dissertação (Mestrado em Informática) - Universidade Federal do Amazonas. Manaus, 2021. https://tede.ufam.edu.br/handle/tede/8406 |
identifier_str_mv |
MONTEIRO, Edwin Juan Lopes Barboza. Um método baseado na Teoria da Resposta ao Item para avaliação e feedback automático no contexto de educação digital. 2021. 53 f. Dissertação (Mestrado em Informática) - Universidade Federal do Amazonas. Manaus, 2021. |
url |
https://tede.ufam.edu.br/handle/tede/8406 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.publisher.none.fl_str_mv |
Universidade Federal do Amazonas Instituto de Computação Brasil UFAM Programa de Pós-graduação em Informática |
publisher.none.fl_str_mv |
Universidade Federal do Amazonas Instituto de Computação Brasil UFAM Programa de Pós-graduação em Informática |
dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações da UFAM instname:Universidade Federal do Amazonas (UFAM) instacron:UFAM |
instname_str |
Universidade Federal do Amazonas (UFAM) |
instacron_str |
UFAM |
institution |
UFAM |
reponame_str |
Biblioteca Digital de Teses e Dissertações da UFAM |
collection |
Biblioteca Digital de Teses e Dissertações da UFAM |
repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações da UFAM - Universidade Federal do Amazonas (UFAM) |
repository.mail.fl_str_mv |
ddbc@ufam.edu.br||ddbc@ufam.edu.br |
_version_ |
1800234219753963520 |