Relação entre características do teste educacional e estimativa de habilidade do estudante

Detalhes bibliográficos
Ano de defesa: 2008
Autor(a) principal: Condé, Frederico Neves
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Tese
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Não Informado pela instituição
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Teste psicológico
Sistema Nacional de Avaliação da Educação Básica (Brasil)
Estudantes - aptidão
Testes e medidas educacionais
Psicologia experimental
Link de acesso: http://repositorio.unb.br/handle/10482/1578
Resumo: Tese (doutorado)—Universidade de Brasília, Instituto de Psicologia, Departamento de Psicologia Social e do Trabalho, Programa de Pós-Graduação em Psicologia Social, do Trabalho e das Organizações, 2008.
id UNB_6d44279dac43c533e78c2718e2d2e8a3
oai_identifier_str oai:repositorio.unb.br:10482/1578
network_acronym_str UNB
network_name_str Repositório Institucional da UnB
repository_id_str
spelling Relação entre características do teste educacional e estimativa de habilidade do estudanteTeste psicológicoSistema Nacional de Avaliação da Educação Básica (Brasil)Estudantes - aptidãoTestes e medidas educacionaisPsicologia experimentalTese (doutorado)—Universidade de Brasília, Instituto de Psicologia, Departamento de Psicologia Social e do Trabalho, Programa de Pós-Graduação em Psicologia Social, do Trabalho e das Organizações, 2008.O presente estudo teve como objetivo verificar a relação de características de testes educacionais de matemática e a validade e a fidedignidade das habilidades de estudantes estimadas por meio da Teoria de Resposta ao Item (TRI). Estudos prévios mostraram que dois testes de matemática aplicados em 2005 a estudantes de 8ª série do Ensino Fundamental, a ANEB, contendo 155 itens, e a Prova Brasil, contendo 81 itens, apresentaram resultados de estimativas de habilidade diferentes para grupos com características semelhantes. Esses resultados não foram os esperados, já que a TRI, teoricamente, permite a estimação das habilidades dos estudantes independentemente das características do teste, uma vez que seus pressupostos são atendidos. O grau de cobertura da matriz de referência e os parâmetros psicométricos dos testes foram analisados para subsidiar a composição de testes simulados. Utilizando o teste ANEB como referência, quatro testes (formas A, B, C e D) foram simulados com diferentes números de itens (104 e 81) itens, a partir da variação de seu grau de dificuldade e de discriminação. As estimativas de habilidade dos estudantes foram comparadas entre os testes originais ANEB e Prova Brasil e entre os quatro testes simulados. Evidências de validade e de fidedignidade foram investigadas. Resultados revelaram que estudantes que responderam à Prova Brasil obtiveram estimativas de habilidade maiores em 0,2 desvios-padrão que estudantes que responderam ao teste ANEB. Essa diferença, significativa ao nível de 5%, não pode ser explicada em função de baixo grau de validade de um dos testes, já que foram encontradas evidências de bom grau de validade para ambos os testes quanto às características: grau de cobertura da matriz de referência, elaboração e revisão de itens, análise pedagógica e análise de Funcionamento Diferencial do Item. Os resultados de análise unidimensionalidade podiam ter sido utilizados para decidir quais itens seriam considerados para estimar as habilidades dos estudantes e serviriam como uma evidência adicional de validade. A comparação ente quatro testes simulados e os testes originais indicaram que o número de itens dos testes respondidos pelos estudantes, a qualidade discriminativa dos itens e a relação do parâmetro b com o parâmetro de habilidade são acompanhados de um aumento da fidedignidade dos testes. Os resultados da investigação sugerem que as diferenças observadas quanto às estimativas de habilidade entre ANEB e Prova Brasil estão associadas ao pequeno número de itens discriminativos para estudantes com estimativas baixas e médias. Com base nos resultados do estudo, recomenda-se a inclusão, nos testes de matemática, 8ª série, de um número maior de itens discriminativos para as faixas baixa e média de habilidades estimadas. Os resultados podem auxiliar o xii Instituto Nacional de Estudos e Pesquisas Educacionais (INEP) na composição de testes para os próximos processos avaliativos. ________________________________________________________________________________________ ABSTRACTThe main purpose of this investigation was to verify the relation between psychometric properties of educational tests assessing Mathematics and the validity and reliability of the estimated proficiencies of students using Item Response Theory (IRT). Earlier studies showed that two equalized Mathematics tests applied in 2005 to students attending the 8th grade of basic education, one containing 155 items (ANEB), and the other containing 81 items (Prova Brasil) presented different outcomes for the estimated proficiencies of groups of students with similar characteristics. These results were not expected considering the fact that IRT theoretically permits the estimation of students’ proficiency independent of the characteristics of a test, once the assumptions underlying the IRT model are satisfied. The degree of coverage of the reference matrices and the psychometric parameters of the two Mathematics tests were analyzed in order to obtain a basis for the creation of simulated test forms. Taking the ANEB test as point of reference, four tests (forms A, B, C, and D) were simulated with different number of items (104 or 81) and displaying varying degrees of difficulty and discrimination. Estimated students´ proficiencies were compared among the original ANEB and Prova Brasil tests and among the four simulated test forms. Also indications of validity and reliability were compared. Results from this comparison revealed that students who took the Prova Brasil received a higher estimated proficiency than the students who took the ANEB test. The difference amounted to .2 standard deviations and was significant at the 5% level. This observed difference can´t be explained by poor validity of one of the measuring instruments because both tests present evidence of good validity based on the following characteristics: degree of coverage of the reference matrices, elaboration and revision of the items, pedagogical analysis and analysis of Differential Item Functioning. Results of the unidimensionality analysis can be used to decide which items should be included to esteem the proficiency of the students, and serve as an additional indication of the validity of the tests. Comparing the four simulated test and the original tests indicated that the number of items answered by the students, the discrimination quality of the items and the relation of the b parameter with the estimated proficiency are accompanied by an increase of the reliability of the tests. The results of this investigation suggest that the observed difference in the estimation of students’ proficiency of the ANEB and Prova Brasil test is related to the low number of highly discriminating xiv items for students with low and medium proficiences. Based on the results of this study it is recommended to include in tests assessing Mathematics for 8th grade students of basic education a greater number of good discriminating items for the low and medium proficiences in Mathematics. The results of this study can assist INEP, the National Institute for Educational Research of Brazil, in the composition and elaboration process of future tests.Laros, Jacob ArieCondé, Frederico Neves2009-08-12T16:03:17Z2009-08-12T16:03:17Z2008-102008-10info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisapplication/pdfCONDÉ, Frederico Neves. Relação entre características do teste educacional e estimativa de habilidade do estudante. 2008. 151 f. Tese (Doutorado em Psicologia Social e das Organizações)—Universidade de Brasília, Brasília, 2008.http://repositorio.unb.br/handle/10482/1578info:eu-repo/semantics/openAccessporreponame:Repositório Institucional da UnBinstname:Universidade de Brasília (UnB)instacron:UNB2023-07-11T00:29:59Zoai:repositorio.unb.br:10482/1578Repositório InstitucionalPUBhttps://repositorio.unb.br/oai/requestrepositorio@unb.bropendoar:2023-07-11T00:29:59Repositório Institucional da UnB - Universidade de Brasília (UnB)false
dc.title.none.fl_str_mv Relação entre características do teste educacional e estimativa de habilidade do estudante
title Relação entre características do teste educacional e estimativa de habilidade do estudante
spellingShingle Relação entre características do teste educacional e estimativa de habilidade do estudante
Condé, Frederico Neves
Teste psicológico
Sistema Nacional de Avaliação da Educação Básica (Brasil)
Estudantes - aptidão
Testes e medidas educacionais
Psicologia experimental
title_short Relação entre características do teste educacional e estimativa de habilidade do estudante
title_full Relação entre características do teste educacional e estimativa de habilidade do estudante
title_fullStr Relação entre características do teste educacional e estimativa de habilidade do estudante
title_full_unstemmed Relação entre características do teste educacional e estimativa de habilidade do estudante
title_sort Relação entre características do teste educacional e estimativa de habilidade do estudante
author Condé, Frederico Neves
author_facet Condé, Frederico Neves
author_role author
dc.contributor.none.fl_str_mv Laros, Jacob Arie
dc.contributor.author.fl_str_mv Condé, Frederico Neves
dc.subject.por.fl_str_mv Teste psicológico
Sistema Nacional de Avaliação da Educação Básica (Brasil)
Estudantes - aptidão
Testes e medidas educacionais
Psicologia experimental
topic Teste psicológico
Sistema Nacional de Avaliação da Educação Básica (Brasil)
Estudantes - aptidão
Testes e medidas educacionais
Psicologia experimental
description Tese (doutorado)—Universidade de Brasília, Instituto de Psicologia, Departamento de Psicologia Social e do Trabalho, Programa de Pós-Graduação em Psicologia Social, do Trabalho e das Organizações, 2008.
publishDate 2008
dc.date.none.fl_str_mv 2008-10
2008-10
2009-08-12T16:03:17Z
2009-08-12T16:03:17Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv CONDÉ, Frederico Neves. Relação entre características do teste educacional e estimativa de habilidade do estudante. 2008. 151 f. Tese (Doutorado em Psicologia Social e das Organizações)—Universidade de Brasília, Brasília, 2008.
http://repositorio.unb.br/handle/10482/1578
identifier_str_mv CONDÉ, Frederico Neves. Relação entre características do teste educacional e estimativa de habilidade do estudante. 2008. 151 f. Tese (Doutorado em Psicologia Social e das Organizações)—Universidade de Brasília, Brasília, 2008.
url http://repositorio.unb.br/handle/10482/1578
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UnB
instname:Universidade de Brasília (UnB)
instacron:UNB
instname_str Universidade de Brasília (UnB)
instacron_str UNB
institution UNB
reponame_str Repositório Institucional da UnB
collection Repositório Institucional da UnB
repository.name.fl_str_mv Repositório Institucional da UnB - Universidade de Brasília (UnB)
repository.mail.fl_str_mv repositorio@unb.br
_version_ 1839083748835983360

Registros relacionados