Manutenção do banco de itens para testes adaptativos computadorizados aplicados em avaliações de alto impacto

Detalhes bibliográficos
Ano de defesa: 2017
Autor(a) principal: Spenassato, Débora
Orientador(a): Bornia, Antonio Cezar
Banca de defesa: Não Informado pela instituição
Tipo de documento: Tese
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Não Informado pela instituição
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Link de acesso: https://repositorio.ufsc.br/xmlui/handle/123456789/179789
Resumo: Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-Graduação em Engenharia de Produção, Florianópolis, 2017
id UFSC_5b805b99c978a375651ff73a29951eb7
oai_identifier_str oai:repositorio.ufsc.br:123456789/179789
network_acronym_str UFSC
network_name_str Repositório Institucional da UFSC
repository_id_str
spelling Universidade Federal de Santa CatarinaSpenassato, DéboraBornia, Antonio Cezar2017-09-26T04:18:49Z2017-09-26T04:18:49Z2017348177https://repositorio.ufsc.br/xmlui/handle/123456789/179789Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-Graduação em Engenharia de Produção, Florianópolis, 2017Teste adaptativo computadorizado (CAT) é um método de aplicação de testes capaz de produzir um teste personalizado para cada indivíduo. O sucesso de um CAT depende, entre outros fatores, de um banco de itens (BI) calibrado pela teoria da resposta ao item (TRI) e com boas qualidades psicométricas. Esse BI necessita de manutenção periódica para não comprometer os resultados da avaliação, principalmente em testes de alto impacto, ou seja, quando seus resultados são usados para tomar decisões importantes que afetam estudantes, professores ou instituições. O objetivo deste trabalho foi desenvolver uma sistemática para a manutenção do banco de itens para testes adaptativos computadorizados aplicados em avaliações de alto impacto. Duas fases foram definidas. A Fase 1 visa acrescentar novos itens no BI (calibração de novos itens), enquanto a Fase 2 visa o monitoramento para identificar itens comprometidos e que precisam ser eliminados do BI (Etapa 1 - monitoramento da exposição dos itens e Etapa 2 - verificação de drift dos parâmetros dos itens). Diretrizes são fornecidas para orientar os desenvolvedores de testes e profissionais responsáveis pela manutenção de CATs, sobre como proceder em cada fase de análise. Diferentes simulações são apresentadas para definição do design do CAT operacional para avaliar profissionais de um curso de capacitação na área da saúde, bem como os resultados da aplicação do CAT em duas edições de testes e implementação de parte da sistemática de manutenção do BI. Por fim, sugere-se a execução das duas fases da sistemática a cada edição de testes.Abstract: Computerized adaptive testing (CAT) is a form of computer-administered test that adapts to the examinee's latent trait level. Adapting the difficulty of items means that an examinee with high latent trait will receive difficult items, while an examinee with low latent trait will receive easy items. The success of a CAT depends, among other factors, on an item bank (BI) with both good psychometric qualities and calibration based on the item response theory (IRT). In order to keep effectiveness, this item bank needs to be periodically up-to-dated so the evaluation results will not be compromised. The item bank maintenance is especially important for high-stakes tests, ie when their results are used to make important decisions that affect students, teachers or institutions. The objective of this work was to develop a systematized approach for the item bank maintenance for computerized adaptive testing applied in high-stakes tests. Two phases have been defined. Phase 1 aims to increase BI (calibration of new items), while Phase 2 aims to identify potentially compromised items that need to be eliminated of the BI (Step 1 - monitoring the items exposure and Step 2 - detection of item parameter drift). Guidelines are provided to guide test developers and professionals responsible for maintaining a CAT, on how to proceed in each phase of the analysis. Different simulations are presented to define the CAT design for the evaluation of health professionals at the end a training course. We also present both the results of the CAT application in two rounds of tests and the implementation of part of the approach for the item bank maintenance. Finally, we suggest the execution of the two phases to each round of tests.252 p.| ils., grafs., tabs.porEngenharia de produçãoTestes adaptativos informatizadosTeoria da Resposta do ÍtemManutenção do banco de itens para testes adaptativos computadorizados aplicados em avaliações de alto impactoinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisreponame:Repositório Institucional da UFSCinstname:Universidade Federal de Santa Catarina (UFSC)instacron:UFSCinfo:eu-repo/semantics/openAccessORIGINAL348177.pdfapplication/pdf2799400https://repositorio.ufsc.br/bitstream/123456789/179789/1/348177.pdf243a8a6f839c30092976d8e6b595b81aMD51123456789/1797892017-09-26 01:18:49.12oai:repositorio.ufsc.br:123456789/179789Repositório InstitucionalPUBhttp://150.162.242.35/oai/requestsandra.sobrera@ufsc.bropendoar:23732017-09-26T04:18:49Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)false
dc.title.pt_BR.fl_str_mv Manutenção do banco de itens para testes adaptativos computadorizados aplicados em avaliações de alto impacto
title Manutenção do banco de itens para testes adaptativos computadorizados aplicados em avaliações de alto impacto
spellingShingle Manutenção do banco de itens para testes adaptativos computadorizados aplicados em avaliações de alto impacto
Spenassato, Débora
Engenharia de produção
Testes adaptativos informatizados
Teoria da Resposta do Ítem
title_short Manutenção do banco de itens para testes adaptativos computadorizados aplicados em avaliações de alto impacto
title_full Manutenção do banco de itens para testes adaptativos computadorizados aplicados em avaliações de alto impacto
title_fullStr Manutenção do banco de itens para testes adaptativos computadorizados aplicados em avaliações de alto impacto
title_full_unstemmed Manutenção do banco de itens para testes adaptativos computadorizados aplicados em avaliações de alto impacto
title_sort Manutenção do banco de itens para testes adaptativos computadorizados aplicados em avaliações de alto impacto
author Spenassato, Débora
author_facet Spenassato, Débora
author_role author
dc.contributor.pt_BR.fl_str_mv Universidade Federal de Santa Catarina
dc.contributor.author.fl_str_mv Spenassato, Débora
dc.contributor.advisor1.fl_str_mv Bornia, Antonio Cezar
contributor_str_mv Bornia, Antonio Cezar
dc.subject.classification.pt_BR.fl_str_mv Engenharia de produção
Testes adaptativos informatizados
Teoria da Resposta do Ítem
topic Engenharia de produção
Testes adaptativos informatizados
Teoria da Resposta do Ítem
description Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-Graduação em Engenharia de Produção, Florianópolis, 2017
publishDate 2017
dc.date.accessioned.fl_str_mv 2017-09-26T04:18:49Z
dc.date.available.fl_str_mv 2017-09-26T04:18:49Z
dc.date.issued.fl_str_mv 2017
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://repositorio.ufsc.br/xmlui/handle/123456789/179789
dc.identifier.other.pt_BR.fl_str_mv 348177
identifier_str_mv 348177
url https://repositorio.ufsc.br/xmlui/handle/123456789/179789
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 252 p.| ils., grafs., tabs.
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFSC
instname:Universidade Federal de Santa Catarina (UFSC)
instacron:UFSC
instname_str Universidade Federal de Santa Catarina (UFSC)
instacron_str UFSC
institution UFSC
reponame_str Repositório Institucional da UFSC
collection Repositório Institucional da UFSC
bitstream.url.fl_str_mv https://repositorio.ufsc.br/bitstream/123456789/179789/1/348177.pdf
bitstream.checksum.fl_str_mv 243a8a6f839c30092976d8e6b595b81a
bitstream.checksumAlgorithm.fl_str_mv MD5
repository.name.fl_str_mv Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)
repository.mail.fl_str_mv sandra.sobrera@ufsc.br
_version_ 1851759069835034624

Registros relacionados