Um estudo sobre o plano amostral do Saeb

• Ano de defesa: 2020
• Autor(a) principal: Lustosa, Laene Ascenso
• Orientador(a): Vieira, Marcel de Toledo
• Banca de defesa: Ferreira, Clécio da Silva , Silva, Pedro Luis do Nascimento
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Universidade Federal de Juiz de Fora (UFJF)
• Programa de Pós-Graduação: Mestrado em Gestão e Avaliação em Educação Pública
• Departamento: Faculdade de Educação
• País: Brasil
• Palavras-chave em Português: Saeb; Amostragem; Simulação; Avaliação externa; Inep; Sampling; Simulation; External evaluation
• Área do conhecimento CNPq: CNPQ::CIENCIAS HUMANAS::EDUCACAO
• Link de acesso: https://repositorio.ufjf.br/jspui/handle/ufjf/12191

A presente dissertação foi desenvolvida no âmbito do Mestrado Profissional em Gestão e Avaliação da Educação Pública (PPGP) do Centro de Políticas Públicas e Avaliação da Educação da Universidade Federal de Juiz de Fora (CAEd/UFJF). O caso de gestão estudado discutiu alguns aspectos do processo de coleta de dados do Saeb, mais especificamente no que diz respeito ao plano amostral e à estimação dos resultados, a fim de responder à seguinte pergunta: diante das diversas mudanças nos elementos que orientam o processo de coleta de dados do Sistema Nacional de Avaliação da Educação Básica (Saeb) desde a sua criação, o modelo adotado ainda se mostra adequado? Portanto, foi estabelecido como objetivo desta dissertação avaliar o plano amostral do Saeb e como se dá a estimação dos seus resultados, a fim de identificar oportunidades de melhorias nas metodologias adotadas. Para alcançar esse objetivo, a dissertação apresentou o histórico de reformas educacionais ocorridas internacionalmente e como esse movimento influenciou o surgimento da avaliação em larga escala no mundo, e sua chegada ao Brasil dando origem ao Saeb. Além disso, foi estudado o histórico de evolução do Saeb e seu plano amostral para entender o cálculo e a expansão dos resultados com base no plano amostral atual, a fim de identificar limitações desse processo. A partir daí, foi possível propor estratégias para minimizar os efeitos das limitações identificadas tornando o Saeb mais adequado à avaliação educacional em larga escala no Brasil. Como hipótese, assumiu-se que, depois de passar por diversas modificações, o plano amostral do Saeb precisaria ser estudado e avaliado para entender elementos que poderiam ser atualizados nesse modelo. Para tanto, a metodologia adotada é a revisão bibliográfica e documental, seguida de análise de dados coletados pelo Saeb 2017 com uso de simulação para medir eficiência do plano amostral atual por meio de comparação de resultados estimados a partir de Amostragem com os resultados obtidos na aplicação censitária. A comparação entre diferentes metodologias de estimação de variância para o cálculo do tamanho da amostra mostrou que a metodologia adotada atualmente é eficiente e adequada, mas que há espaço para a promoção de melhorias no plano amostral. Também se assumiu que o Saeb, como avaliação em larga escala, apresenta características e limitações intrínsecas a esse modelo de avaliação. O conhecimento desse contexto conduziu à identificação de oportunidades de melhoria no modelo da avaliação e à elaboração de um plano de ação pautado na implementação de mudanças que possibilitem uma evolução do Saeb. Assim, foram propostas ações voltadas para o aperfeiçoamento do plano amostral, para a ampliação do ciclo de coleta de dados visando ao aprofundamento das informações obtidas e para o fornecimento de mais insumos de contextualização dos resultados da avaliação.