Avaliação de proficiência oral em língua estrangeira: uma proposta de abordagem avaliativa em um exame para professores de línguas com base em métodos de estruturação de problemas e em métodos multicritério de análise da decisão

Detalhes bibliográficos
Ano de defesa: 2019
Autor(a) principal: Colombo, Camila Sthéfanie
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Tese
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Estadual Paulista (Unesp)
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Link de acesso: http://hdl.handle.net/11449/191170
Resumo: Neste trabalho investiga-se a abordagem de avaliação da proficiência oral do professor de línguas estrangeiras empregado por um exame brasileiro voltado a essa finalidade específica, o EPPLE – Exame de Proficiência para Professores de Línguas Estrangeiras. O estudo tem por objetivo propor uma abordagem que atenda a necessidades levantadas pela literatura da área acerca da importância da democratização e transparência do processo avaliativo e do emprego de processos decisórios que garantam os princípios de validade sem causar interferências na praticidade das avaliações. Assim, a abordagem proposta subordina-se à elaboração de uma escala de mensuração e à reestruturação da escala de proficiência do exame, agregando-se a opinião de usuários com diferentes graus de especialidade sobre a avaliação de proficiência. Trata-se, portanto, de um estudo de caso de natureza híbrida e cunho exploratório-descritivo que se utiliza de dados secundários e primários para auxiliar a investigação. Os dados secundários consistem em estudos e documentos sobre a caracterização da proficiência linguística para finalidades gerais e para finalidades de ensino, bem como sobre a avaliação dessas proficiências; em dados de fala do teste oral do EPPLE referentes à participação de formandos em Letras de uma universidade pública paulista e de duas universidades públicas mineiras, na qualidade de candidatos ao exame, nos anos de 2015 e 2017; e nos respectivos conceitos atribuídos aos candidatos, seguindo-se os princípios determinados pela escala de proficiência oral original do exame. Os dados primários, por sua vez, consistem nas respostas obtidas por meio da aplicação sucessiva de dois questionários estruturados com base nos princípios do método de estruturação de problemas VFT – Pensamento Focado no Valor; o primeiro, com a finalidade de coletar informações a respeito do perfil dos participantes da pesquisa e de suas opiniões sobre as características da proficiência do professor de línguas e de sua avaliação e o segundo, para refinar e confirmar a opinião dos participantes, fornecendo embasamento para a elaboração da escala de mensuração. A determinação dos critérios que integram a escala de mensuração proposta, bem como de seus pesos para a avaliação, foi realizada com base nos valores informados pelos usuários do exame, nos valores determinados pela literatura e na criterialidade encontrada por meio da análise das características de fala dos candidatos. Os perfis linguísticos que representam os níveis de variação da proficiência na escala de mensuração, por sua vez, foram definidos com base nos resultados fornecidos pela análise multivariada de agrupamento, mais especificamente, pelo método de Ward, desses desempenhos. A escala de proficiência foi elaborada considerando-se os quadros de referência internacional CEFR – Quadro Europeu Comum de Referência para Línguas e CETF – Cambridge English Teaching Framework. A reavaliação dos desempenhos de fala foi realizada considerando-se a escala de mensuração proposta combinada ao método multicritério de análise da decisão Fuzzy TOPSIS – Técnica de Ordenamento de Preferências por Similaridade à Solução Ideal. A comparação do nível de proficiência sugerido pela aplicação do método em relação à escala de proficiência proposta com base nos quadros de referência mostrou-se confiável e, em relação à avaliação original, permitiu o tratamento de discrepâncias.
id UNSP_44f9021971cf82363f847dcaa72087d9
oai_identifier_str oai:repositorio.unesp.br:11449/191170
network_acronym_str UNSP
network_name_str Repositório Institucional da UNESP
repository_id_str
spelling Avaliação de proficiência oral em língua estrangeira: uma proposta de abordagem avaliativa em um exame para professores de línguas com base em métodos de estruturação de problemas e em métodos multicritério de análise da decisãoForeign language oral proficiency testing: an approach for the assessment of the proficiency of language teachers in a brazilian examination through problem structuring methods and multicriteria decision analysisAvaliaçãoProficiência oralProficiência do professor de línguasMétodos de estruturação de problemasMétodos multicritério de análise da decisãoLanguage testingOral proficiencyProblem structuring methodsMulticriteria decision-analysis methodsTeachers’ oral proficiencyNeste trabalho investiga-se a abordagem de avaliação da proficiência oral do professor de línguas estrangeiras empregado por um exame brasileiro voltado a essa finalidade específica, o EPPLE – Exame de Proficiência para Professores de Línguas Estrangeiras. O estudo tem por objetivo propor uma abordagem que atenda a necessidades levantadas pela literatura da área acerca da importância da democratização e transparência do processo avaliativo e do emprego de processos decisórios que garantam os princípios de validade sem causar interferências na praticidade das avaliações. Assim, a abordagem proposta subordina-se à elaboração de uma escala de mensuração e à reestruturação da escala de proficiência do exame, agregando-se a opinião de usuários com diferentes graus de especialidade sobre a avaliação de proficiência. Trata-se, portanto, de um estudo de caso de natureza híbrida e cunho exploratório-descritivo que se utiliza de dados secundários e primários para auxiliar a investigação. Os dados secundários consistem em estudos e documentos sobre a caracterização da proficiência linguística para finalidades gerais e para finalidades de ensino, bem como sobre a avaliação dessas proficiências; em dados de fala do teste oral do EPPLE referentes à participação de formandos em Letras de uma universidade pública paulista e de duas universidades públicas mineiras, na qualidade de candidatos ao exame, nos anos de 2015 e 2017; e nos respectivos conceitos atribuídos aos candidatos, seguindo-se os princípios determinados pela escala de proficiência oral original do exame. Os dados primários, por sua vez, consistem nas respostas obtidas por meio da aplicação sucessiva de dois questionários estruturados com base nos princípios do método de estruturação de problemas VFT – Pensamento Focado no Valor; o primeiro, com a finalidade de coletar informações a respeito do perfil dos participantes da pesquisa e de suas opiniões sobre as características da proficiência do professor de línguas e de sua avaliação e o segundo, para refinar e confirmar a opinião dos participantes, fornecendo embasamento para a elaboração da escala de mensuração. A determinação dos critérios que integram a escala de mensuração proposta, bem como de seus pesos para a avaliação, foi realizada com base nos valores informados pelos usuários do exame, nos valores determinados pela literatura e na criterialidade encontrada por meio da análise das características de fala dos candidatos. Os perfis linguísticos que representam os níveis de variação da proficiência na escala de mensuração, por sua vez, foram definidos com base nos resultados fornecidos pela análise multivariada de agrupamento, mais especificamente, pelo método de Ward, desses desempenhos. A escala de proficiência foi elaborada considerando-se os quadros de referência internacional CEFR – Quadro Europeu Comum de Referência para Línguas e CETF – Cambridge English Teaching Framework. A reavaliação dos desempenhos de fala foi realizada considerando-se a escala de mensuração proposta combinada ao método multicritério de análise da decisão Fuzzy TOPSIS – Técnica de Ordenamento de Preferências por Similaridade à Solução Ideal. A comparação do nível de proficiência sugerido pela aplicação do método em relação à escala de proficiência proposta com base nos quadros de referência mostrou-se confiável e, em relação à avaliação original, permitiu o tratamento de discrepâncias.This research study investigates the assessment model used by a teaching-oriented language examination, the EPPLE – Proficiency Examination for Foreign Language Teachers, in the assessment of foreign language teachers’ oral proficiency. We aim at evaluating the model used by the oral test and proposing a new one that meets current concerns raised by the literature regarding the importance of democratizing the assessment process, guaranteeing transparency and using decision models that assure validity principles without causing interferences in the test’s practicality. Therefore, the model we propose relies on the reorganization of the oral proficiency scale used in the exam through the inclusion of its stakeholders’ opinions. The investigation conducted consists on a quali-quantitative and exploratory-descriptive case study that uses primary and secondary data. Secondary data consist of research studies and documents on the concept of general and teaching purpose language proficiency; speaking data from candidates to the oral test of the EPPLE examination; as well as the respective rates assigned to such candidates according to the proficiency scale used in the exam. The candidates to the EPPLE examination that participate in this study are Letters course undergraduate students from Brazilian public universities, one located in the state of São Paulo and two in the state of Minas Gerais, in the years of 2015 and 2017. Primary data, on the other hand, consist of the answers obtained through the application of two questionnaires, which we structured following the principles of a problem structuring method, VFT – Value-Focused Thinking. We applied the first questionnaire aiming at collecting information on the research study participants’ profiles and opinions concerning foreign language teachers’ proficiency and its assessment. The second questionnaire supported the reorganization of the scale and was used to refine and confirm the participants’ opinions. We selected the criteria included in the rubric scale, as well as its assessment weights, through the values of the stakeholders, the values pointed out in the literature and their criteriality, determined through the analysis of candidates’ speech samples. Language profiles representing the variation of the levels of the proficiency in the rubric were defined through performance cluster analysis, more specifically through Ward’s method. The proficiency scale was created through the principles presented in the CEFR – Common European Framework of Reference for Languages and in the CETF – Cambridge English Teaching Framework. Finally, the reassessment of the performances was conducted through the combination of the rubric and the multi-criteria decision analysis method, Fuzzy TOPSIS – Technique for Order of Preference by Similarity to Ideal Solution. The comparison of the proficiency level suggested by the application of the method based on the proficiency scale resulted in mainly reliable results, allowing the management of error measurements.Universidade Estadual Paulista (Unesp)Consolo, Douglas Altamiro [UNESP]Universidade Estadual Paulista (Unesp)Colombo, Camila Sthéfanie2019-12-04T18:36:35Z2019-12-04T18:36:35Z2019-08-29info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisapplication/pdfapplication/pdfhttp://hdl.handle.net/11449/19117000092763633004153069P5porinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UNESPinstname:Universidade Estadual Paulista (UNESP)instacron:UNESP2024-11-05T17:38:09Zoai:repositorio.unesp.br:11449/191170Repositório InstitucionalPUBhttp://repositorio.unesp.br/oai/requestrepositoriounesp@unesp.bropendoar:29462024-11-05T17:38:09Repositório Institucional da UNESP - Universidade Estadual Paulista (UNESP)false
dc.title.none.fl_str_mv Avaliação de proficiência oral em língua estrangeira: uma proposta de abordagem avaliativa em um exame para professores de línguas com base em métodos de estruturação de problemas e em métodos multicritério de análise da decisão
Foreign language oral proficiency testing: an approach for the assessment of the proficiency of language teachers in a brazilian examination through problem structuring methods and multicriteria decision analysis
title Avaliação de proficiência oral em língua estrangeira: uma proposta de abordagem avaliativa em um exame para professores de línguas com base em métodos de estruturação de problemas e em métodos multicritério de análise da decisão
spellingShingle Avaliação de proficiência oral em língua estrangeira: uma proposta de abordagem avaliativa em um exame para professores de línguas com base em métodos de estruturação de problemas e em métodos multicritério de análise da decisão
Colombo, Camila Sthéfanie
Avaliação
Proficiência oral
Proficiência do professor de línguas
Métodos de estruturação de problemas
Métodos multicritério de análise da decisão
Language testing
Oral proficiency
Problem structuring methods
Multicriteria decision-analysis methods
Teachers’ oral proficiency
title_short Avaliação de proficiência oral em língua estrangeira: uma proposta de abordagem avaliativa em um exame para professores de línguas com base em métodos de estruturação de problemas e em métodos multicritério de análise da decisão
title_full Avaliação de proficiência oral em língua estrangeira: uma proposta de abordagem avaliativa em um exame para professores de línguas com base em métodos de estruturação de problemas e em métodos multicritério de análise da decisão
title_fullStr Avaliação de proficiência oral em língua estrangeira: uma proposta de abordagem avaliativa em um exame para professores de línguas com base em métodos de estruturação de problemas e em métodos multicritério de análise da decisão
title_full_unstemmed Avaliação de proficiência oral em língua estrangeira: uma proposta de abordagem avaliativa em um exame para professores de línguas com base em métodos de estruturação de problemas e em métodos multicritério de análise da decisão
title_sort Avaliação de proficiência oral em língua estrangeira: uma proposta de abordagem avaliativa em um exame para professores de línguas com base em métodos de estruturação de problemas e em métodos multicritério de análise da decisão
author Colombo, Camila Sthéfanie
author_facet Colombo, Camila Sthéfanie
author_role author
dc.contributor.none.fl_str_mv Consolo, Douglas Altamiro [UNESP]
Universidade Estadual Paulista (Unesp)
dc.contributor.author.fl_str_mv Colombo, Camila Sthéfanie
dc.subject.por.fl_str_mv Avaliação
Proficiência oral
Proficiência do professor de línguas
Métodos de estruturação de problemas
Métodos multicritério de análise da decisão
Language testing
Oral proficiency
Problem structuring methods
Multicriteria decision-analysis methods
Teachers’ oral proficiency
topic Avaliação
Proficiência oral
Proficiência do professor de línguas
Métodos de estruturação de problemas
Métodos multicritério de análise da decisão
Language testing
Oral proficiency
Problem structuring methods
Multicriteria decision-analysis methods
Teachers’ oral proficiency
description Neste trabalho investiga-se a abordagem de avaliação da proficiência oral do professor de línguas estrangeiras empregado por um exame brasileiro voltado a essa finalidade específica, o EPPLE – Exame de Proficiência para Professores de Línguas Estrangeiras. O estudo tem por objetivo propor uma abordagem que atenda a necessidades levantadas pela literatura da área acerca da importância da democratização e transparência do processo avaliativo e do emprego de processos decisórios que garantam os princípios de validade sem causar interferências na praticidade das avaliações. Assim, a abordagem proposta subordina-se à elaboração de uma escala de mensuração e à reestruturação da escala de proficiência do exame, agregando-se a opinião de usuários com diferentes graus de especialidade sobre a avaliação de proficiência. Trata-se, portanto, de um estudo de caso de natureza híbrida e cunho exploratório-descritivo que se utiliza de dados secundários e primários para auxiliar a investigação. Os dados secundários consistem em estudos e documentos sobre a caracterização da proficiência linguística para finalidades gerais e para finalidades de ensino, bem como sobre a avaliação dessas proficiências; em dados de fala do teste oral do EPPLE referentes à participação de formandos em Letras de uma universidade pública paulista e de duas universidades públicas mineiras, na qualidade de candidatos ao exame, nos anos de 2015 e 2017; e nos respectivos conceitos atribuídos aos candidatos, seguindo-se os princípios determinados pela escala de proficiência oral original do exame. Os dados primários, por sua vez, consistem nas respostas obtidas por meio da aplicação sucessiva de dois questionários estruturados com base nos princípios do método de estruturação de problemas VFT – Pensamento Focado no Valor; o primeiro, com a finalidade de coletar informações a respeito do perfil dos participantes da pesquisa e de suas opiniões sobre as características da proficiência do professor de línguas e de sua avaliação e o segundo, para refinar e confirmar a opinião dos participantes, fornecendo embasamento para a elaboração da escala de mensuração. A determinação dos critérios que integram a escala de mensuração proposta, bem como de seus pesos para a avaliação, foi realizada com base nos valores informados pelos usuários do exame, nos valores determinados pela literatura e na criterialidade encontrada por meio da análise das características de fala dos candidatos. Os perfis linguísticos que representam os níveis de variação da proficiência na escala de mensuração, por sua vez, foram definidos com base nos resultados fornecidos pela análise multivariada de agrupamento, mais especificamente, pelo método de Ward, desses desempenhos. A escala de proficiência foi elaborada considerando-se os quadros de referência internacional CEFR – Quadro Europeu Comum de Referência para Línguas e CETF – Cambridge English Teaching Framework. A reavaliação dos desempenhos de fala foi realizada considerando-se a escala de mensuração proposta combinada ao método multicritério de análise da decisão Fuzzy TOPSIS – Técnica de Ordenamento de Preferências por Similaridade à Solução Ideal. A comparação do nível de proficiência sugerido pela aplicação do método em relação à escala de proficiência proposta com base nos quadros de referência mostrou-se confiável e, em relação à avaliação original, permitiu o tratamento de discrepâncias.
publishDate 2019
dc.date.none.fl_str_mv 2019-12-04T18:36:35Z
2019-12-04T18:36:35Z
2019-08-29
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/11449/191170
000927636
33004153069P5
url http://hdl.handle.net/11449/191170
identifier_str_mv 000927636
33004153069P5
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
application/pdf
dc.publisher.none.fl_str_mv Universidade Estadual Paulista (Unesp)
publisher.none.fl_str_mv Universidade Estadual Paulista (Unesp)
dc.source.none.fl_str_mv reponame:Repositório Institucional da UNESP
instname:Universidade Estadual Paulista (UNESP)
instacron:UNESP
instname_str Universidade Estadual Paulista (UNESP)
instacron_str UNESP
institution UNESP
reponame_str Repositório Institucional da UNESP
collection Repositório Institucional da UNESP
repository.name.fl_str_mv Repositório Institucional da UNESP - Universidade Estadual Paulista (UNESP)
repository.mail.fl_str_mv repositoriounesp@unesp.br
_version_ 1834485891814391808