Análise automática de feedback em ambientes virtuais de aprendizagem

Detalhes bibliográficos
Ano de defesa: 2022
Autor(a) principal: CAVALCANTI, Anderson Pinheiro
Orientador(a): FREITAS, Frederico Luiz Gonçalves de
Banca de defesa: Não Informado pela instituição
Tipo de documento: Tese
Tipo de acesso: Acesso embargado
Idioma: por
Instituição de defesa: Universidade Federal de Pernambuco
Programa de Pós-Graduação: Programa de Pos Graduacao em Ciencia da Computacao
Departamento: Não Informado pela instituição
País: Brasil
Palavras-chave em Português:
Link de acesso: https://repositorio.ufpe.br/handle/123456789/49465
Resumo: O feedback é um componente muito importante no processo de ensino-aprendizagem, pois ajuda o aluno a identificar as lacunas e avaliar o seu progresso no aprendizado. Em cursos a distância o feedback se torna ainda mais importante, pois é um dos recursos mais utilizados na interação entre professor e aluno, já que ambos estão separados fisicamente. No entanto, devido ao crescimento significativo da quantidade de alunos em cursos a distância, é difícil para os instrutores fornecer um feedback de alta qualidade. Nesse contexto, este trabalho tem como objetivo propor uma abordagem para analisar automaticamente os feedbacks fornecidos por professores em cursos online. Para isso, foram utilizados recursos linguísticos para extrair as características dos textos e algoritmos de aprendizagem de máquina para classificação. O objetivo é que os modelos de aprendizagem de máquina aprendam os padrões de bons feedbacks textuais que foram apresentados durante o treinamento. Foram realizados experimentos com base em duas teorias educacionais de feedback propostas na literatura utilizando diferentes classificadores, entre eles, o Random Forest, AdaBoost, XGBoost e o BERT (Bidirectional Encoder Representations from Transformers). Além de verificar qual algoritmo obtém os melhores resultados, também propomos a análise de quais as características são mais relevantes para cada classificador usando a medida Mean Decrease Gini (MDG) e o método eXplainable Artificial Intelligence (XAI). Os experimentos seguiram uma sequência de análise de cada classificador, começando pelo Random Forest e com base nos resultados obtidos, outros classificadores eram analisados com o objetivo de melhorar a acurácia do modelo. Os resultados obtidos demostram uma boa acurácia e os modelos gerados podem ser utilizados integrados em sistemas educacionais para ajudar o professor a fornecer um bom feedback ao aluno, onde a ferramenta apresentará quais os níveis de feedback e boas práticas de feedback o texto do professor possui, e com base nessa informação ele irá ajustar o seu texto para conseguir atingir o maior número de boas práticas.
id UFPE_fa0707bd543d47e81f6584c3140315e4
oai_identifier_str oai:repositorio.ufpe.br:123456789/49465
network_acronym_str UFPE
network_name_str Repositório Institucional da UFPE
repository_id_str
spelling CAVALCANTI, Anderson Pinheirohttp://lattes.cnpq.br/3833454062140432http://lattes.cnpq.br/6195215666638965http://lattes.cnpq.br/6190254569597745FREITAS, Frederico Luiz Gonçalves deMELLO, Rafael Ferreira Leite de2023-03-23T17:06:55Z2023-03-23T17:06:55Z2022-12-14CAVALCANTI, Anderson Pinheiro. Análise automática de feedback em ambientes virtuais de aprendizagem. 2022. Tese (Doutorado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2022.https://repositorio.ufpe.br/handle/123456789/49465O feedback é um componente muito importante no processo de ensino-aprendizagem, pois ajuda o aluno a identificar as lacunas e avaliar o seu progresso no aprendizado. Em cursos a distância o feedback se torna ainda mais importante, pois é um dos recursos mais utilizados na interação entre professor e aluno, já que ambos estão separados fisicamente. No entanto, devido ao crescimento significativo da quantidade de alunos em cursos a distância, é difícil para os instrutores fornecer um feedback de alta qualidade. Nesse contexto, este trabalho tem como objetivo propor uma abordagem para analisar automaticamente os feedbacks fornecidos por professores em cursos online. Para isso, foram utilizados recursos linguísticos para extrair as características dos textos e algoritmos de aprendizagem de máquina para classificação. O objetivo é que os modelos de aprendizagem de máquina aprendam os padrões de bons feedbacks textuais que foram apresentados durante o treinamento. Foram realizados experimentos com base em duas teorias educacionais de feedback propostas na literatura utilizando diferentes classificadores, entre eles, o Random Forest, AdaBoost, XGBoost e o BERT (Bidirectional Encoder Representations from Transformers). Além de verificar qual algoritmo obtém os melhores resultados, também propomos a análise de quais as características são mais relevantes para cada classificador usando a medida Mean Decrease Gini (MDG) e o método eXplainable Artificial Intelligence (XAI). Os experimentos seguiram uma sequência de análise de cada classificador, começando pelo Random Forest e com base nos resultados obtidos, outros classificadores eram analisados com o objetivo de melhorar a acurácia do modelo. Os resultados obtidos demostram uma boa acurácia e os modelos gerados podem ser utilizados integrados em sistemas educacionais para ajudar o professor a fornecer um bom feedback ao aluno, onde a ferramenta apresentará quais os níveis de feedback e boas práticas de feedback o texto do professor possui, e com base nessa informação ele irá ajustar o seu texto para conseguir atingir o maior número de boas práticas.CAPESFeedback is a very important component in the teaching-learning process, as it helps students to identify gaps and assess their learning progress. In distance courses, feedback becomes even more important, as it is one of the most used resources in the interaction between teacher and student, since both are physically separated. However, due to the significant growth in the number of students in distance courses, it is difficult for instructors to provide high quality feedback. In this context, this work aims to propose an approach to automatically analyze the feedback provided by teachers in online courses. For this, linguistic resources were used to extract the characteristics of the texts and machine learning algorithms for classification. The goal is for the machine learning models to learn the good textual feedback patterns that were presented during training. Experiments were carried out based on two educational feedback theories proposed in the literature using different classifiers, including Random Forest, AdaBoost, XGBoost and BERT (Bidirectional Encoder Representations from Transformers). In addition to verifying which algorithm obtains the best results, we also propose the analysis of which features are most relevant for each classifier using the measure Mean Decrease Gini (MDG) and the method eXplainable Artificial Intelligence (XAI). The experiments followed a sequence of analysis of each classifier, starting with Random Forest and based on the results obtained, other classifiers were analyzed with the aim of improving the accuracy of the model. The results obtained demonstrate good accuracy and the generated models can be used integrated in educational systems to help the teacher to provide good feedback to the student, where the tool will present what levels of feedback and good feedback practices the teacher’s text has, and based on that information, he will adjust his text to achieve the highest number of good practices.porUniversidade Federal de PernambucoPrograma de Pos Graduacao em Ciencia da ComputacaoUFPEBrasilhttp://creativecommons.org/licenses/by-nc-nd/3.0/br/info:eu-repo/semantics/embargoedAccessInteligência computacionalAmbientes virtuais de aprendizagemAnálise automática de feedback em ambientes virtuais de aprendizageminfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisdoutoradoreponame:Repositório Institucional da UFPEinstname:Universidade Federal de Pernambuco (UFPE)instacron:UFPEORIGINALTESE Anderson Pinheiro Cavalcanti.pdfTESE Anderson Pinheiro Cavalcanti.pdfapplication/pdf2424335https://repositorio.ufpe.br/bitstream/123456789/49465/1/TESE%20Anderson%20Pinheiro%20Cavalcanti.pdfc0f86763054eb8b25c231e50cdbe463dMD51LICENSElicense.txtlicense.txttext/plain; charset=utf-82362https://repositorio.ufpe.br/bitstream/123456789/49465/3/license.txt5e89a1613ddc8510c6576f4b23a78973MD53CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8811https://repositorio.ufpe.br/bitstream/123456789/49465/2/license_rdfe39d27027a6cc9cb039ad269a5db8e34MD52TEXTTESE Anderson Pinheiro Cavalcanti.pdf.txtTESE Anderson Pinheiro Cavalcanti.pdf.txtExtracted texttext/plain388971https://repositorio.ufpe.br/bitstream/123456789/49465/4/TESE%20Anderson%20Pinheiro%20Cavalcanti.pdf.txtff27a635f5952a017b18e1283ac5ea32MD54THUMBNAILTESE Anderson Pinheiro Cavalcanti.pdf.jpgTESE Anderson Pinheiro Cavalcanti.pdf.jpgGenerated Thumbnailimage/jpeg1221https://repositorio.ufpe.br/bitstream/123456789/49465/5/TESE%20Anderson%20Pinheiro%20Cavalcanti.pdf.jpg48296a43f3c7e83fa9d27c55a7db676dMD55123456789/494652023-03-24 02:16:19.023oai:repositorio.ufpe.br:123456789/49465VGVybW8gZGUgRGVww7NzaXRvIExlZ2FsIGUgQXV0b3JpemHDp8OjbyBwYXJhIFB1YmxpY2l6YcOnw6NvIGRlIERvY3VtZW50b3Mgbm8gUmVwb3NpdMOzcmlvIERpZ2l0YWwgZGEgVUZQRQoKCkRlY2xhcm8gZXN0YXIgY2llbnRlIGRlIHF1ZSBlc3RlIFRlcm1vIGRlIERlcMOzc2l0byBMZWdhbCBlIEF1dG9yaXphw6fDo28gdGVtIG8gb2JqZXRpdm8gZGUgZGl2dWxnYcOnw6NvIGRvcyBkb2N1bWVudG9zIGRlcG9zaXRhZG9zIG5vIFJlcG9zaXTDs3JpbyBEaWdpdGFsIGRhIFVGUEUgZSBkZWNsYXJvIHF1ZToKCkkgLSBvcyBkYWRvcyBwcmVlbmNoaWRvcyBubyBmb3JtdWzDoXJpbyBkZSBkZXDDs3NpdG8gc8OjbyB2ZXJkYWRlaXJvcyBlIGF1dMOqbnRpY29zOwoKSUkgLSAgbyBjb250ZcO6ZG8gZGlzcG9uaWJpbGl6YWRvIMOpIGRlIHJlc3BvbnNhYmlsaWRhZGUgZGUgc3VhIGF1dG9yaWE7CgpJSUkgLSBvIGNvbnRlw7pkbyDDqSBvcmlnaW5hbCwgZSBzZSBvIHRyYWJhbGhvIGUvb3UgcGFsYXZyYXMgZGUgb3V0cmFzIHBlc3NvYXMgZm9yYW0gdXRpbGl6YWRvcywgZXN0YXMgZm9yYW0gZGV2aWRhbWVudGUgcmVjb25oZWNpZGFzOwoKSVYgLSBxdWFuZG8gdHJhdGFyLXNlIGRlIG9icmEgY29sZXRpdmEgKG1haXMgZGUgdW0gYXV0b3IpOiB0b2RvcyBvcyBhdXRvcmVzIGVzdMOjbyBjaWVudGVzIGRvIGRlcMOzc2l0byBlIGRlIGFjb3JkbyBjb20gZXN0ZSB0ZXJtbzsKClYgLSBxdWFuZG8gdHJhdGFyLXNlIGRlIFRyYWJhbGhvIGRlIENvbmNsdXPDo28gZGUgQ3Vyc28sIERpc3NlcnRhw6fDo28gb3UgVGVzZTogbyBhcnF1aXZvIGRlcG9zaXRhZG8gY29ycmVzcG9uZGUgw6AgdmVyc8OjbyBmaW5hbCBkbyB0cmFiYWxobzsKClZJIC0gcXVhbmRvIHRyYXRhci1zZSBkZSBUcmFiYWxobyBkZSBDb25jbHVzw6NvIGRlIEN1cnNvLCBEaXNzZXJ0YcOnw6NvIG91IFRlc2U6IGVzdG91IGNpZW50ZSBkZSBxdWUgYSBhbHRlcmHDp8OjbyBkYSBtb2RhbGlkYWRlIGRlIGFjZXNzbyBhbyBkb2N1bWVudG8gYXDDs3MgbyBkZXDDs3NpdG8gZSBhbnRlcyBkZSBmaW5kYXIgbyBwZXLDrW9kbyBkZSBlbWJhcmdvLCBxdWFuZG8gZm9yIGVzY29saGlkbyBhY2Vzc28gcmVzdHJpdG8sIHNlcsOhIHBlcm1pdGlkYSBtZWRpYW50ZSBzb2xpY2l0YcOnw6NvIGRvIChhKSBhdXRvciAoYSkgYW8gU2lzdGVtYSBJbnRlZ3JhZG8gZGUgQmlibGlvdGVjYXMgZGEgVUZQRSAoU0lCL1VGUEUpLgoKIApQYXJhIHRyYWJhbGhvcyBlbSBBY2Vzc28gQWJlcnRvOgoKTmEgcXVhbGlkYWRlIGRlIHRpdHVsYXIgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIGRlIGF1dG9yIHF1ZSByZWNhZW0gc29icmUgZXN0ZSBkb2N1bWVudG8sIGZ1bmRhbWVudGFkbyBuYSBMZWkgZGUgRGlyZWl0byBBdXRvcmFsIG5vIDkuNjEwLCBkZSAxOSBkZSBmZXZlcmVpcm8gZGUgMTk5OCwgYXJ0LiAyOSwgaW5jaXNvIElJSSwgYXV0b3Jpem8gYSBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBQZXJuYW1idWNvIGEgZGlzcG9uaWJpbGl6YXIgZ3JhdHVpdGFtZW50ZSwgc2VtIHJlc3NhcmNpbWVudG8gZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCBwYXJhIGZpbnMgZGUgbGVpdHVyYSwgaW1wcmVzc8OjbyBlL291IGRvd25sb2FkIChhcXVpc2nDp8OjbykgYXRyYXbDqXMgZG8gc2l0ZSBkbyBSZXBvc2l0w7NyaW8gRGlnaXRhbCBkYSBVRlBFIG5vIGVuZGVyZcOnbyBodHRwOi8vd3d3LnJlcG9zaXRvcmlvLnVmcGUuYnIsIGEgcGFydGlyIGRhIGRhdGEgZGUgZGVww7NzaXRvLgoKIApQYXJhIHRyYWJhbGhvcyBlbSBBY2Vzc28gUmVzdHJpdG86CgpOYSBxdWFsaWRhZGUgZGUgdGl0dWxhciBkb3MgZGlyZWl0b3MgYXV0b3JhaXMgZGUgYXV0b3IgcXVlIHJlY2FlbSBzb2JyZSBlc3RlIGRvY3VtZW50bywgZnVuZGFtZW50YWRvIG5hIExlaSBkZSBEaXJlaXRvIEF1dG9yYWwgbm8gOS42MTAgZGUgMTkgZGUgZmV2ZXJlaXJvIGRlIDE5OTgsIGFydC4gMjksIGluY2lzbyBJSUksIGF1dG9yaXpvIGEgVW5pdmVyc2lkYWRlIEZlZGVyYWwgZGUgUGVybmFtYnVjbyBhIGRpc3BvbmliaWxpemFyIGdyYXR1aXRhbWVudGUsIHNlbSByZXNzYXJjaW1lbnRvIGRvcyBkaXJlaXRvcyBhdXRvcmFpcywgcGFyYSBmaW5zIGRlIGxlaXR1cmEsIGltcHJlc3PDo28gZS9vdSBkb3dubG9hZCAoYXF1aXNpw6fDo28pIGF0cmF2w6lzIGRvIHNpdGUgZG8gUmVwb3NpdMOzcmlvIERpZ2l0YWwgZGEgVUZQRSBubyBlbmRlcmXDp28gaHR0cDovL3d3dy5yZXBvc2l0b3Jpby51ZnBlLmJyLCBxdWFuZG8gZmluZGFyIG8gcGVyw61vZG8gZGUgZW1iYXJnbyBjb25kaXplbnRlIGFvIHRpcG8gZGUgZG9jdW1lbnRvLCBjb25mb3JtZSBpbmRpY2FkbyBubyBjYW1wbyBEYXRhIGRlIEVtYmFyZ28uCg==Repositório InstitucionalPUBhttps://repositorio.ufpe.br/oai/requestattena@ufpe.bropendoar:22212023-03-24T05:16:19Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)false
dc.title.pt_BR.fl_str_mv Análise automática de feedback em ambientes virtuais de aprendizagem
title Análise automática de feedback em ambientes virtuais de aprendizagem
spellingShingle Análise automática de feedback em ambientes virtuais de aprendizagem
CAVALCANTI, Anderson Pinheiro
Inteligência computacional
Ambientes virtuais de aprendizagem
title_short Análise automática de feedback em ambientes virtuais de aprendizagem
title_full Análise automática de feedback em ambientes virtuais de aprendizagem
title_fullStr Análise automática de feedback em ambientes virtuais de aprendizagem
title_full_unstemmed Análise automática de feedback em ambientes virtuais de aprendizagem
title_sort Análise automática de feedback em ambientes virtuais de aprendizagem
author CAVALCANTI, Anderson Pinheiro
author_facet CAVALCANTI, Anderson Pinheiro
author_role author
dc.contributor.authorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/3833454062140432
dc.contributor.advisorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/6195215666638965
dc.contributor.advisor-coLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/6190254569597745
dc.contributor.author.fl_str_mv CAVALCANTI, Anderson Pinheiro
dc.contributor.advisor1.fl_str_mv FREITAS, Frederico Luiz Gonçalves de
dc.contributor.advisor-co1.fl_str_mv MELLO, Rafael Ferreira Leite de
contributor_str_mv FREITAS, Frederico Luiz Gonçalves de
MELLO, Rafael Ferreira Leite de
dc.subject.por.fl_str_mv Inteligência computacional
Ambientes virtuais de aprendizagem
topic Inteligência computacional
Ambientes virtuais de aprendizagem
description O feedback é um componente muito importante no processo de ensino-aprendizagem, pois ajuda o aluno a identificar as lacunas e avaliar o seu progresso no aprendizado. Em cursos a distância o feedback se torna ainda mais importante, pois é um dos recursos mais utilizados na interação entre professor e aluno, já que ambos estão separados fisicamente. No entanto, devido ao crescimento significativo da quantidade de alunos em cursos a distância, é difícil para os instrutores fornecer um feedback de alta qualidade. Nesse contexto, este trabalho tem como objetivo propor uma abordagem para analisar automaticamente os feedbacks fornecidos por professores em cursos online. Para isso, foram utilizados recursos linguísticos para extrair as características dos textos e algoritmos de aprendizagem de máquina para classificação. O objetivo é que os modelos de aprendizagem de máquina aprendam os padrões de bons feedbacks textuais que foram apresentados durante o treinamento. Foram realizados experimentos com base em duas teorias educacionais de feedback propostas na literatura utilizando diferentes classificadores, entre eles, o Random Forest, AdaBoost, XGBoost e o BERT (Bidirectional Encoder Representations from Transformers). Além de verificar qual algoritmo obtém os melhores resultados, também propomos a análise de quais as características são mais relevantes para cada classificador usando a medida Mean Decrease Gini (MDG) e o método eXplainable Artificial Intelligence (XAI). Os experimentos seguiram uma sequência de análise de cada classificador, começando pelo Random Forest e com base nos resultados obtidos, outros classificadores eram analisados com o objetivo de melhorar a acurácia do modelo. Os resultados obtidos demostram uma boa acurácia e os modelos gerados podem ser utilizados integrados em sistemas educacionais para ajudar o professor a fornecer um bom feedback ao aluno, onde a ferramenta apresentará quais os níveis de feedback e boas práticas de feedback o texto do professor possui, e com base nessa informação ele irá ajustar o seu texto para conseguir atingir o maior número de boas práticas.
publishDate 2022
dc.date.issued.fl_str_mv 2022-12-14
dc.date.accessioned.fl_str_mv 2023-03-23T17:06:55Z
dc.date.available.fl_str_mv 2023-03-23T17:06:55Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv CAVALCANTI, Anderson Pinheiro. Análise automática de feedback em ambientes virtuais de aprendizagem. 2022. Tese (Doutorado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2022.
dc.identifier.uri.fl_str_mv https://repositorio.ufpe.br/handle/123456789/49465
identifier_str_mv CAVALCANTI, Anderson Pinheiro. Análise automática de feedback em ambientes virtuais de aprendizagem. 2022. Tese (Doutorado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2022.
url https://repositorio.ufpe.br/handle/123456789/49465
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv http://creativecommons.org/licenses/by-nc-nd/3.0/br/
info:eu-repo/semantics/embargoedAccess
rights_invalid_str_mv http://creativecommons.org/licenses/by-nc-nd/3.0/br/
eu_rights_str_mv embargoedAccess
dc.publisher.none.fl_str_mv Universidade Federal de Pernambuco
dc.publisher.program.fl_str_mv Programa de Pos Graduacao em Ciencia da Computacao
dc.publisher.initials.fl_str_mv UFPE
dc.publisher.country.fl_str_mv Brasil
publisher.none.fl_str_mv Universidade Federal de Pernambuco
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFPE
instname:Universidade Federal de Pernambuco (UFPE)
instacron:UFPE
instname_str Universidade Federal de Pernambuco (UFPE)
instacron_str UFPE
institution UFPE
reponame_str Repositório Institucional da UFPE
collection Repositório Institucional da UFPE
bitstream.url.fl_str_mv https://repositorio.ufpe.br/bitstream/123456789/49465/1/TESE%20Anderson%20Pinheiro%20Cavalcanti.pdf
https://repositorio.ufpe.br/bitstream/123456789/49465/3/license.txt
https://repositorio.ufpe.br/bitstream/123456789/49465/2/license_rdf
https://repositorio.ufpe.br/bitstream/123456789/49465/4/TESE%20Anderson%20Pinheiro%20Cavalcanti.pdf.txt
https://repositorio.ufpe.br/bitstream/123456789/49465/5/TESE%20Anderson%20Pinheiro%20Cavalcanti.pdf.jpg
bitstream.checksum.fl_str_mv c0f86763054eb8b25c231e50cdbe463d
5e89a1613ddc8510c6576f4b23a78973
e39d27027a6cc9cb039ad269a5db8e34
ff27a635f5952a017b18e1283ac5ea32
48296a43f3c7e83fa9d27c55a7db676d
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)
repository.mail.fl_str_mv attena@ufpe.br
_version_ 1801858437217255424