Uso de um método preditivo para inferir a zona de aprendizagem de alunos de programação em um ambiente de correção automática de código

Detalhes bibliográficos
Ano de defesa: 2018
Autor(a) principal: Pereira, Filipe Dwan
Outros Autores: http://lattes.cnpq.br/1043535741108408
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Federal do Amazonas
Instituto de Computação
Brasil
UFAM
Programa de Pós-graduação em Informática
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Link de acesso: https://tede.ufam.edu.br/handle/tede/6425
Resumo: Em média, um terço dos alunos no mundo reprova em disciplinas de introdução à programação de computadores (IPC). Assim, muitos estudos vêm sendo conduzidos a fim de inferir o desempenho de estudantes de turmas de IPC. Inicialmente, pesquisadores investigavam a relação das notas dos alunos com fatores estáticos como: notas no ensino médio, gênero, idade e outros. Entretanto, o comportamento dos estudantes é dinâmico e, dessa forma, abordagens orientadas aos dados vêm ganhando atenção, uma vez que muitas universidades utilizam ambientes web para turmas de programação como juízes online. Com efeito, muitos pesquisadores vêm extraindo e tratando os dados dos estudantes a partir desses ambientes e usando-os como atributos de algoritmos de aprendizagem de máquina para a construção de modelos preditivos. No entanto, a comunidade científica sugere que tais estudos sejam reproduzidos a fim de investigar se eles são generalizáveis a outras bases de dados educacionais. Neste sentido, neste trabalho apresentou-se um método que emprega um conjunto de atributos correlacionados com as notas dos estudantes, sendo alguns baseados em trabalhos relacionados e outros propostos nesta pesquisa, a fim de realizar a predição do desempenho dos alunos nas avaliações intermediárias e nas médias finais. Tal método foi aplicado a uma base de dados com 486 alunos de IPC. O conjunto de atributos chamado de perfil de programação foi empregado em algoritmos de aprendizagem de máquina e otimizado utilizando duas abordagens: a) ajuste de hiperparâmetros com random search e b) construção do pipeline de aprendizagem de máquina utilizando algoritmos evolutivos. Como resultado, atingiu-se 74,44% de acurácia na tarefa de identificar se os alunos iriam ser reprovados ou aprovados usando os dados das duas semanas de aula em uma base de dados balanceada. Esse resultado foi estatisticamente superior ao baseline. Destaca-se ainda que a partir da oitava semana de aula, o método atingiu acurácias entre 85% e 90,62%.
id UFAM_f70e4eaeb8bce22932897daf29e56ff6
oai_identifier_str oai:https://tede.ufam.edu.br/handle/:tede/6425
network_acronym_str UFAM
network_name_str Biblioteca Digital de Teses e Dissertações da UFAM
repository_id_str
spelling Uso de um método preditivo para inferir a zona de aprendizagem de alunos de programação em um ambiente de correção automática de códigoAlunos de programaçãoAaprendizagem de máquinaData-driven - Métricas de softwareJuízes onlineLearning analyticsProgramming studentsMachine learningLearning analyticsGenetic programmingCIÊNCIAS EXATAS E DA TERRA: CIÊNCIA DA COMPUTAÇÃOEm média, um terço dos alunos no mundo reprova em disciplinas de introdução à programação de computadores (IPC). Assim, muitos estudos vêm sendo conduzidos a fim de inferir o desempenho de estudantes de turmas de IPC. Inicialmente, pesquisadores investigavam a relação das notas dos alunos com fatores estáticos como: notas no ensino médio, gênero, idade e outros. Entretanto, o comportamento dos estudantes é dinâmico e, dessa forma, abordagens orientadas aos dados vêm ganhando atenção, uma vez que muitas universidades utilizam ambientes web para turmas de programação como juízes online. Com efeito, muitos pesquisadores vêm extraindo e tratando os dados dos estudantes a partir desses ambientes e usando-os como atributos de algoritmos de aprendizagem de máquina para a construção de modelos preditivos. No entanto, a comunidade científica sugere que tais estudos sejam reproduzidos a fim de investigar se eles são generalizáveis a outras bases de dados educacionais. Neste sentido, neste trabalho apresentou-se um método que emprega um conjunto de atributos correlacionados com as notas dos estudantes, sendo alguns baseados em trabalhos relacionados e outros propostos nesta pesquisa, a fim de realizar a predição do desempenho dos alunos nas avaliações intermediárias e nas médias finais. Tal método foi aplicado a uma base de dados com 486 alunos de IPC. O conjunto de atributos chamado de perfil de programação foi empregado em algoritmos de aprendizagem de máquina e otimizado utilizando duas abordagens: a) ajuste de hiperparâmetros com random search e b) construção do pipeline de aprendizagem de máquina utilizando algoritmos evolutivos. Como resultado, atingiu-se 74,44% de acurácia na tarefa de identificar se os alunos iriam ser reprovados ou aprovados usando os dados das duas semanas de aula em uma base de dados balanceada. Esse resultado foi estatisticamente superior ao baseline. Destaca-se ainda que a partir da oitava semana de aula, o método atingiu acurácias entre 85% e 90,62%.CS1 (first year programming) classes are known to have a high dropout and non-pass rate. Thus, there have been many studies attempting to predict and alleviate CS1 student performance. Knowing about student performance in advance can be useful for many reasons. For example, teachers can apply specific actions to help learners who are struggling, as well as provide more challenging activities to high-achievers. Initial studies used static factors, such as: high school grades, age, gender. However, student behavior is dynamic and, as such, a data-driven approach has been gaining more attention, since many universities are using web-based environments to support CS1 classes. Thereby, many researchers have started extracting student behavior by cleaning data collected from these environments and using them as features in machine learning (ML) models. Recently, the research community has proposed many predictive methods available, even though many of these studies would need to be replicated, to check if they are context-sensitive. Thus, we have collected a set of successful features correlated with the student grade used in related studies, compiling the best ML attributes, as well as adding new features, and applying them on a database representing 486 CS1 students. The set of features was used in ML pipelines which were optimized with two approaches: hyperparameter-tuning with random search and genetic programming. As a result, we achieved an accuracy of 74.44%, using data from the first two weeks to predict student final grade, which outperforms a state-of-the-art research applied to the same dataset. It is also worth noting that from the eighth week of class, the method achieved accuracy between 85% and 90.62%.Universidade Federal do AmazonasInstituto de ComputaçãoBrasilUFAMPrograma de Pós-graduação em InformáticaOliveira, Elaine Harada Teixeira dehttp://lattes.cnpq.br/6553721651836761Cristo, Marco Antonio Pinheiro deIsotani, SeijiPereira, Filipe Dwanhttp://lattes.cnpq.br/10435357411084082018-06-04T13:02:58Z2018-03-29info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfPEREIRA, Filipe Dwan. Uso de um método preditivo para inferir a zona de aprendizagem de alunos de programação em um ambiente de correção automática de código. 2018. 118 f. Dissertação (Mestrado em Informática) - Universidade Federal do Amazonas, Manaus, 2018.https://tede.ufam.edu.br/handle/tede/6425porhttp://creativecommons.org/licenses/by-nc-nd/4.0/info:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da UFAMinstname:Universidade Federal do Amazonas (UFAM)instacron:UFAM2018-06-05T05:03:32Zoai:https://tede.ufam.edu.br/handle/:tede/6425Biblioteca Digital de Teses e Dissertaçõeshttp://200.129.163.131:8080/PUBhttp://200.129.163.131:8080/oai/requestddbc@ufam.edu.br||ddbc@ufam.edu.bropendoar:65922018-06-05T05:03:32Biblioteca Digital de Teses e Dissertações da UFAM - Universidade Federal do Amazonas (UFAM)false
dc.title.none.fl_str_mv Uso de um método preditivo para inferir a zona de aprendizagem de alunos de programação em um ambiente de correção automática de código
title Uso de um método preditivo para inferir a zona de aprendizagem de alunos de programação em um ambiente de correção automática de código
spellingShingle Uso de um método preditivo para inferir a zona de aprendizagem de alunos de programação em um ambiente de correção automática de código
Pereira, Filipe Dwan
Alunos de programação
Aaprendizagem de máquina
Data-driven - Métricas de software
Juízes online
Learning analytics
Programming students
Machine learning
Learning analytics
Genetic programming
CIÊNCIAS EXATAS E DA TERRA: CIÊNCIA DA COMPUTAÇÃO
title_short Uso de um método preditivo para inferir a zona de aprendizagem de alunos de programação em um ambiente de correção automática de código
title_full Uso de um método preditivo para inferir a zona de aprendizagem de alunos de programação em um ambiente de correção automática de código
title_fullStr Uso de um método preditivo para inferir a zona de aprendizagem de alunos de programação em um ambiente de correção automática de código
title_full_unstemmed Uso de um método preditivo para inferir a zona de aprendizagem de alunos de programação em um ambiente de correção automática de código
title_sort Uso de um método preditivo para inferir a zona de aprendizagem de alunos de programação em um ambiente de correção automática de código
author Pereira, Filipe Dwan
author_facet Pereira, Filipe Dwan
http://lattes.cnpq.br/1043535741108408
author_role author
author2 http://lattes.cnpq.br/1043535741108408
author2_role author
dc.contributor.none.fl_str_mv Oliveira, Elaine Harada Teixeira de
http://lattes.cnpq.br/6553721651836761
Cristo, Marco Antonio Pinheiro de
Isotani, Seiji
dc.contributor.author.fl_str_mv Pereira, Filipe Dwan
http://lattes.cnpq.br/1043535741108408
dc.subject.por.fl_str_mv Alunos de programação
Aaprendizagem de máquina
Data-driven - Métricas de software
Juízes online
Learning analytics
Programming students
Machine learning
Learning analytics
Genetic programming
CIÊNCIAS EXATAS E DA TERRA: CIÊNCIA DA COMPUTAÇÃO
topic Alunos de programação
Aaprendizagem de máquina
Data-driven - Métricas de software
Juízes online
Learning analytics
Programming students
Machine learning
Learning analytics
Genetic programming
CIÊNCIAS EXATAS E DA TERRA: CIÊNCIA DA COMPUTAÇÃO
description Em média, um terço dos alunos no mundo reprova em disciplinas de introdução à programação de computadores (IPC). Assim, muitos estudos vêm sendo conduzidos a fim de inferir o desempenho de estudantes de turmas de IPC. Inicialmente, pesquisadores investigavam a relação das notas dos alunos com fatores estáticos como: notas no ensino médio, gênero, idade e outros. Entretanto, o comportamento dos estudantes é dinâmico e, dessa forma, abordagens orientadas aos dados vêm ganhando atenção, uma vez que muitas universidades utilizam ambientes web para turmas de programação como juízes online. Com efeito, muitos pesquisadores vêm extraindo e tratando os dados dos estudantes a partir desses ambientes e usando-os como atributos de algoritmos de aprendizagem de máquina para a construção de modelos preditivos. No entanto, a comunidade científica sugere que tais estudos sejam reproduzidos a fim de investigar se eles são generalizáveis a outras bases de dados educacionais. Neste sentido, neste trabalho apresentou-se um método que emprega um conjunto de atributos correlacionados com as notas dos estudantes, sendo alguns baseados em trabalhos relacionados e outros propostos nesta pesquisa, a fim de realizar a predição do desempenho dos alunos nas avaliações intermediárias e nas médias finais. Tal método foi aplicado a uma base de dados com 486 alunos de IPC. O conjunto de atributos chamado de perfil de programação foi empregado em algoritmos de aprendizagem de máquina e otimizado utilizando duas abordagens: a) ajuste de hiperparâmetros com random search e b) construção do pipeline de aprendizagem de máquina utilizando algoritmos evolutivos. Como resultado, atingiu-se 74,44% de acurácia na tarefa de identificar se os alunos iriam ser reprovados ou aprovados usando os dados das duas semanas de aula em uma base de dados balanceada. Esse resultado foi estatisticamente superior ao baseline. Destaca-se ainda que a partir da oitava semana de aula, o método atingiu acurácias entre 85% e 90,62%.
publishDate 2018
dc.date.none.fl_str_mv 2018-06-04T13:02:58Z
2018-03-29
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv PEREIRA, Filipe Dwan. Uso de um método preditivo para inferir a zona de aprendizagem de alunos de programação em um ambiente de correção automática de código. 2018. 118 f. Dissertação (Mestrado em Informática) - Universidade Federal do Amazonas, Manaus, 2018.
https://tede.ufam.edu.br/handle/tede/6425
identifier_str_mv PEREIRA, Filipe Dwan. Uso de um método preditivo para inferir a zona de aprendizagem de alunos de programação em um ambiente de correção automática de código. 2018. 118 f. Dissertação (Mestrado em Informática) - Universidade Federal do Amazonas, Manaus, 2018.
url https://tede.ufam.edu.br/handle/tede/6425
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv http://creativecommons.org/licenses/by-nc-nd/4.0/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv http://creativecommons.org/licenses/by-nc-nd/4.0/
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Federal do Amazonas
Instituto de Computação
Brasil
UFAM
Programa de Pós-graduação em Informática
publisher.none.fl_str_mv Universidade Federal do Amazonas
Instituto de Computação
Brasil
UFAM
Programa de Pós-graduação em Informática
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da UFAM
instname:Universidade Federal do Amazonas (UFAM)
instacron:UFAM
instname_str Universidade Federal do Amazonas (UFAM)
instacron_str UFAM
institution UFAM
reponame_str Biblioteca Digital de Teses e Dissertações da UFAM
collection Biblioteca Digital de Teses e Dissertações da UFAM
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da UFAM - Universidade Federal do Amazonas (UFAM)
repository.mail.fl_str_mv ddbc@ufam.edu.br||ddbc@ufam.edu.br
_version_ 1851781287152451584