Avaliação automática da qualidade de recursos educacionais abertos usando métodos de Processamento de Línguas Naturais

• Ano de defesa: 2021
• Autor(a) principal: Gazzola, Murilo Gleyson
• Tipo de documento: Tese
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Biblioteca Digitais de Teses e Dissertações da USP
• Palavras-chave em Português: Complexidade Textual; Deep learning; Multi-task learning; Natural language processing; Processamento de língua natural; Readability
• Link de acesso: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-07042021-133413/

Contexto: A expansão do acesso à banda larga no mundo está abrindo novos caminhos para o ensino, os quais podemos destacar o ensino aberto. A UNESCO em seu relatório anual de 2016 destacou que existem fortes interesses em incentivar a utilização de recursos educacionais abertos (REA) no campo de aprendizagem. Porém, a falta de qualidade dos REA é um desafio a ser superado. Em uma recolha na Plataforma Integrada do Ministério da Educação (MEC-RED) de maio de 2018, 41% dos recursos não possuíam classificação da etapa de ensino, dificultando sua busca, uso e edição. A literatura mais recente em avaliação automática da complexidade textual traz três grandes abordagens para essa tarefa: (i) uso de técnicas estatísticas como a Análise de Componentes Principais e a Análise Fatorial para reduzir um grande número de métricas linguísticas em poucas dimensões explicativas da complexidade textual; (ii) a abordagem de aprendizado de máquina, via construção de classificadores ou regressores, muitas vezes com o uso de métodos de seleção de features ou com avaliação da contribuição de conjuntos de features para a tarefa; e (iii) a abordagem de Deep Learning, que usa arquiteturas neurais com diversas características para evitar o uso de engenharia de features. Lacunas: Na avaliação automática da complexidade textual, até onde sabemos, não há trabalhos que aplicaram a abordagem Multi-task Learning com o propósito de construir um preditor de complexidade textual, e na avaliação da qualidade de metadados de REA a abordagem Deep Learning não havia sido explorada antes desta pesquisa. Proposta: A tarefa Complexidade Textual pode ajudar a identificar textos que tem complexidade linguística adequada a séries específicas, permitindo completar a etapa de ensino na MEC-RED. Avaliamos o impacto do gênero textual na avaliação da complexidade textual, com modelos treinados em um grande córpus de textos didáticos e testados em 2 datasets de REA da MEC-RED. Para REA que não possuem material textual, como vídeos e áudios, propusemos a avaliação de sua qualidade via título e resumo. Métodos de Avaliação: Para a avaliação em geral, foram usadas métricas comuns da área de Processamento de Línguas Naturais (PLN). Resultados: Como resultados, propusemos dois métodos de classificação da qualidade dos metadados de REA, usando Deep Learning (DeepMD e DeepMDX); além de uma larga avaliação da complexidade textual de REA no Português Brasileiro. Nesta última, usamos várias abordagens, incluindo Multi-task Learning, que não havia sido testada anteriormente, em duas arquiteturas (MTC-DTG Simplex e MTC-DTG). O melhor resultado para a classificação da qualidade de metadados, utilizando um dataset com 1.179 título/resumo de REA, foi de 0.98% de medida F, tanto com o modelo DeepMD como com o DeepMDX. Na avaliação da complexidade textual, podemos destacar o desempenho do modelo multi-task learning com duas tarefas auxiliares (MTC-DTG) que obteve 0.95% de medida F, o que trouxe uma melhoria de 0.15 pontos no melhor modelo de aprendizado de máquina tradicional (SVM).