Análise de explicabilidade de modelos de classificação aplicados à evasão na educação a distância

• Ano de defesa: 2023
• Autor(a) principal: Costa, Herbert da Silva
• Orientador(a): Simões, Sérgio Nery
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Serra
• Palavras-chave em Português: AVA; EAD; Ensino a distância; Evasão escolar; Inteligência artificial; Mineração de dados; Aprendizado por computador
• Link de acesso: https://repositorio.ifes.edu.br/handle/123456789/3636

O grande desafio dos gestores de EaD no ensino superior é o combate à evasão, que segundo o SEMESP (2022), varia entre 28 e 48% na maior parte dos cursos, enquanto que no ensino presencial, esta mesma taxa fica em torno de 22% e permanece inalterada ao longo dos anos. Com o objetivo de reduzir o alto índice de evasão, métodos de mineração de dados educacionais (MDE) têm sido aplicados conjuntamente com modelos de predição automática, para auxiliar gestores de EaD na tomada de providências antes que o fato ocorra. As fontes de dados utilizadas para a MDE são, em primeiro lugar, o Ambiente Virtual de Aprendizagem, onde os dados de interações – histórico de todos os cliques e visualizações – dos alunos ficam registrados em logs. A segunda fonte, quando disponível, é a base de dados do ERP Educacional da Instituição de Ensino Superior que disponibiliza dados de natureza socioeconômica e acadêmica e podem ser integrados aos de interação, sempre com o objetivo de melhorar o resultado da mineração e consequentemente o desempenho do modelo preditivo. Contudo, um problema relevante é selecionar as melhores características (variáveis/atributos) para predição da evasão. Neste trabalho, criamos um processo, apoiado por um arcabouço computacional, que emprega métodos de aprendizado de máquina juntamente com métodos de explicabilidade (XAI-SHAP) para selecionar as características mais importantes associadas à evasão, tanto para construção de modelos com maior poder preditivo (explicabilidade global), quanto para um melhor entendimento do problema de EaD (explicabilidade global/local). Para avaliar a robustez dos resultados do processo proposto, foram utilizados os datasets das Instituições de Ensino (i) UPE, com um conjunto completo de variáveis que representam todas as interações dos alunos no Ambiente Virtual e (ii) UNIVALE, que por limitações impostas pelo uso de um sistema de conteúdos terceirizado, precisava de integração de dados socioeconômicos e acadêmicos. Foram realizados nas quatro primeiras fases do processo, o pré-processamento, a separação dos dados (em treinamento e teste) e aplicados os métodos de MDE comparando os resultados através da métrica f1-score. Em seguida, feita a análise de explicabilidade global para selecionar as características utilizadas para a construção de um modelo preditivo de classificação binária. Após a seleção das características, nos dados da UPE, o modelo proposto alcançou medianas de f1-score entre 0,97 a 0,99. Já nos dados da UNIVALE, após realizada a devida integração de dados, um modelo alcançou o resultado f1-score de 0,94 com o classificador LightBoost, sendo ambos os resultados compatíveis com o estado da arte. Na Fase 5 foi criada uma API, utilizada como prova de conceito para testar tanto o resultado das predições, quanto o retorno dos gráficos SHAP para análise de explicabilidade local deste resultado, o que permite aos profissionais de EaD ter o suporte necessário para a descoberta do conhecimento que existe em dados disponíveis nos Ambientes Virtuais e nos sistemas acadêmicos das Instituições de Ensino.