Medindo a dificuldade de instâncias para classificação em aprendizado de máquina

• Ano de defesa: 2023
• Autor(a) principal: Torquette, Gustavo Pinto [UNIFESP]
• Orientador(a): Lorena, Ana Carolina
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• dARK ID: ark:/48912/0013000020r63
• Idioma: por
• Instituição de defesa: Universidade Federal de São Paulo
• Palavras-chave em Português: meta-aprendizado; aprendizado de máquina; inteligência artificial; ciências de dados; dificuldade de instância; medidas de dificuldade
• Link de acesso: https://repositorio.unifesp.br/handle/11600/70583

A abordagem clássica para criar modelos de Aprendizado de Máquina para a solução de problemas de classificação é uma abordagem centrada nos modelos, na qual altera-se a técnica e seus hiperparâmetros para tentar melhorar o seu desempenho. No entanto, a qualidade dos dados é crucial para ajustar os melhores modelos e obter estimativas de desempenho mais precisas. Mas como podemos melhorar a qualidade dos dados? Primeiro, precisamos saber avaliar sua qualidade, pois sem medidas de avaliação não podemos comparar diferentes abordagens ou aprimorar resultados. Nesta dissertação, procuramos explorar meios de medir o nível de dificuldade em classificar cada observação de um conjunto de dados. A motivação é que instâncias difíceis de classificar podem ter problemas de qualidade que afetam o desempenho preditivo dos modelos de classificação. O objetivo da dissertação está em entender as propriedades dos dados que indicam quando técnicas de Aprendizado de Máquina devem obter sucesso ou falha; em que tipo de conjunto de dados uma medida de avaliação de dificuldade é mais recomendada em relação à outra; e também estudos de casos de como essas medidas podem ser utilizadas para auxílio prático dos cientistas de dados. Os resultados relataram que algumas medidas se mostraram eficazes para detectar os problemas propostos e que a aplicação prática empregada em conjuntos reais revelaram respostas coerentes, identificando instâncias que possivelmente merecem uma melhor inspeção sobre sua qualidade.