Aprendizado de máquina automatizado multiobjetivo para classificação multirrótulo

Detalhes bibliográficos
Ano de defesa: 2025
Autor(a) principal: Del Valle, Aline Marques
Orientador(a): Cerri, Ricardo lattes
Banca de defesa: Não Informado pela instituição
Tipo de documento: Tese
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Federal de São Carlos
Câmpus São Carlos
Programa de Pós-Graduação: Programa de Pós-Graduação em Ciência da Computação - PPGCC
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Palavras-chave em Inglês:
Área do conhecimento CNPq:
Link de acesso: https://hdl.handle.net/20.500.14289/23117
Resumo: Multi-label classification is a challenging problem, and its resolution involves choosing a classification algorithm and its respective hyperparameters. However, finding the best algorithm-hyperparameter combination is not a trivial task. In this context, Automated Machine Learning (AutoML) emerges as a solution, automating the selection of the best algorithm and its hyperparameter configuration for a machine learning problem. For multi-label classification problems, selection occurs in a hyperspace designed for this problem category. This thesis addresses AutoML and multi-label classification. Despite advances in the field, mainly related to constructing multi-label classifiers, some issues remain open. In this work, we investigate three of these areas. We investigate whether employing multi-objective optimization in AutoML strategies for multi-label classification is feasible and efficient. To address this research question, we proposed the EMANUEL strategy (gEnetic Multi-objective strategy for the Automatic selectioN of mUlti-labEl cLassifiers), an AutoML strategy developed with the NSGA-II algorithm to find classifiers that maximize the Macro F-score while minimizing the model size. Our results showed that multi-objective optimization can find a diversified Pareto frontier, with classifiers that weight different objectives and perform competitively with other classifiers. Furthermore, we study techniques that reduce AutoML runtime without compromising results. To this end, we employ meta-learning using surrogate models to evaluate multi-label classifier algorithms and estimate the objective values of optimization, avoiding direct evaluations during AutoML strategy execution. Including these surrogate models in new versions of the EMANUEL strategy maintained the predictive quality of the final models while reducing the total AutoML runtime. Finally, we investigated the effect of including feature selection in the EMANUEL strategy. To this end, we extend the hyperspace of classification algorithms by adding multi-label feature selection algorithms. The Pareto frontiers resulting from the new version of EMANUEL contained classifiers that maintained performance relative to the objectives, typically using fewer features.
id SCAR_2358ff2371c9e4a0f6d81261a28c7cc9
oai_identifier_str oai:repositorio.ufscar.br:20.500.14289/23117
network_acronym_str SCAR
network_name_str Repositório Institucional da UFSCAR
repository_id_str
spelling Del Valle, Aline MarquesCerri, Ricardohttp://lattes.cnpq.br/6266519868438512Mantovani, Rafael Gomeshttp://lattes.cnpq.br/3753471203485400http://lattes.cnpq.br/1961580945745420Camargo, Heloisa de ArrudaPrudêncio, Ricardo Bastos CavalcanteCarvalho, Andre Carlos Ponce de Leon Ferreira deLorena, Ana Carolinahttp://lattes.cnpq.br/0487231065057783http://lattes.cnpq.br/2984888073123287http://lattes.cnpq.br/9674541381385819http://lattes.cnpq.br/34516282626947472025-12-01T12:52:50Z2025-10-13DEL VALLE, Aline Marques. Aprendizado de máquina automatizado multiobjetivo para classificação multirrótulo. 2025. Tese (Doutorado em Ciência da Computação) – Universidade Federal de São Carlos, São Carlos, 2025. Disponível em: https://repositorio.ufscar.br/handle/20.500.14289/23117.https://hdl.handle.net/20.500.14289/23117Multi-label classification is a challenging problem, and its resolution involves choosing a classification algorithm and its respective hyperparameters. However, finding the best algorithm-hyperparameter combination is not a trivial task. In this context, Automated Machine Learning (AutoML) emerges as a solution, automating the selection of the best algorithm and its hyperparameter configuration for a machine learning problem. For multi-label classification problems, selection occurs in a hyperspace designed for this problem category. This thesis addresses AutoML and multi-label classification. Despite advances in the field, mainly related to constructing multi-label classifiers, some issues remain open. In this work, we investigate three of these areas. We investigate whether employing multi-objective optimization in AutoML strategies for multi-label classification is feasible and efficient. To address this research question, we proposed the EMANUEL strategy (gEnetic Multi-objective strategy for the Automatic selectioN of mUlti-labEl cLassifiers), an AutoML strategy developed with the NSGA-II algorithm to find classifiers that maximize the Macro F-score while minimizing the model size. Our results showed that multi-objective optimization can find a diversified Pareto frontier, with classifiers that weight different objectives and perform competitively with other classifiers. Furthermore, we study techniques that reduce AutoML runtime without compromising results. To this end, we employ meta-learning using surrogate models to evaluate multi-label classifier algorithms and estimate the objective values of optimization, avoiding direct evaluations during AutoML strategy execution. Including these surrogate models in new versions of the EMANUEL strategy maintained the predictive quality of the final models while reducing the total AutoML runtime. Finally, we investigated the effect of including feature selection in the EMANUEL strategy. To this end, we extend the hyperspace of classification algorithms by adding multi-label feature selection algorithms. The Pareto frontiers resulting from the new version of EMANUEL contained classifiers that maintained performance relative to the objectives, typically using fewer features.A classificação multirrótulo é um problema desafiador e sua resolução envolve a escolha de um algoritmo de classificação e seus respectivos hiperparâmetros. Contudo, encontrar a melhor combinação algoritmo-hiperparâmetros não é uma tarefa trivial. É nesse contexto que o Aprendizado de Máquina Automatizado (Automated Machine Learning - AutoML) surge como solução, automatizando a seleção do melhor algoritmo e sua configuração de hiperparâmetros para problemas de aprendizado de máquina. Esta tese aborda o AutoML e a classificação multirrótulo. Apesar dos recentes avanços na área, principalmente relacionados à construção de classificadores multirrótulo, alguns problemas permanecem em aberto. Neste trabalho, investigamos três desafios nessa área. Investigamos se é viável e eficiente empregar a otimização multiobjetivo em estratégias AutoML para classificação multirrótulo. Para tratar essa questão de pesquisa, propusemos a estratégia EMANUEL (gEnetic Multi-objective strategy for the Automatic selectioN of mUlti-labEl cLassifiers), uma estratégia AutoML desenvolvida com o algoritmo NSGA-II com o objetivo de encontrar classificadores que maximizam o Macro F-score enquanto minimizam o tamanho dos modelos. Nossos resultados mostraram que a otimização multiobjetivo pode encontrar uma fronteira de Pareto diversificada, com classificadores que ponderam os diferentes objetivos e que apresentam desempenho competitivo em relação a outros classificadores. Além disso, estudamos técnicas que reduzem o tempo de execução do AutoML sem comprometer os resultados. Para isso, empregamos meta-aprendizado por meio de modelos substitutos para avaliar algoritmos de classificação multirrótulo e estimar os valores dos objetivos da otimização, evitando avaliações diretas durante a execução da estratégia AutoML. A inclusão desses modelos substitutos em novas versões da estratégia EMANUEL manteve a qualidade preditiva dos modelos finais, enquanto reduziu o tempo total de execução do AutoML. Por fim, investigamos o efeito da inclusão da seleção de atributos na estratégia EMANUEL. Para tanto, estendemos o hiperespaço de algoritmos de classificação, adicionando algoritmos de seleção de atributos multirrótulo. As fronteiras de Pareto resultantes da nova versão de EMANUEL continham classificadores que mantiveram o desempenho em relação aos objetivos, normalmente utilizando um número menor de atributos.Não recebi financiamentoporUniversidade Federal de São CarlosCâmpus São CarlosPrograma de Pós-Graduação em Ciência da Computação - PPGCCUFSCarhttps://dl.acm.org/doi/10.1007/978-3-031-45389-2_20https://www.springerprofessional.de/en/a-systematic-literature-review-on-automl-for-multi-target-learni/25910732Attribution-NonCommercial-ShareAlike 3.0 Brazilhttp://creativecommons.org/licenses/by-nc-sa/3.0/br/info:eu-repo/semantics/openAccessAutomated machine learningMulti-label classificationMultiobjective optimizationMeta-learningFeature selectionCIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO8. Trabalho Decente e Crescimento EconômicoAprendizado de máquina automatizadoClassificação multirrótuloOtimização multiobjetivoMeta-aprendizadoSeleção de atributosAprendizado de máquina automatizado multiobjetivo para classificação multirrótuloAutomated machine learning multi-objective for multi-label classificationinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisreponame:Repositório Institucional da UFSCARinstname:Universidade Federal de São Carlos (UFSCAR)instacron:UFSCARORIGINALtese_aline_del_valle_2025.pdftese_aline_del_valle_2025.pdfapplication/pdf2186165https://repositorio.ufscar.br/bitstreams/8440c674-cc9b-4b86-bbab-9661ddfe634e/download90b965c06963871a19661efea88de63bMD51trueAnonymousREADCC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-81167https://repositorio.ufscar.br/bitstreams/950f065d-a9b9-46de-bf84-2c7758ac02ba/downloaddcb5d775186468eac043bfcac8407c86MD52falseAnonymousREADTEXTtese_aline_del_valle_2025.pdf.txttese_aline_del_valle_2025.pdf.txtExtracted texttext/plain102973https://repositorio.ufscar.br/bitstreams/37fa36f2-9abf-4985-a255-fb928d6ccabd/downloadb926833cd966e5d9475a054b092f6d0dMD53falseAnonymousREADTHUMBNAILtese_aline_del_valle_2025.pdf.jpgtese_aline_del_valle_2025.pdf.jpgGenerated Thumbnailimage/jpeg3967https://repositorio.ufscar.br/bitstreams/7f5e2cf9-1fb0-4724-bc46-245197165796/download2e242ea8228e8c7211af4a562c4aa0e6MD54falseAnonymousREAD20.500.14289/231172025-12-02T03:08:52.731062Zhttp://creativecommons.org/licenses/by-nc-sa/3.0/br/Attribution-NonCommercial-ShareAlike 3.0 Brazilopen.accessoai:repositorio.ufscar.br:20.500.14289/23117https://repositorio.ufscar.brRepositório InstitucionalPUBhttps://repositorio.ufscar.br/oai/requestrepositorio.sibi@ufscar.bropendoar:43222025-12-02T03:08:52Repositório Institucional da UFSCAR - Universidade Federal de São Carlos (UFSCAR)false
dc.title.none.fl_str_mv Aprendizado de máquina automatizado multiobjetivo para classificação multirrótulo
dc.title.alternative.eng.fl_str_mv Automated machine learning multi-objective for multi-label classification
title Aprendizado de máquina automatizado multiobjetivo para classificação multirrótulo
spellingShingle Aprendizado de máquina automatizado multiobjetivo para classificação multirrótulo
Del Valle, Aline Marques
Automated machine learning
Multi-label classification
Multiobjective optimization
Meta-learning
Feature selection
CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Aprendizado de máquina automatizado
Classificação multirrótulo
Otimização multiobjetivo
Meta-aprendizado
Seleção de atributos
8. Trabalho Decente e Crescimento Econômico
title_short Aprendizado de máquina automatizado multiobjetivo para classificação multirrótulo
title_full Aprendizado de máquina automatizado multiobjetivo para classificação multirrótulo
title_fullStr Aprendizado de máquina automatizado multiobjetivo para classificação multirrótulo
title_full_unstemmed Aprendizado de máquina automatizado multiobjetivo para classificação multirrótulo
title_sort Aprendizado de máquina automatizado multiobjetivo para classificação multirrótulo
author Del Valle, Aline Marques
author_facet Del Valle, Aline Marques
author_role author
dc.contributor.authorlattes.none.fl_str_mv http://lattes.cnpq.br/1961580945745420
dc.contributor.referee.none.fl_str_mv Camargo, Heloisa de Arruda
Prudêncio, Ricardo Bastos Cavalcante
Carvalho, Andre Carlos Ponce de Leon Ferreira de
Lorena, Ana Carolina
dc.contributor.refereeLattes.none.fl_str_mv http://lattes.cnpq.br/0487231065057783
http://lattes.cnpq.br/2984888073123287
http://lattes.cnpq.br/9674541381385819
http://lattes.cnpq.br/3451628262694747
dc.contributor.author.fl_str_mv Del Valle, Aline Marques
dc.contributor.advisor1.fl_str_mv Cerri, Ricardo
dc.contributor.advisor1Lattes.fl_str_mv http://lattes.cnpq.br/6266519868438512
dc.contributor.advisor-co1.fl_str_mv Mantovani, Rafael Gomes
dc.contributor.advisor-co1Lattes.fl_str_mv http://lattes.cnpq.br/3753471203485400
contributor_str_mv Cerri, Ricardo
Mantovani, Rafael Gomes
dc.subject.eng.fl_str_mv Automated machine learning
Multi-label classification
Multiobjective optimization
Meta-learning
Feature selection
topic Automated machine learning
Multi-label classification
Multiobjective optimization
Meta-learning
Feature selection
CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Aprendizado de máquina automatizado
Classificação multirrótulo
Otimização multiobjetivo
Meta-aprendizado
Seleção de atributos
8. Trabalho Decente e Crescimento Econômico
dc.subject.cnpq.fl_str_mv CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
dc.subject.por.fl_str_mv Aprendizado de máquina automatizado
Classificação multirrótulo
Otimização multiobjetivo
Meta-aprendizado
Seleção de atributos
dc.subject.ods.none.fl_str_mv 8. Trabalho Decente e Crescimento Econômico
description Multi-label classification is a challenging problem, and its resolution involves choosing a classification algorithm and its respective hyperparameters. However, finding the best algorithm-hyperparameter combination is not a trivial task. In this context, Automated Machine Learning (AutoML) emerges as a solution, automating the selection of the best algorithm and its hyperparameter configuration for a machine learning problem. For multi-label classification problems, selection occurs in a hyperspace designed for this problem category. This thesis addresses AutoML and multi-label classification. Despite advances in the field, mainly related to constructing multi-label classifiers, some issues remain open. In this work, we investigate three of these areas. We investigate whether employing multi-objective optimization in AutoML strategies for multi-label classification is feasible and efficient. To address this research question, we proposed the EMANUEL strategy (gEnetic Multi-objective strategy for the Automatic selectioN of mUlti-labEl cLassifiers), an AutoML strategy developed with the NSGA-II algorithm to find classifiers that maximize the Macro F-score while minimizing the model size. Our results showed that multi-objective optimization can find a diversified Pareto frontier, with classifiers that weight different objectives and perform competitively with other classifiers. Furthermore, we study techniques that reduce AutoML runtime without compromising results. To this end, we employ meta-learning using surrogate models to evaluate multi-label classifier algorithms and estimate the objective values of optimization, avoiding direct evaluations during AutoML strategy execution. Including these surrogate models in new versions of the EMANUEL strategy maintained the predictive quality of the final models while reducing the total AutoML runtime. Finally, we investigated the effect of including feature selection in the EMANUEL strategy. To this end, we extend the hyperspace of classification algorithms by adding multi-label feature selection algorithms. The Pareto frontiers resulting from the new version of EMANUEL contained classifiers that maintained performance relative to the objectives, typically using fewer features.
publishDate 2025
dc.date.accessioned.fl_str_mv 2025-12-01T12:52:50Z
dc.date.issued.fl_str_mv 2025-10-13
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv DEL VALLE, Aline Marques. Aprendizado de máquina automatizado multiobjetivo para classificação multirrótulo. 2025. Tese (Doutorado em Ciência da Computação) – Universidade Federal de São Carlos, São Carlos, 2025. Disponível em: https://repositorio.ufscar.br/handle/20.500.14289/23117.
dc.identifier.uri.fl_str_mv https://hdl.handle.net/20.500.14289/23117
identifier_str_mv DEL VALLE, Aline Marques. Aprendizado de máquina automatizado multiobjetivo para classificação multirrótulo. 2025. Tese (Doutorado em Ciência da Computação) – Universidade Federal de São Carlos, São Carlos, 2025. Disponível em: https://repositorio.ufscar.br/handle/20.500.14289/23117.
url https://hdl.handle.net/20.500.14289/23117
dc.language.iso.fl_str_mv por
language por
dc.relation.uri.none.fl_str_mv https://dl.acm.org/doi/10.1007/978-3-031-45389-2_20
https://www.springerprofessional.de/en/a-systematic-literature-review-on-automl-for-multi-target-learni/25910732
dc.rights.driver.fl_str_mv Attribution-NonCommercial-ShareAlike 3.0 Brazil
http://creativecommons.org/licenses/by-nc-sa/3.0/br/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Attribution-NonCommercial-ShareAlike 3.0 Brazil
http://creativecommons.org/licenses/by-nc-sa/3.0/br/
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de São Carlos
Câmpus São Carlos
dc.publisher.program.fl_str_mv Programa de Pós-Graduação em Ciência da Computação - PPGCC
dc.publisher.initials.fl_str_mv UFSCar
publisher.none.fl_str_mv Universidade Federal de São Carlos
Câmpus São Carlos
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFSCAR
instname:Universidade Federal de São Carlos (UFSCAR)
instacron:UFSCAR
instname_str Universidade Federal de São Carlos (UFSCAR)
instacron_str UFSCAR
institution UFSCAR
reponame_str Repositório Institucional da UFSCAR
collection Repositório Institucional da UFSCAR
bitstream.url.fl_str_mv https://repositorio.ufscar.br/bitstreams/8440c674-cc9b-4b86-bbab-9661ddfe634e/download
https://repositorio.ufscar.br/bitstreams/950f065d-a9b9-46de-bf84-2c7758ac02ba/download
https://repositorio.ufscar.br/bitstreams/37fa36f2-9abf-4985-a255-fb928d6ccabd/download
https://repositorio.ufscar.br/bitstreams/7f5e2cf9-1fb0-4724-bc46-245197165796/download
bitstream.checksum.fl_str_mv 90b965c06963871a19661efea88de63b
dcb5d775186468eac043bfcac8407c86
b926833cd966e5d9475a054b092f6d0d
2e242ea8228e8c7211af4a562c4aa0e6
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFSCAR - Universidade Federal de São Carlos (UFSCAR)
repository.mail.fl_str_mv repositorio.sibi@ufscar.br
_version_ 1851688910945517568