Evolutionary algorithms for learning ensembles of interpretable classifiers

Detalhes bibliográficos
Ano de defesa: 2022
Autor(a) principal: Cagnini, Henry Emanuel Leal lattes
Orientador(a): Barros, Rodrigo Coelho lattes
Banca de defesa: Não Informado pela instituição
Tipo de documento: Tese
Tipo de acesso: Acesso aberto
Idioma: eng
Instituição de defesa: Pontif?cia Universidade Cat?lica do Rio Grande do Sul
Programa de Pós-Graduação: Programa de P?s-Gradua??o em Ci?ncia da Computa??o
Departamento: Escola Polit?cnica
País: Brasil
Palavras-chave em Português:
Palavras-chave em Inglês:
Área do conhecimento CNPq:
Link de acesso: https://tede2.pucrs.br/tede2/handle/tede/10197
Resumo: Classifica??o ? a tarefa de Aprendizado de M?quina que visa categorizar inst?ncias em classes. Existem diversos algoritmos na literatura que realizam classifica??o, com diferentes graus de sucesso. Nos ?ltimos anos, o desempenho preditivo foi o objetivo priorizado entre praticantes de Aprendizado de M?quina e a comunidade acad?mica. Todavia, mais recentemente, interpretabilidade tem ganhado cada vez mais aten??o. Uma ?rea de aprendizado de m?quina que pode se beneficiar de um ganho em interpretabilidade ? a de ensemble learning. Ensemble learning visa reunir modelos que, quando agrupados em comit?s, podem fornecer alto grau de desempenho preditivo, mesmo que os classificadores que fa?am parte do grupo n?o sejam (em m?dia) muito melhores que preditores aleat?rios. Doravante, os benef?cios s?o duplos: ensembles podem melhorar o desempenho preditivo de modelos interpret?veis caixa branca (que s?o, em m?dia, piores que modelos caixa preta); e o uso de modelos caixa-branca aumenta a interpretabilidade de ensembles. Nesta tese, atrav?s do projeto de algoritmos evolutivos, uma poderosa classe de algoritmos de soft computing, desenvolvemos dois m?todos para aprendizado de ensembles interpret?veis: EDNEL e PUMA. Enquanto os dois m?todos s?o semelhantes, a diferen?a entre eles ainda assim ? significativa: PUMA aprende ensembles de classificadores sem levar a intera??o entre vari?veis em considera??o, enquanto EDNEL calcula a correla??o das vari?veis. Todavia, nos experimentos que conduzimos para avaliar o desempenho dos m?todos, detectamos que a abordagem mais simples de PUMA gerou ensembles com melhor desempenho preditivo em m?dia do que EDNEL, enquanto aquele ? estatisticamente equivalente ? dois bem-estabelecidos m?todos de aprendizado de ensembles, Adaboost e Random Forests.
id P_RS_f4744b8ba706fdfa9998e830313a9c6c
oai_identifier_str oai:tede2.pucrs.br:tede/10197
network_acronym_str P_RS
network_name_str Biblioteca Digital de Teses e Dissertações da PUC_RS
repository_id_str
spelling Barros, Rodrigo Coelhohttp://lattes.cnpq.br/8172124241767828Freitas, Alex Alveshttp://lattes.cnpq.br/8252875697920736http://lattes.cnpq.br/6346810782525797Cagnini, Henry Emanuel Leal2022-05-09T13:35:11Z2022-03-22https://tede2.pucrs.br/tede2/handle/tede/10197Classifica??o ? a tarefa de Aprendizado de M?quina que visa categorizar inst?ncias em classes. Existem diversos algoritmos na literatura que realizam classifica??o, com diferentes graus de sucesso. Nos ?ltimos anos, o desempenho preditivo foi o objetivo priorizado entre praticantes de Aprendizado de M?quina e a comunidade acad?mica. Todavia, mais recentemente, interpretabilidade tem ganhado cada vez mais aten??o. Uma ?rea de aprendizado de m?quina que pode se beneficiar de um ganho em interpretabilidade ? a de ensemble learning. Ensemble learning visa reunir modelos que, quando agrupados em comit?s, podem fornecer alto grau de desempenho preditivo, mesmo que os classificadores que fa?am parte do grupo n?o sejam (em m?dia) muito melhores que preditores aleat?rios. Doravante, os benef?cios s?o duplos: ensembles podem melhorar o desempenho preditivo de modelos interpret?veis caixa branca (que s?o, em m?dia, piores que modelos caixa preta); e o uso de modelos caixa-branca aumenta a interpretabilidade de ensembles. Nesta tese, atrav?s do projeto de algoritmos evolutivos, uma poderosa classe de algoritmos de soft computing, desenvolvemos dois m?todos para aprendizado de ensembles interpret?veis: EDNEL e PUMA. Enquanto os dois m?todos s?o semelhantes, a diferen?a entre eles ainda assim ? significativa: PUMA aprende ensembles de classificadores sem levar a intera??o entre vari?veis em considera??o, enquanto EDNEL calcula a correla??o das vari?veis. Todavia, nos experimentos que conduzimos para avaliar o desempenho dos m?todos, detectamos que a abordagem mais simples de PUMA gerou ensembles com melhor desempenho preditivo em m?dia do que EDNEL, enquanto aquele ? estatisticamente equivalente ? dois bem-estabelecidos m?todos de aprendizado de ensembles, Adaboost e Random Forests.Classification is the machine learning task of categorizing instances into classes. There are several algorithms in the literature that perform classification, with varying degrees of success. For the most part, predictive performance was the pursued objective among practitioners and the academic community regarding the design of novel classification algorithms. More recently, however, interpretability has been gaining more and more attention. One area of machine learning that can benefit from increased interpretability is that of ensemble learning. Ensemble learning aims to reunite models that, when ensembled, can provide a high degree of predictive performance, even though the individual classifiers of the ensemble are often not much better at predicting classes than random guessing. Hence, the benefits are twofold: ensembles can improve predictive performance of interpretable (white-box) models that perform, on average, worse than black-box models; and the use of white-box models improves the interpretability of ensembles. In this thesis, we design two evolutionary algorithms (a powerful soft computing technique) to develop two ensemble learning methods, EDNEL and PUMA. PUMA learns ensembles of classifiers in a univariate strategy, assuming independence among variables, while EDNEL takes into account variable dependence through correlation analysis. However, in the thorough experimental analysis performed, we found that PUMA performs better than EDNEL with regards to average rank, whilst it is statistically equivalent to two well-established ensemble learning algorithms, Adaboost and Random Forests.Submitted by PPG Ci?ncia da Computa??o (ppgcc@pucrs.br) on 2022-05-04T13:22:54Z No. of bitstreams: 1 HENRY_EMANUEL_LEAL_CAGNINI_TES.pdf: 2051967 bytes, checksum: de66c40667e872d70bfe4efdbf938495 (MD5)Approved for entry into archive by Sheila Dias (sheila.dias@pucrs.br) on 2022-05-09T13:19:36Z (GMT) No. of bitstreams: 1 HENRY_EMANUEL_LEAL_CAGNINI_TES.pdf: 2051967 bytes, checksum: de66c40667e872d70bfe4efdbf938495 (MD5)Made available in DSpace on 2022-05-09T13:35:11Z (GMT). No. of bitstreams: 1 HENRY_EMANUEL_LEAL_CAGNINI_TES.pdf: 2051967 bytes, checksum: de66c40667e872d70bfe4efdbf938495 (MD5) Previous issue date: 2022-03-22Coordena??o de Aperfei?oamento de Pessoal de N?vel Superior - CAPESapplication/pdfhttps://tede2.pucrs.br/tede2/retrieve/183927/HENRY_EMANUEL_LEAL_CAGNINI_TES.pdf.jpgengPontif?cia Universidade Cat?lica do Rio Grande do SulPrograma de P?s-Gradua??o em Ci?ncia da Computa??oPUCRSBrasilEscola Polit?cnicaEvolutionary AlgorithmsEnsemble LearningMachine LearningInterpretabilityClassificationSupervised LearningRegressionAlgoritmos EvolutivosAprendizado de M?quinaInterpretabilidadeClassifica??oAprendizado SupervisionadoRegress?oCIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAOEvolutionary algorithms for learning ensembles of interpretable classifiersinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisTrabalho n?o apresenta restri??o para publica??o-4570527706994352458500500600-8620782570833253013590462550136975366info:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da PUC_RSinstname:Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS)instacron:PUC_RSTHUMBNAILHENRY_EMANUEL_LEAL_CAGNINI_TES.pdf.jpgHENRY_EMANUEL_LEAL_CAGNINI_TES.pdf.jpgimage/jpeg5153https://tede2.pucrs.br/tede2/bitstream/tede/10197/4/HENRY_EMANUEL_LEAL_CAGNINI_TES.pdf.jpga8b1a42a234539cc46916f54f79f7761MD54TEXTHENRY_EMANUEL_LEAL_CAGNINI_TES.pdf.txtHENRY_EMANUEL_LEAL_CAGNINI_TES.pdf.txttext/plain422505https://tede2.pucrs.br/tede2/bitstream/tede/10197/3/HENRY_EMANUEL_LEAL_CAGNINI_TES.pdf.txtcb2a7cb04918cbc0e9aecd5442431899MD53ORIGINALHENRY_EMANUEL_LEAL_CAGNINI_TES.pdfHENRY_EMANUEL_LEAL_CAGNINI_TES.pdfapplication/pdf2051967https://tede2.pucrs.br/tede2/bitstream/tede/10197/2/HENRY_EMANUEL_LEAL_CAGNINI_TES.pdfde66c40667e872d70bfe4efdbf938495MD52LICENSElicense.txtlicense.txttext/plain; charset=utf-8590https://tede2.pucrs.br/tede2/bitstream/tede/10197/1/license.txt220e11f2d3ba5354f917c7035aadef24MD51tede/101972022-05-09 12:00:19.243oai:tede2.pucrs.br:tede/10197QXV0b3JpemE/P28gcGFyYSBQdWJsaWNhPz9vIEVsZXRyP25pY2E6IENvbSBiYXNlIG5vIGRpc3Bvc3RvIG5hIExlaSBGZWRlcmFsIG4/OS42MTAsIGRlIDE5IGRlIGZldmVyZWlybyBkZSAxOTk4LCBvIGF1dG9yIEFVVE9SSVpBIGEgcHVibGljYT8/byBlbGV0cj9uaWNhIGRhIHByZXNlbnRlIG9icmEgbm8gYWNlcnZvIGRhIEJpYmxpb3RlY2EgRGlnaXRhbCBkYSBQb250aWY/Y2lhIFVuaXZlcnNpZGFkZSBDYXQ/bGljYSBkbyBSaW8gR3JhbmRlIGRvIFN1bCwgc2VkaWFkYSBhIEF2LiBJcGlyYW5nYSA2NjgxLCBQb3J0byBBbGVncmUsIFJpbyBHcmFuZGUgZG8gU3VsLCBjb20gcmVnaXN0cm8gZGUgQ05QSiA4ODYzMDQxMzAwMDItODEgYmVtIGNvbW8gZW0gb3V0cmFzIGJpYmxpb3RlY2FzIGRpZ2l0YWlzLCBuYWNpb25haXMgZSBpbnRlcm5hY2lvbmFpcywgY29ucz9yY2lvcyBlIHJlZGVzID9zIHF1YWlzIGEgYmlibGlvdGVjYSBkYSBQVUNSUyBwb3NzYSBhIHZpciBwYXJ0aWNpcGFyLCBzZW0gP251cyBhbHVzaXZvIGFvcyBkaXJlaXRvcyBhdXRvcmFpcywgYSB0P3R1bG8gZGUgZGl2dWxnYT8/byBkYSBwcm9kdT8/byBjaWVudD9maWNhLgo=Biblioteca Digital de Teses e Dissertaçõeshttp://tede2.pucrs.br/tede2/PRIhttps://tede2.pucrs.br/oai/requestbiblioteca.central@pucrs.br||opendoar:2022-05-09T15:00:19Biblioteca Digital de Teses e Dissertações da PUC_RS - Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS)false
dc.title.por.fl_str_mv Evolutionary algorithms for learning ensembles of interpretable classifiers
title Evolutionary algorithms for learning ensembles of interpretable classifiers
spellingShingle Evolutionary algorithms for learning ensembles of interpretable classifiers
Cagnini, Henry Emanuel Leal
Evolutionary Algorithms
Ensemble Learning
Machine Learning
Interpretability
Classification
Supervised Learning
Regression
Algoritmos Evolutivos
Aprendizado de M?quina
Interpretabilidade
Classifica??o
Aprendizado Supervisionado
Regress?o
CIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAO
title_short Evolutionary algorithms for learning ensembles of interpretable classifiers
title_full Evolutionary algorithms for learning ensembles of interpretable classifiers
title_fullStr Evolutionary algorithms for learning ensembles of interpretable classifiers
title_full_unstemmed Evolutionary algorithms for learning ensembles of interpretable classifiers
title_sort Evolutionary algorithms for learning ensembles of interpretable classifiers
author Cagnini, Henry Emanuel Leal
author_facet Cagnini, Henry Emanuel Leal
author_role author
dc.contributor.advisor1.fl_str_mv Barros, Rodrigo Coelho
dc.contributor.advisor1Lattes.fl_str_mv http://lattes.cnpq.br/8172124241767828
dc.contributor.advisor-co1.fl_str_mv Freitas, Alex Alves
dc.contributor.advisor-co1Lattes.fl_str_mv http://lattes.cnpq.br/8252875697920736
dc.contributor.authorLattes.fl_str_mv http://lattes.cnpq.br/6346810782525797
dc.contributor.author.fl_str_mv Cagnini, Henry Emanuel Leal
contributor_str_mv Barros, Rodrigo Coelho
Freitas, Alex Alves
dc.subject.eng.fl_str_mv Evolutionary Algorithms
Ensemble Learning
Machine Learning
Interpretability
Classification
Supervised Learning
Regression
topic Evolutionary Algorithms
Ensemble Learning
Machine Learning
Interpretability
Classification
Supervised Learning
Regression
Algoritmos Evolutivos
Aprendizado de M?quina
Interpretabilidade
Classifica??o
Aprendizado Supervisionado
Regress?o
CIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAO
dc.subject.por.fl_str_mv Algoritmos Evolutivos
Aprendizado de M?quina
Interpretabilidade
Classifica??o
Aprendizado Supervisionado
Regress?o
dc.subject.cnpq.fl_str_mv CIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAO
description Classifica??o ? a tarefa de Aprendizado de M?quina que visa categorizar inst?ncias em classes. Existem diversos algoritmos na literatura que realizam classifica??o, com diferentes graus de sucesso. Nos ?ltimos anos, o desempenho preditivo foi o objetivo priorizado entre praticantes de Aprendizado de M?quina e a comunidade acad?mica. Todavia, mais recentemente, interpretabilidade tem ganhado cada vez mais aten??o. Uma ?rea de aprendizado de m?quina que pode se beneficiar de um ganho em interpretabilidade ? a de ensemble learning. Ensemble learning visa reunir modelos que, quando agrupados em comit?s, podem fornecer alto grau de desempenho preditivo, mesmo que os classificadores que fa?am parte do grupo n?o sejam (em m?dia) muito melhores que preditores aleat?rios. Doravante, os benef?cios s?o duplos: ensembles podem melhorar o desempenho preditivo de modelos interpret?veis caixa branca (que s?o, em m?dia, piores que modelos caixa preta); e o uso de modelos caixa-branca aumenta a interpretabilidade de ensembles. Nesta tese, atrav?s do projeto de algoritmos evolutivos, uma poderosa classe de algoritmos de soft computing, desenvolvemos dois m?todos para aprendizado de ensembles interpret?veis: EDNEL e PUMA. Enquanto os dois m?todos s?o semelhantes, a diferen?a entre eles ainda assim ? significativa: PUMA aprende ensembles de classificadores sem levar a intera??o entre vari?veis em considera??o, enquanto EDNEL calcula a correla??o das vari?veis. Todavia, nos experimentos que conduzimos para avaliar o desempenho dos m?todos, detectamos que a abordagem mais simples de PUMA gerou ensembles com melhor desempenho preditivo em m?dia do que EDNEL, enquanto aquele ? estatisticamente equivalente ? dois bem-estabelecidos m?todos de aprendizado de ensembles, Adaboost e Random Forests.
publishDate 2022
dc.date.accessioned.fl_str_mv 2022-05-09T13:35:11Z
dc.date.issued.fl_str_mv 2022-03-22
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://tede2.pucrs.br/tede2/handle/tede/10197
url https://tede2.pucrs.br/tede2/handle/tede/10197
dc.language.iso.fl_str_mv eng
language eng
dc.relation.program.fl_str_mv -4570527706994352458
dc.relation.confidence.fl_str_mv 500
500
600
dc.relation.cnpq.fl_str_mv -862078257083325301
dc.relation.sponsorship.fl_str_mv 3590462550136975366
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Pontif?cia Universidade Cat?lica do Rio Grande do Sul
dc.publisher.program.fl_str_mv Programa de P?s-Gradua??o em Ci?ncia da Computa??o
dc.publisher.initials.fl_str_mv PUCRS
dc.publisher.country.fl_str_mv Brasil
dc.publisher.department.fl_str_mv Escola Polit?cnica
publisher.none.fl_str_mv Pontif?cia Universidade Cat?lica do Rio Grande do Sul
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da PUC_RS
instname:Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS)
instacron:PUC_RS
instname_str Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS)
instacron_str PUC_RS
institution PUC_RS
reponame_str Biblioteca Digital de Teses e Dissertações da PUC_RS
collection Biblioteca Digital de Teses e Dissertações da PUC_RS
bitstream.url.fl_str_mv https://tede2.pucrs.br/tede2/bitstream/tede/10197/4/HENRY_EMANUEL_LEAL_CAGNINI_TES.pdf.jpg
https://tede2.pucrs.br/tede2/bitstream/tede/10197/3/HENRY_EMANUEL_LEAL_CAGNINI_TES.pdf.txt
https://tede2.pucrs.br/tede2/bitstream/tede/10197/2/HENRY_EMANUEL_LEAL_CAGNINI_TES.pdf
https://tede2.pucrs.br/tede2/bitstream/tede/10197/1/license.txt
bitstream.checksum.fl_str_mv a8b1a42a234539cc46916f54f79f7761
cb2a7cb04918cbc0e9aecd5442431899
de66c40667e872d70bfe4efdbf938495
220e11f2d3ba5354f917c7035aadef24
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da PUC_RS - Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS)
repository.mail.fl_str_mv biblioteca.central@pucrs.br||
_version_ 1796793254309527552