Evolutionary algorithms for learning ensembles of interpretable classifiers
Ano de defesa: | 2022 |
---|---|
Autor(a) principal: | |
Orientador(a): | |
Banca de defesa: | |
Tipo de documento: | Tese |
Tipo de acesso: | Acesso aberto |
Idioma: | eng |
Instituição de defesa: |
Pontif?cia Universidade Cat?lica do Rio Grande do Sul
|
Programa de Pós-Graduação: |
Programa de P?s-Gradua??o em Ci?ncia da Computa??o
|
Departamento: |
Escola Polit?cnica
|
País: |
Brasil
|
Palavras-chave em Português: | |
Palavras-chave em Inglês: | |
Área do conhecimento CNPq: | |
Link de acesso: | https://tede2.pucrs.br/tede2/handle/tede/10197 |
Resumo: | Classifica??o ? a tarefa de Aprendizado de M?quina que visa categorizar inst?ncias em classes. Existem diversos algoritmos na literatura que realizam classifica??o, com diferentes graus de sucesso. Nos ?ltimos anos, o desempenho preditivo foi o objetivo priorizado entre praticantes de Aprendizado de M?quina e a comunidade acad?mica. Todavia, mais recentemente, interpretabilidade tem ganhado cada vez mais aten??o. Uma ?rea de aprendizado de m?quina que pode se beneficiar de um ganho em interpretabilidade ? a de ensemble learning. Ensemble learning visa reunir modelos que, quando agrupados em comit?s, podem fornecer alto grau de desempenho preditivo, mesmo que os classificadores que fa?am parte do grupo n?o sejam (em m?dia) muito melhores que preditores aleat?rios. Doravante, os benef?cios s?o duplos: ensembles podem melhorar o desempenho preditivo de modelos interpret?veis caixa branca (que s?o, em m?dia, piores que modelos caixa preta); e o uso de modelos caixa-branca aumenta a interpretabilidade de ensembles. Nesta tese, atrav?s do projeto de algoritmos evolutivos, uma poderosa classe de algoritmos de soft computing, desenvolvemos dois m?todos para aprendizado de ensembles interpret?veis: EDNEL e PUMA. Enquanto os dois m?todos s?o semelhantes, a diferen?a entre eles ainda assim ? significativa: PUMA aprende ensembles de classificadores sem levar a intera??o entre vari?veis em considera??o, enquanto EDNEL calcula a correla??o das vari?veis. Todavia, nos experimentos que conduzimos para avaliar o desempenho dos m?todos, detectamos que a abordagem mais simples de PUMA gerou ensembles com melhor desempenho preditivo em m?dia do que EDNEL, enquanto aquele ? estatisticamente equivalente ? dois bem-estabelecidos m?todos de aprendizado de ensembles, Adaboost e Random Forests. |
id |
P_RS_f4744b8ba706fdfa9998e830313a9c6c |
---|---|
oai_identifier_str |
oai:tede2.pucrs.br:tede/10197 |
network_acronym_str |
P_RS |
network_name_str |
Biblioteca Digital de Teses e Dissertações da PUC_RS |
repository_id_str |
|
spelling |
Barros, Rodrigo Coelhohttp://lattes.cnpq.br/8172124241767828Freitas, Alex Alveshttp://lattes.cnpq.br/8252875697920736http://lattes.cnpq.br/6346810782525797Cagnini, Henry Emanuel Leal2022-05-09T13:35:11Z2022-03-22https://tede2.pucrs.br/tede2/handle/tede/10197Classifica??o ? a tarefa de Aprendizado de M?quina que visa categorizar inst?ncias em classes. Existem diversos algoritmos na literatura que realizam classifica??o, com diferentes graus de sucesso. Nos ?ltimos anos, o desempenho preditivo foi o objetivo priorizado entre praticantes de Aprendizado de M?quina e a comunidade acad?mica. Todavia, mais recentemente, interpretabilidade tem ganhado cada vez mais aten??o. Uma ?rea de aprendizado de m?quina que pode se beneficiar de um ganho em interpretabilidade ? a de ensemble learning. Ensemble learning visa reunir modelos que, quando agrupados em comit?s, podem fornecer alto grau de desempenho preditivo, mesmo que os classificadores que fa?am parte do grupo n?o sejam (em m?dia) muito melhores que preditores aleat?rios. Doravante, os benef?cios s?o duplos: ensembles podem melhorar o desempenho preditivo de modelos interpret?veis caixa branca (que s?o, em m?dia, piores que modelos caixa preta); e o uso de modelos caixa-branca aumenta a interpretabilidade de ensembles. Nesta tese, atrav?s do projeto de algoritmos evolutivos, uma poderosa classe de algoritmos de soft computing, desenvolvemos dois m?todos para aprendizado de ensembles interpret?veis: EDNEL e PUMA. Enquanto os dois m?todos s?o semelhantes, a diferen?a entre eles ainda assim ? significativa: PUMA aprende ensembles de classificadores sem levar a intera??o entre vari?veis em considera??o, enquanto EDNEL calcula a correla??o das vari?veis. Todavia, nos experimentos que conduzimos para avaliar o desempenho dos m?todos, detectamos que a abordagem mais simples de PUMA gerou ensembles com melhor desempenho preditivo em m?dia do que EDNEL, enquanto aquele ? estatisticamente equivalente ? dois bem-estabelecidos m?todos de aprendizado de ensembles, Adaboost e Random Forests.Classification is the machine learning task of categorizing instances into classes. There are several algorithms in the literature that perform classification, with varying degrees of success. For the most part, predictive performance was the pursued objective among practitioners and the academic community regarding the design of novel classification algorithms. More recently, however, interpretability has been gaining more and more attention. One area of machine learning that can benefit from increased interpretability is that of ensemble learning. Ensemble learning aims to reunite models that, when ensembled, can provide a high degree of predictive performance, even though the individual classifiers of the ensemble are often not much better at predicting classes than random guessing. Hence, the benefits are twofold: ensembles can improve predictive performance of interpretable (white-box) models that perform, on average, worse than black-box models; and the use of white-box models improves the interpretability of ensembles. In this thesis, we design two evolutionary algorithms (a powerful soft computing technique) to develop two ensemble learning methods, EDNEL and PUMA. PUMA learns ensembles of classifiers in a univariate strategy, assuming independence among variables, while EDNEL takes into account variable dependence through correlation analysis. However, in the thorough experimental analysis performed, we found that PUMA performs better than EDNEL with regards to average rank, whilst it is statistically equivalent to two well-established ensemble learning algorithms, Adaboost and Random Forests.Submitted by PPG Ci?ncia da Computa??o (ppgcc@pucrs.br) on 2022-05-04T13:22:54Z No. of bitstreams: 1 HENRY_EMANUEL_LEAL_CAGNINI_TES.pdf: 2051967 bytes, checksum: de66c40667e872d70bfe4efdbf938495 (MD5)Approved for entry into archive by Sheila Dias (sheila.dias@pucrs.br) on 2022-05-09T13:19:36Z (GMT) No. of bitstreams: 1 HENRY_EMANUEL_LEAL_CAGNINI_TES.pdf: 2051967 bytes, checksum: de66c40667e872d70bfe4efdbf938495 (MD5)Made available in DSpace on 2022-05-09T13:35:11Z (GMT). No. of bitstreams: 1 HENRY_EMANUEL_LEAL_CAGNINI_TES.pdf: 2051967 bytes, checksum: de66c40667e872d70bfe4efdbf938495 (MD5) Previous issue date: 2022-03-22Coordena??o de Aperfei?oamento de Pessoal de N?vel Superior - CAPESapplication/pdfhttps://tede2.pucrs.br/tede2/retrieve/183927/HENRY_EMANUEL_LEAL_CAGNINI_TES.pdf.jpgengPontif?cia Universidade Cat?lica do Rio Grande do SulPrograma de P?s-Gradua??o em Ci?ncia da Computa??oPUCRSBrasilEscola Polit?cnicaEvolutionary AlgorithmsEnsemble LearningMachine LearningInterpretabilityClassificationSupervised LearningRegressionAlgoritmos EvolutivosAprendizado de M?quinaInterpretabilidadeClassifica??oAprendizado SupervisionadoRegress?oCIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAOEvolutionary algorithms for learning ensembles of interpretable classifiersinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisTrabalho n?o apresenta restri??o para publica??o-4570527706994352458500500600-8620782570833253013590462550136975366info:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da PUC_RSinstname:Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS)instacron:PUC_RSTHUMBNAILHENRY_EMANUEL_LEAL_CAGNINI_TES.pdf.jpgHENRY_EMANUEL_LEAL_CAGNINI_TES.pdf.jpgimage/jpeg5153https://tede2.pucrs.br/tede2/bitstream/tede/10197/4/HENRY_EMANUEL_LEAL_CAGNINI_TES.pdf.jpga8b1a42a234539cc46916f54f79f7761MD54TEXTHENRY_EMANUEL_LEAL_CAGNINI_TES.pdf.txtHENRY_EMANUEL_LEAL_CAGNINI_TES.pdf.txttext/plain422505https://tede2.pucrs.br/tede2/bitstream/tede/10197/3/HENRY_EMANUEL_LEAL_CAGNINI_TES.pdf.txtcb2a7cb04918cbc0e9aecd5442431899MD53ORIGINALHENRY_EMANUEL_LEAL_CAGNINI_TES.pdfHENRY_EMANUEL_LEAL_CAGNINI_TES.pdfapplication/pdf2051967https://tede2.pucrs.br/tede2/bitstream/tede/10197/2/HENRY_EMANUEL_LEAL_CAGNINI_TES.pdfde66c40667e872d70bfe4efdbf938495MD52LICENSElicense.txtlicense.txttext/plain; charset=utf-8590https://tede2.pucrs.br/tede2/bitstream/tede/10197/1/license.txt220e11f2d3ba5354f917c7035aadef24MD51tede/101972022-05-09 12:00:19.243oai:tede2.pucrs.br:tede/10197QXV0b3JpemE/P28gcGFyYSBQdWJsaWNhPz9vIEVsZXRyP25pY2E6IENvbSBiYXNlIG5vIGRpc3Bvc3RvIG5hIExlaSBGZWRlcmFsIG4/OS42MTAsIGRlIDE5IGRlIGZldmVyZWlybyBkZSAxOTk4LCBvIGF1dG9yIEFVVE9SSVpBIGEgcHVibGljYT8/byBlbGV0cj9uaWNhIGRhIHByZXNlbnRlIG9icmEgbm8gYWNlcnZvIGRhIEJpYmxpb3RlY2EgRGlnaXRhbCBkYSBQb250aWY/Y2lhIFVuaXZlcnNpZGFkZSBDYXQ/bGljYSBkbyBSaW8gR3JhbmRlIGRvIFN1bCwgc2VkaWFkYSBhIEF2LiBJcGlyYW5nYSA2NjgxLCBQb3J0byBBbGVncmUsIFJpbyBHcmFuZGUgZG8gU3VsLCBjb20gcmVnaXN0cm8gZGUgQ05QSiA4ODYzMDQxMzAwMDItODEgYmVtIGNvbW8gZW0gb3V0cmFzIGJpYmxpb3RlY2FzIGRpZ2l0YWlzLCBuYWNpb25haXMgZSBpbnRlcm5hY2lvbmFpcywgY29ucz9yY2lvcyBlIHJlZGVzID9zIHF1YWlzIGEgYmlibGlvdGVjYSBkYSBQVUNSUyBwb3NzYSBhIHZpciBwYXJ0aWNpcGFyLCBzZW0gP251cyBhbHVzaXZvIGFvcyBkaXJlaXRvcyBhdXRvcmFpcywgYSB0P3R1bG8gZGUgZGl2dWxnYT8/byBkYSBwcm9kdT8/byBjaWVudD9maWNhLgo=Biblioteca Digital de Teses e Dissertaçõeshttp://tede2.pucrs.br/tede2/PRIhttps://tede2.pucrs.br/oai/requestbiblioteca.central@pucrs.br||opendoar:2022-05-09T15:00:19Biblioteca Digital de Teses e Dissertações da PUC_RS - Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS)false |
dc.title.por.fl_str_mv |
Evolutionary algorithms for learning ensembles of interpretable classifiers |
title |
Evolutionary algorithms for learning ensembles of interpretable classifiers |
spellingShingle |
Evolutionary algorithms for learning ensembles of interpretable classifiers Cagnini, Henry Emanuel Leal Evolutionary Algorithms Ensemble Learning Machine Learning Interpretability Classification Supervised Learning Regression Algoritmos Evolutivos Aprendizado de M?quina Interpretabilidade Classifica??o Aprendizado Supervisionado Regress?o CIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAO |
title_short |
Evolutionary algorithms for learning ensembles of interpretable classifiers |
title_full |
Evolutionary algorithms for learning ensembles of interpretable classifiers |
title_fullStr |
Evolutionary algorithms for learning ensembles of interpretable classifiers |
title_full_unstemmed |
Evolutionary algorithms for learning ensembles of interpretable classifiers |
title_sort |
Evolutionary algorithms for learning ensembles of interpretable classifiers |
author |
Cagnini, Henry Emanuel Leal |
author_facet |
Cagnini, Henry Emanuel Leal |
author_role |
author |
dc.contributor.advisor1.fl_str_mv |
Barros, Rodrigo Coelho |
dc.contributor.advisor1Lattes.fl_str_mv |
http://lattes.cnpq.br/8172124241767828 |
dc.contributor.advisor-co1.fl_str_mv |
Freitas, Alex Alves |
dc.contributor.advisor-co1Lattes.fl_str_mv |
http://lattes.cnpq.br/8252875697920736 |
dc.contributor.authorLattes.fl_str_mv |
http://lattes.cnpq.br/6346810782525797 |
dc.contributor.author.fl_str_mv |
Cagnini, Henry Emanuel Leal |
contributor_str_mv |
Barros, Rodrigo Coelho Freitas, Alex Alves |
dc.subject.eng.fl_str_mv |
Evolutionary Algorithms Ensemble Learning Machine Learning Interpretability Classification Supervised Learning Regression |
topic |
Evolutionary Algorithms Ensemble Learning Machine Learning Interpretability Classification Supervised Learning Regression Algoritmos Evolutivos Aprendizado de M?quina Interpretabilidade Classifica??o Aprendizado Supervisionado Regress?o CIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAO |
dc.subject.por.fl_str_mv |
Algoritmos Evolutivos Aprendizado de M?quina Interpretabilidade Classifica??o Aprendizado Supervisionado Regress?o |
dc.subject.cnpq.fl_str_mv |
CIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAO |
description |
Classifica??o ? a tarefa de Aprendizado de M?quina que visa categorizar inst?ncias em classes. Existem diversos algoritmos na literatura que realizam classifica??o, com diferentes graus de sucesso. Nos ?ltimos anos, o desempenho preditivo foi o objetivo priorizado entre praticantes de Aprendizado de M?quina e a comunidade acad?mica. Todavia, mais recentemente, interpretabilidade tem ganhado cada vez mais aten??o. Uma ?rea de aprendizado de m?quina que pode se beneficiar de um ganho em interpretabilidade ? a de ensemble learning. Ensemble learning visa reunir modelos que, quando agrupados em comit?s, podem fornecer alto grau de desempenho preditivo, mesmo que os classificadores que fa?am parte do grupo n?o sejam (em m?dia) muito melhores que preditores aleat?rios. Doravante, os benef?cios s?o duplos: ensembles podem melhorar o desempenho preditivo de modelos interpret?veis caixa branca (que s?o, em m?dia, piores que modelos caixa preta); e o uso de modelos caixa-branca aumenta a interpretabilidade de ensembles. Nesta tese, atrav?s do projeto de algoritmos evolutivos, uma poderosa classe de algoritmos de soft computing, desenvolvemos dois m?todos para aprendizado de ensembles interpret?veis: EDNEL e PUMA. Enquanto os dois m?todos s?o semelhantes, a diferen?a entre eles ainda assim ? significativa: PUMA aprende ensembles de classificadores sem levar a intera??o entre vari?veis em considera??o, enquanto EDNEL calcula a correla??o das vari?veis. Todavia, nos experimentos que conduzimos para avaliar o desempenho dos m?todos, detectamos que a abordagem mais simples de PUMA gerou ensembles com melhor desempenho preditivo em m?dia do que EDNEL, enquanto aquele ? estatisticamente equivalente ? dois bem-estabelecidos m?todos de aprendizado de ensembles, Adaboost e Random Forests. |
publishDate |
2022 |
dc.date.accessioned.fl_str_mv |
2022-05-09T13:35:11Z |
dc.date.issued.fl_str_mv |
2022-03-22 |
dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/doctoralThesis |
format |
doctoralThesis |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
https://tede2.pucrs.br/tede2/handle/tede/10197 |
url |
https://tede2.pucrs.br/tede2/handle/tede/10197 |
dc.language.iso.fl_str_mv |
eng |
language |
eng |
dc.relation.program.fl_str_mv |
-4570527706994352458 |
dc.relation.confidence.fl_str_mv |
500 500 600 |
dc.relation.cnpq.fl_str_mv |
-862078257083325301 |
dc.relation.sponsorship.fl_str_mv |
3590462550136975366 |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.format.none.fl_str_mv |
application/pdf |
dc.publisher.none.fl_str_mv |
Pontif?cia Universidade Cat?lica do Rio Grande do Sul |
dc.publisher.program.fl_str_mv |
Programa de P?s-Gradua??o em Ci?ncia da Computa??o |
dc.publisher.initials.fl_str_mv |
PUCRS |
dc.publisher.country.fl_str_mv |
Brasil |
dc.publisher.department.fl_str_mv |
Escola Polit?cnica |
publisher.none.fl_str_mv |
Pontif?cia Universidade Cat?lica do Rio Grande do Sul |
dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações da PUC_RS instname:Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS) instacron:PUC_RS |
instname_str |
Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS) |
instacron_str |
PUC_RS |
institution |
PUC_RS |
reponame_str |
Biblioteca Digital de Teses e Dissertações da PUC_RS |
collection |
Biblioteca Digital de Teses e Dissertações da PUC_RS |
bitstream.url.fl_str_mv |
https://tede2.pucrs.br/tede2/bitstream/tede/10197/4/HENRY_EMANUEL_LEAL_CAGNINI_TES.pdf.jpg https://tede2.pucrs.br/tede2/bitstream/tede/10197/3/HENRY_EMANUEL_LEAL_CAGNINI_TES.pdf.txt https://tede2.pucrs.br/tede2/bitstream/tede/10197/2/HENRY_EMANUEL_LEAL_CAGNINI_TES.pdf https://tede2.pucrs.br/tede2/bitstream/tede/10197/1/license.txt |
bitstream.checksum.fl_str_mv |
a8b1a42a234539cc46916f54f79f7761 cb2a7cb04918cbc0e9aecd5442431899 de66c40667e872d70bfe4efdbf938495 220e11f2d3ba5354f917c7035aadef24 |
bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 |
repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações da PUC_RS - Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS) |
repository.mail.fl_str_mv |
biblioteca.central@pucrs.br|| |
_version_ |
1796793254309527552 |