Comparação de métodos de inferência dos rejeitados em modelos de Credit Scoring

Detalhes bibliográficos
Ano de defesa: 2022
Autor(a) principal: SOUZA JÚNIOR, Hélio Gonçalves de
Orientador(a): VASCONCELOS, Germano Crispim
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Federal de Pernambuco
Programa de Pós-Graduação: Programa de Pos Graduacao em Ciencia da Computacao
Departamento: Não Informado pela instituição
País: Brasil
Palavras-chave em Português:
Link de acesso: https://repositorio.ufpe.br/handle/123456789/50327
Resumo: Os modelos de Credit Scoring têm desempenhado por muitos anos um papel impor- tante na sociedade, contribuindo para a saúde financeira e a oferta de crédito no mercado, com benefícios para credores e tomadores de empréstimos em geral. No entanto, na prática, esses modelos são normalmente construídos numa amostra da população de créditos aprovados e não consideram os clientes que foram rejeitados, causando um viés amostral. A Inferência dos Rejeitados é uma abordagem para estimar como os requerentes de crédito rejeitados teriam se comportado se tivessem sido aprovados, incorporando essas informações na reconstrução do modelo de Credit Scoring. Esta dissertação investiga e compara os métodos considerados estado da arte para inferência dos rejeitados, com dados reais em problemas de larga escala de análise de crédito: Reclassificação, Augmentation, Cluster e Parcelamento. Além disso, pro- põe uma nova abordagem para inferência dos rejeitados com um algoritmo de Deep Learning usado em outras aplicações, o Deep Learning, o Deep Embedded Clustering (DEC), para extração de características dos dados originais. Os métodos são avaliados por diversas métricas de performance, tais como: área sobre a curva ROC, Teste Kolmogorov-Smirnov, F1 score, Acurácia, Diferença entre taxas de inadimplência. Também são empregados o teste não para- métrico de Kruskal-Wallis e o teste post-hoc de Nemenyi para análise da relevância estatística dos resultados. Os métodos são analisados em três conjuntos de dados oriundos de empresas do varejo e mercado financeiro, com diversos perfis de taxa de reprovação. É investigado o quanto a inclusão de parcela dos rejeitados pode impactar em ganhos de performance nos métodos avaliados. Os experimentos realizados evidenciaram que existe diferença significativa entre os métodos estudados e que o método DEC teve desempenho superior que os demais métodos para a maioria das métricas avaliadas.
id UFPE_e2af2ec63567278d2b8f4295b6ccd513
oai_identifier_str oai:repositorio.ufpe.br:123456789/50327
network_acronym_str UFPE
network_name_str Repositório Institucional da UFPE
repository_id_str
spelling SOUZA JÚNIOR, Hélio Gonçalves dehttp://lattes.cnpq.br/6346651643913441http://lattes.cnpq.br/5943634209341438http://lattes.cnpq.br/1317570604315281VASCONCELOS, Germano CrispimCUNHA, Rodrigo Carneiro Leão Vieira da2023-05-18T14:14:03Z2023-05-18T14:14:03Z2022-03-11SOUZA JÚNIOR, Hélio Gonçalves de. Comparação de métodos de inferência dos rejeitados em modelos de Credit Scoring. 2022. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2022.https://repositorio.ufpe.br/handle/123456789/50327Os modelos de Credit Scoring têm desempenhado por muitos anos um papel impor- tante na sociedade, contribuindo para a saúde financeira e a oferta de crédito no mercado, com benefícios para credores e tomadores de empréstimos em geral. No entanto, na prática, esses modelos são normalmente construídos numa amostra da população de créditos aprovados e não consideram os clientes que foram rejeitados, causando um viés amostral. A Inferência dos Rejeitados é uma abordagem para estimar como os requerentes de crédito rejeitados teriam se comportado se tivessem sido aprovados, incorporando essas informações na reconstrução do modelo de Credit Scoring. Esta dissertação investiga e compara os métodos considerados estado da arte para inferência dos rejeitados, com dados reais em problemas de larga escala de análise de crédito: Reclassificação, Augmentation, Cluster e Parcelamento. Além disso, pro- põe uma nova abordagem para inferência dos rejeitados com um algoritmo de Deep Learning usado em outras aplicações, o Deep Learning, o Deep Embedded Clustering (DEC), para extração de características dos dados originais. Os métodos são avaliados por diversas métricas de performance, tais como: área sobre a curva ROC, Teste Kolmogorov-Smirnov, F1 score, Acurácia, Diferença entre taxas de inadimplência. Também são empregados o teste não para- métrico de Kruskal-Wallis e o teste post-hoc de Nemenyi para análise da relevância estatística dos resultados. Os métodos são analisados em três conjuntos de dados oriundos de empresas do varejo e mercado financeiro, com diversos perfis de taxa de reprovação. É investigado o quanto a inclusão de parcela dos rejeitados pode impactar em ganhos de performance nos métodos avaliados. Os experimentos realizados evidenciaram que existe diferença significativa entre os métodos estudados e que o método DEC teve desempenho superior que os demais métodos para a maioria das métricas avaliadas.Credit Scoring models have played an important role in society for many years, contribut- ing to financial health and the supply of credit in the market, with benefits for creditors and borrowers in general. However, in practice, these models are usually built on a sample of the population of approved credits and do not consider the customers that were rejected, causing a sample bias. Reject Inference is an approach to estimate how rejected credit applicants would have behaved had they been approved, incorporating this information into the reconstruc- tion of the Credit Scoring model. This dissertation investigates and compares state-of-the-art methods for inference of rejects, with real data in large-scale problems of credit analysis: Re- classification, Augmentation, Cluster and Parcelation. In addition, it proposes a new approach for reject inference with a Deep Learning algorithm used in other applications, Deep Learning, Deep Embedded Clustering (DEC), to extract features from the original data. The methods are evaluated by several performance metrics, such as: AUC, KS, F1, Accuracy, DTI. The non-parametric Kruskal-Wallis test and the post-hoc Nemenyi test are also used to analyze the statistical relevance of the results. The methods are analyzed in three sets of data from retail and financial market companies, with different failure rate profiles. It is investigated how much the inclusion of rejects can impact on performance gains in the evaluated methods. The experiments carried out showed that there is a significant difference between the methods studied and that the DEC method performed better than the other methods for most of the evaluated metrics.porUniversidade Federal de PernambucoPrograma de Pos Graduacao em Ciencia da ComputacaoUFPEBrasilhttp://creativecommons.org/licenses/by-nc-nd/3.0/br/info:eu-repo/semantics/openAccessInteligência computacionalAprendizagem de máquinaComparação de métodos de inferência dos rejeitados em modelos de Credit Scoringinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesismestradoreponame:Repositório Institucional da UFPEinstname:Universidade Federal de Pernambuco (UFPE)instacron:UFPEORIGINALDISSERTAÇÃO Hélio Gonçalves de Souza Júnior.pdfDISSERTAÇÃO Hélio Gonçalves de Souza Júnior.pdfapplication/pdf1089410https://repositorio.ufpe.br/bitstream/123456789/50327/1/DISSERTA%c3%87%c3%83O%20H%c3%a9lio%20Gon%c3%a7alves%20de%20Souza%20J%c3%banior.pdf3faa3128b65e9d55049bacb256160c80MD51CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8811https://repositorio.ufpe.br/bitstream/123456789/50327/2/license_rdfe39d27027a6cc9cb039ad269a5db8e34MD52LICENSElicense.txtlicense.txttext/plain; charset=utf-82362https://repositorio.ufpe.br/bitstream/123456789/50327/3/license.txt5e89a1613ddc8510c6576f4b23a78973MD53TEXTDISSERTAÇÃO Hélio Gonçalves de Souza Júnior.pdf.txtDISSERTAÇÃO Hélio Gonçalves de Souza Júnior.pdf.txtExtracted texttext/plain138549https://repositorio.ufpe.br/bitstream/123456789/50327/4/DISSERTA%c3%87%c3%83O%20H%c3%a9lio%20Gon%c3%a7alves%20de%20Souza%20J%c3%banior.pdf.txtbf4e783ea5ae1bb999bd1d9c1285f3d9MD54THUMBNAILDISSERTAÇÃO Hélio Gonçalves de Souza Júnior.pdf.jpgDISSERTAÇÃO Hélio Gonçalves de Souza Júnior.pdf.jpgGenerated Thumbnailimage/jpeg1235https://repositorio.ufpe.br/bitstream/123456789/50327/5/DISSERTA%c3%87%c3%83O%20H%c3%a9lio%20Gon%c3%a7alves%20de%20Souza%20J%c3%banior.pdf.jpg7a2d6db89843db089697ba1e9a78a40dMD55123456789/503272023-05-19 02:35:59.349oai:repositorio.ufpe.br:123456789/50327VGVybW8gZGUgRGVww7NzaXRvIExlZ2FsIGUgQXV0b3JpemHDp8OjbyBwYXJhIFB1YmxpY2l6YcOnw6NvIGRlIERvY3VtZW50b3Mgbm8gUmVwb3NpdMOzcmlvIERpZ2l0YWwgZGEgVUZQRQoKCkRlY2xhcm8gZXN0YXIgY2llbnRlIGRlIHF1ZSBlc3RlIFRlcm1vIGRlIERlcMOzc2l0byBMZWdhbCBlIEF1dG9yaXphw6fDo28gdGVtIG8gb2JqZXRpdm8gZGUgZGl2dWxnYcOnw6NvIGRvcyBkb2N1bWVudG9zIGRlcG9zaXRhZG9zIG5vIFJlcG9zaXTDs3JpbyBEaWdpdGFsIGRhIFVGUEUgZSBkZWNsYXJvIHF1ZToKCkkgLSBvcyBkYWRvcyBwcmVlbmNoaWRvcyBubyBmb3JtdWzDoXJpbyBkZSBkZXDDs3NpdG8gc8OjbyB2ZXJkYWRlaXJvcyBlIGF1dMOqbnRpY29zOwoKSUkgLSAgbyBjb250ZcO6ZG8gZGlzcG9uaWJpbGl6YWRvIMOpIGRlIHJlc3BvbnNhYmlsaWRhZGUgZGUgc3VhIGF1dG9yaWE7CgpJSUkgLSBvIGNvbnRlw7pkbyDDqSBvcmlnaW5hbCwgZSBzZSBvIHRyYWJhbGhvIGUvb3UgcGFsYXZyYXMgZGUgb3V0cmFzIHBlc3NvYXMgZm9yYW0gdXRpbGl6YWRvcywgZXN0YXMgZm9yYW0gZGV2aWRhbWVudGUgcmVjb25oZWNpZGFzOwoKSVYgLSBxdWFuZG8gdHJhdGFyLXNlIGRlIG9icmEgY29sZXRpdmEgKG1haXMgZGUgdW0gYXV0b3IpOiB0b2RvcyBvcyBhdXRvcmVzIGVzdMOjbyBjaWVudGVzIGRvIGRlcMOzc2l0byBlIGRlIGFjb3JkbyBjb20gZXN0ZSB0ZXJtbzsKClYgLSBxdWFuZG8gdHJhdGFyLXNlIGRlIFRyYWJhbGhvIGRlIENvbmNsdXPDo28gZGUgQ3Vyc28sIERpc3NlcnRhw6fDo28gb3UgVGVzZTogbyBhcnF1aXZvIGRlcG9zaXRhZG8gY29ycmVzcG9uZGUgw6AgdmVyc8OjbyBmaW5hbCBkbyB0cmFiYWxobzsKClZJIC0gcXVhbmRvIHRyYXRhci1zZSBkZSBUcmFiYWxobyBkZSBDb25jbHVzw6NvIGRlIEN1cnNvLCBEaXNzZXJ0YcOnw6NvIG91IFRlc2U6IGVzdG91IGNpZW50ZSBkZSBxdWUgYSBhbHRlcmHDp8OjbyBkYSBtb2RhbGlkYWRlIGRlIGFjZXNzbyBhbyBkb2N1bWVudG8gYXDDs3MgbyBkZXDDs3NpdG8gZSBhbnRlcyBkZSBmaW5kYXIgbyBwZXLDrW9kbyBkZSBlbWJhcmdvLCBxdWFuZG8gZm9yIGVzY29saGlkbyBhY2Vzc28gcmVzdHJpdG8sIHNlcsOhIHBlcm1pdGlkYSBtZWRpYW50ZSBzb2xpY2l0YcOnw6NvIGRvIChhKSBhdXRvciAoYSkgYW8gU2lzdGVtYSBJbnRlZ3JhZG8gZGUgQmlibGlvdGVjYXMgZGEgVUZQRSAoU0lCL1VGUEUpLgoKIApQYXJhIHRyYWJhbGhvcyBlbSBBY2Vzc28gQWJlcnRvOgoKTmEgcXVhbGlkYWRlIGRlIHRpdHVsYXIgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIGRlIGF1dG9yIHF1ZSByZWNhZW0gc29icmUgZXN0ZSBkb2N1bWVudG8sIGZ1bmRhbWVudGFkbyBuYSBMZWkgZGUgRGlyZWl0byBBdXRvcmFsIG5vIDkuNjEwLCBkZSAxOSBkZSBmZXZlcmVpcm8gZGUgMTk5OCwgYXJ0LiAyOSwgaW5jaXNvIElJSSwgYXV0b3Jpem8gYSBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBQZXJuYW1idWNvIGEgZGlzcG9uaWJpbGl6YXIgZ3JhdHVpdGFtZW50ZSwgc2VtIHJlc3NhcmNpbWVudG8gZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCBwYXJhIGZpbnMgZGUgbGVpdHVyYSwgaW1wcmVzc8OjbyBlL291IGRvd25sb2FkIChhcXVpc2nDp8OjbykgYXRyYXbDqXMgZG8gc2l0ZSBkbyBSZXBvc2l0w7NyaW8gRGlnaXRhbCBkYSBVRlBFIG5vIGVuZGVyZcOnbyBodHRwOi8vd3d3LnJlcG9zaXRvcmlvLnVmcGUuYnIsIGEgcGFydGlyIGRhIGRhdGEgZGUgZGVww7NzaXRvLgoKIApQYXJhIHRyYWJhbGhvcyBlbSBBY2Vzc28gUmVzdHJpdG86CgpOYSBxdWFsaWRhZGUgZGUgdGl0dWxhciBkb3MgZGlyZWl0b3MgYXV0b3JhaXMgZGUgYXV0b3IgcXVlIHJlY2FlbSBzb2JyZSBlc3RlIGRvY3VtZW50bywgZnVuZGFtZW50YWRvIG5hIExlaSBkZSBEaXJlaXRvIEF1dG9yYWwgbm8gOS42MTAgZGUgMTkgZGUgZmV2ZXJlaXJvIGRlIDE5OTgsIGFydC4gMjksIGluY2lzbyBJSUksIGF1dG9yaXpvIGEgVW5pdmVyc2lkYWRlIEZlZGVyYWwgZGUgUGVybmFtYnVjbyBhIGRpc3BvbmliaWxpemFyIGdyYXR1aXRhbWVudGUsIHNlbSByZXNzYXJjaW1lbnRvIGRvcyBkaXJlaXRvcyBhdXRvcmFpcywgcGFyYSBmaW5zIGRlIGxlaXR1cmEsIGltcHJlc3PDo28gZS9vdSBkb3dubG9hZCAoYXF1aXNpw6fDo28pIGF0cmF2w6lzIGRvIHNpdGUgZG8gUmVwb3NpdMOzcmlvIERpZ2l0YWwgZGEgVUZQRSBubyBlbmRlcmXDp28gaHR0cDovL3d3dy5yZXBvc2l0b3Jpby51ZnBlLmJyLCBxdWFuZG8gZmluZGFyIG8gcGVyw61vZG8gZGUgZW1iYXJnbyBjb25kaXplbnRlIGFvIHRpcG8gZGUgZG9jdW1lbnRvLCBjb25mb3JtZSBpbmRpY2FkbyBubyBjYW1wbyBEYXRhIGRlIEVtYmFyZ28uCg==Repositório InstitucionalPUBhttps://repositorio.ufpe.br/oai/requestattena@ufpe.bropendoar:22212023-05-19T05:35:59Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)false
dc.title.pt_BR.fl_str_mv Comparação de métodos de inferência dos rejeitados em modelos de Credit Scoring
title Comparação de métodos de inferência dos rejeitados em modelos de Credit Scoring
spellingShingle Comparação de métodos de inferência dos rejeitados em modelos de Credit Scoring
SOUZA JÚNIOR, Hélio Gonçalves de
Inteligência computacional
Aprendizagem de máquina
title_short Comparação de métodos de inferência dos rejeitados em modelos de Credit Scoring
title_full Comparação de métodos de inferência dos rejeitados em modelos de Credit Scoring
title_fullStr Comparação de métodos de inferência dos rejeitados em modelos de Credit Scoring
title_full_unstemmed Comparação de métodos de inferência dos rejeitados em modelos de Credit Scoring
title_sort Comparação de métodos de inferência dos rejeitados em modelos de Credit Scoring
author SOUZA JÚNIOR, Hélio Gonçalves de
author_facet SOUZA JÚNIOR, Hélio Gonçalves de
author_role author
dc.contributor.authorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/6346651643913441
dc.contributor.advisorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/5943634209341438
dc.contributor.advisor-coLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/1317570604315281
dc.contributor.author.fl_str_mv SOUZA JÚNIOR, Hélio Gonçalves de
dc.contributor.advisor1.fl_str_mv VASCONCELOS, Germano Crispim
dc.contributor.advisor-co1.fl_str_mv CUNHA, Rodrigo Carneiro Leão Vieira da
contributor_str_mv VASCONCELOS, Germano Crispim
CUNHA, Rodrigo Carneiro Leão Vieira da
dc.subject.por.fl_str_mv Inteligência computacional
Aprendizagem de máquina
topic Inteligência computacional
Aprendizagem de máquina
description Os modelos de Credit Scoring têm desempenhado por muitos anos um papel impor- tante na sociedade, contribuindo para a saúde financeira e a oferta de crédito no mercado, com benefícios para credores e tomadores de empréstimos em geral. No entanto, na prática, esses modelos são normalmente construídos numa amostra da população de créditos aprovados e não consideram os clientes que foram rejeitados, causando um viés amostral. A Inferência dos Rejeitados é uma abordagem para estimar como os requerentes de crédito rejeitados teriam se comportado se tivessem sido aprovados, incorporando essas informações na reconstrução do modelo de Credit Scoring. Esta dissertação investiga e compara os métodos considerados estado da arte para inferência dos rejeitados, com dados reais em problemas de larga escala de análise de crédito: Reclassificação, Augmentation, Cluster e Parcelamento. Além disso, pro- põe uma nova abordagem para inferência dos rejeitados com um algoritmo de Deep Learning usado em outras aplicações, o Deep Learning, o Deep Embedded Clustering (DEC), para extração de características dos dados originais. Os métodos são avaliados por diversas métricas de performance, tais como: área sobre a curva ROC, Teste Kolmogorov-Smirnov, F1 score, Acurácia, Diferença entre taxas de inadimplência. Também são empregados o teste não para- métrico de Kruskal-Wallis e o teste post-hoc de Nemenyi para análise da relevância estatística dos resultados. Os métodos são analisados em três conjuntos de dados oriundos de empresas do varejo e mercado financeiro, com diversos perfis de taxa de reprovação. É investigado o quanto a inclusão de parcela dos rejeitados pode impactar em ganhos de performance nos métodos avaliados. Os experimentos realizados evidenciaram que existe diferença significativa entre os métodos estudados e que o método DEC teve desempenho superior que os demais métodos para a maioria das métricas avaliadas.
publishDate 2022
dc.date.issued.fl_str_mv 2022-03-11
dc.date.accessioned.fl_str_mv 2023-05-18T14:14:03Z
dc.date.available.fl_str_mv 2023-05-18T14:14:03Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv SOUZA JÚNIOR, Hélio Gonçalves de. Comparação de métodos de inferência dos rejeitados em modelos de Credit Scoring. 2022. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2022.
dc.identifier.uri.fl_str_mv https://repositorio.ufpe.br/handle/123456789/50327
identifier_str_mv SOUZA JÚNIOR, Hélio Gonçalves de. Comparação de métodos de inferência dos rejeitados em modelos de Credit Scoring. 2022. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2022.
url https://repositorio.ufpe.br/handle/123456789/50327
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv http://creativecommons.org/licenses/by-nc-nd/3.0/br/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv http://creativecommons.org/licenses/by-nc-nd/3.0/br/
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de Pernambuco
dc.publisher.program.fl_str_mv Programa de Pos Graduacao em Ciencia da Computacao
dc.publisher.initials.fl_str_mv UFPE
dc.publisher.country.fl_str_mv Brasil
publisher.none.fl_str_mv Universidade Federal de Pernambuco
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFPE
instname:Universidade Federal de Pernambuco (UFPE)
instacron:UFPE
instname_str Universidade Federal de Pernambuco (UFPE)
instacron_str UFPE
institution UFPE
reponame_str Repositório Institucional da UFPE
collection Repositório Institucional da UFPE
bitstream.url.fl_str_mv https://repositorio.ufpe.br/bitstream/123456789/50327/1/DISSERTA%c3%87%c3%83O%20H%c3%a9lio%20Gon%c3%a7alves%20de%20Souza%20J%c3%banior.pdf
https://repositorio.ufpe.br/bitstream/123456789/50327/2/license_rdf
https://repositorio.ufpe.br/bitstream/123456789/50327/3/license.txt
https://repositorio.ufpe.br/bitstream/123456789/50327/4/DISSERTA%c3%87%c3%83O%20H%c3%a9lio%20Gon%c3%a7alves%20de%20Souza%20J%c3%banior.pdf.txt
https://repositorio.ufpe.br/bitstream/123456789/50327/5/DISSERTA%c3%87%c3%83O%20H%c3%a9lio%20Gon%c3%a7alves%20de%20Souza%20J%c3%banior.pdf.jpg
bitstream.checksum.fl_str_mv 3faa3128b65e9d55049bacb256160c80
e39d27027a6cc9cb039ad269a5db8e34
5e89a1613ddc8510c6576f4b23a78973
bf4e783ea5ae1bb999bd1d9c1285f3d9
7a2d6db89843db089697ba1e9a78a40d
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)
repository.mail.fl_str_mv attena@ufpe.br
_version_ 1862741794292236288