Comparação de métodos de inferência dos rejeitados em modelos de Credit Scoring
| Ano de defesa: | 2022 |
|---|---|
| Autor(a) principal: | |
| Orientador(a): | |
| Banca de defesa: | |
| Tipo de documento: | Dissertação |
| Tipo de acesso: | Acesso aberto |
| Idioma: | por |
| Instituição de defesa: |
Universidade Federal de Pernambuco
|
| Programa de Pós-Graduação: |
Programa de Pos Graduacao em Ciencia da Computacao
|
| Departamento: |
Não Informado pela instituição
|
| País: |
Brasil
|
| Palavras-chave em Português: | |
| Link de acesso: | https://repositorio.ufpe.br/handle/123456789/50327 |
Resumo: | Os modelos de Credit Scoring têm desempenhado por muitos anos um papel impor- tante na sociedade, contribuindo para a saúde financeira e a oferta de crédito no mercado, com benefícios para credores e tomadores de empréstimos em geral. No entanto, na prática, esses modelos são normalmente construídos numa amostra da população de créditos aprovados e não consideram os clientes que foram rejeitados, causando um viés amostral. A Inferência dos Rejeitados é uma abordagem para estimar como os requerentes de crédito rejeitados teriam se comportado se tivessem sido aprovados, incorporando essas informações na reconstrução do modelo de Credit Scoring. Esta dissertação investiga e compara os métodos considerados estado da arte para inferência dos rejeitados, com dados reais em problemas de larga escala de análise de crédito: Reclassificação, Augmentation, Cluster e Parcelamento. Além disso, pro- põe uma nova abordagem para inferência dos rejeitados com um algoritmo de Deep Learning usado em outras aplicações, o Deep Learning, o Deep Embedded Clustering (DEC), para extração de características dos dados originais. Os métodos são avaliados por diversas métricas de performance, tais como: área sobre a curva ROC, Teste Kolmogorov-Smirnov, F1 score, Acurácia, Diferença entre taxas de inadimplência. Também são empregados o teste não para- métrico de Kruskal-Wallis e o teste post-hoc de Nemenyi para análise da relevância estatística dos resultados. Os métodos são analisados em três conjuntos de dados oriundos de empresas do varejo e mercado financeiro, com diversos perfis de taxa de reprovação. É investigado o quanto a inclusão de parcela dos rejeitados pode impactar em ganhos de performance nos métodos avaliados. Os experimentos realizados evidenciaram que existe diferença significativa entre os métodos estudados e que o método DEC teve desempenho superior que os demais métodos para a maioria das métricas avaliadas. |
| id |
UFPE_e2af2ec63567278d2b8f4295b6ccd513 |
|---|---|
| oai_identifier_str |
oai:repositorio.ufpe.br:123456789/50327 |
| network_acronym_str |
UFPE |
| network_name_str |
Repositório Institucional da UFPE |
| repository_id_str |
|
| spelling |
SOUZA JÚNIOR, Hélio Gonçalves dehttp://lattes.cnpq.br/6346651643913441http://lattes.cnpq.br/5943634209341438http://lattes.cnpq.br/1317570604315281VASCONCELOS, Germano CrispimCUNHA, Rodrigo Carneiro Leão Vieira da2023-05-18T14:14:03Z2023-05-18T14:14:03Z2022-03-11SOUZA JÚNIOR, Hélio Gonçalves de. Comparação de métodos de inferência dos rejeitados em modelos de Credit Scoring. 2022. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2022.https://repositorio.ufpe.br/handle/123456789/50327Os modelos de Credit Scoring têm desempenhado por muitos anos um papel impor- tante na sociedade, contribuindo para a saúde financeira e a oferta de crédito no mercado, com benefícios para credores e tomadores de empréstimos em geral. No entanto, na prática, esses modelos são normalmente construídos numa amostra da população de créditos aprovados e não consideram os clientes que foram rejeitados, causando um viés amostral. A Inferência dos Rejeitados é uma abordagem para estimar como os requerentes de crédito rejeitados teriam se comportado se tivessem sido aprovados, incorporando essas informações na reconstrução do modelo de Credit Scoring. Esta dissertação investiga e compara os métodos considerados estado da arte para inferência dos rejeitados, com dados reais em problemas de larga escala de análise de crédito: Reclassificação, Augmentation, Cluster e Parcelamento. Além disso, pro- põe uma nova abordagem para inferência dos rejeitados com um algoritmo de Deep Learning usado em outras aplicações, o Deep Learning, o Deep Embedded Clustering (DEC), para extração de características dos dados originais. Os métodos são avaliados por diversas métricas de performance, tais como: área sobre a curva ROC, Teste Kolmogorov-Smirnov, F1 score, Acurácia, Diferença entre taxas de inadimplência. Também são empregados o teste não para- métrico de Kruskal-Wallis e o teste post-hoc de Nemenyi para análise da relevância estatística dos resultados. Os métodos são analisados em três conjuntos de dados oriundos de empresas do varejo e mercado financeiro, com diversos perfis de taxa de reprovação. É investigado o quanto a inclusão de parcela dos rejeitados pode impactar em ganhos de performance nos métodos avaliados. Os experimentos realizados evidenciaram que existe diferença significativa entre os métodos estudados e que o método DEC teve desempenho superior que os demais métodos para a maioria das métricas avaliadas.Credit Scoring models have played an important role in society for many years, contribut- ing to financial health and the supply of credit in the market, with benefits for creditors and borrowers in general. However, in practice, these models are usually built on a sample of the population of approved credits and do not consider the customers that were rejected, causing a sample bias. Reject Inference is an approach to estimate how rejected credit applicants would have behaved had they been approved, incorporating this information into the reconstruc- tion of the Credit Scoring model. This dissertation investigates and compares state-of-the-art methods for inference of rejects, with real data in large-scale problems of credit analysis: Re- classification, Augmentation, Cluster and Parcelation. In addition, it proposes a new approach for reject inference with a Deep Learning algorithm used in other applications, Deep Learning, Deep Embedded Clustering (DEC), to extract features from the original data. The methods are evaluated by several performance metrics, such as: AUC, KS, F1, Accuracy, DTI. The non-parametric Kruskal-Wallis test and the post-hoc Nemenyi test are also used to analyze the statistical relevance of the results. The methods are analyzed in three sets of data from retail and financial market companies, with different failure rate profiles. It is investigated how much the inclusion of rejects can impact on performance gains in the evaluated methods. The experiments carried out showed that there is a significant difference between the methods studied and that the DEC method performed better than the other methods for most of the evaluated metrics.porUniversidade Federal de PernambucoPrograma de Pos Graduacao em Ciencia da ComputacaoUFPEBrasilhttp://creativecommons.org/licenses/by-nc-nd/3.0/br/info:eu-repo/semantics/openAccessInteligência computacionalAprendizagem de máquinaComparação de métodos de inferência dos rejeitados em modelos de Credit Scoringinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesismestradoreponame:Repositório Institucional da UFPEinstname:Universidade Federal de Pernambuco (UFPE)instacron:UFPEORIGINALDISSERTAÇÃO Hélio Gonçalves de Souza Júnior.pdfDISSERTAÇÃO Hélio Gonçalves de Souza Júnior.pdfapplication/pdf1089410https://repositorio.ufpe.br/bitstream/123456789/50327/1/DISSERTA%c3%87%c3%83O%20H%c3%a9lio%20Gon%c3%a7alves%20de%20Souza%20J%c3%banior.pdf3faa3128b65e9d55049bacb256160c80MD51CC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8811https://repositorio.ufpe.br/bitstream/123456789/50327/2/license_rdfe39d27027a6cc9cb039ad269a5db8e34MD52LICENSElicense.txtlicense.txttext/plain; charset=utf-82362https://repositorio.ufpe.br/bitstream/123456789/50327/3/license.txt5e89a1613ddc8510c6576f4b23a78973MD53TEXTDISSERTAÇÃO Hélio Gonçalves de Souza Júnior.pdf.txtDISSERTAÇÃO Hélio Gonçalves de Souza Júnior.pdf.txtExtracted texttext/plain138549https://repositorio.ufpe.br/bitstream/123456789/50327/4/DISSERTA%c3%87%c3%83O%20H%c3%a9lio%20Gon%c3%a7alves%20de%20Souza%20J%c3%banior.pdf.txtbf4e783ea5ae1bb999bd1d9c1285f3d9MD54THUMBNAILDISSERTAÇÃO Hélio Gonçalves de Souza Júnior.pdf.jpgDISSERTAÇÃO Hélio Gonçalves de Souza Júnior.pdf.jpgGenerated Thumbnailimage/jpeg1235https://repositorio.ufpe.br/bitstream/123456789/50327/5/DISSERTA%c3%87%c3%83O%20H%c3%a9lio%20Gon%c3%a7alves%20de%20Souza%20J%c3%banior.pdf.jpg7a2d6db89843db089697ba1e9a78a40dMD55123456789/503272023-05-19 02:35:59.349oai:repositorio.ufpe.br:123456789/50327VGVybW8gZGUgRGVww7NzaXRvIExlZ2FsIGUgQXV0b3JpemHDp8OjbyBwYXJhIFB1YmxpY2l6YcOnw6NvIGRlIERvY3VtZW50b3Mgbm8gUmVwb3NpdMOzcmlvIERpZ2l0YWwgZGEgVUZQRQoKCkRlY2xhcm8gZXN0YXIgY2llbnRlIGRlIHF1ZSBlc3RlIFRlcm1vIGRlIERlcMOzc2l0byBMZWdhbCBlIEF1dG9yaXphw6fDo28gdGVtIG8gb2JqZXRpdm8gZGUgZGl2dWxnYcOnw6NvIGRvcyBkb2N1bWVudG9zIGRlcG9zaXRhZG9zIG5vIFJlcG9zaXTDs3JpbyBEaWdpdGFsIGRhIFVGUEUgZSBkZWNsYXJvIHF1ZToKCkkgLSBvcyBkYWRvcyBwcmVlbmNoaWRvcyBubyBmb3JtdWzDoXJpbyBkZSBkZXDDs3NpdG8gc8OjbyB2ZXJkYWRlaXJvcyBlIGF1dMOqbnRpY29zOwoKSUkgLSAgbyBjb250ZcO6ZG8gZGlzcG9uaWJpbGl6YWRvIMOpIGRlIHJlc3BvbnNhYmlsaWRhZGUgZGUgc3VhIGF1dG9yaWE7CgpJSUkgLSBvIGNvbnRlw7pkbyDDqSBvcmlnaW5hbCwgZSBzZSBvIHRyYWJhbGhvIGUvb3UgcGFsYXZyYXMgZGUgb3V0cmFzIHBlc3NvYXMgZm9yYW0gdXRpbGl6YWRvcywgZXN0YXMgZm9yYW0gZGV2aWRhbWVudGUgcmVjb25oZWNpZGFzOwoKSVYgLSBxdWFuZG8gdHJhdGFyLXNlIGRlIG9icmEgY29sZXRpdmEgKG1haXMgZGUgdW0gYXV0b3IpOiB0b2RvcyBvcyBhdXRvcmVzIGVzdMOjbyBjaWVudGVzIGRvIGRlcMOzc2l0byBlIGRlIGFjb3JkbyBjb20gZXN0ZSB0ZXJtbzsKClYgLSBxdWFuZG8gdHJhdGFyLXNlIGRlIFRyYWJhbGhvIGRlIENvbmNsdXPDo28gZGUgQ3Vyc28sIERpc3NlcnRhw6fDo28gb3UgVGVzZTogbyBhcnF1aXZvIGRlcG9zaXRhZG8gY29ycmVzcG9uZGUgw6AgdmVyc8OjbyBmaW5hbCBkbyB0cmFiYWxobzsKClZJIC0gcXVhbmRvIHRyYXRhci1zZSBkZSBUcmFiYWxobyBkZSBDb25jbHVzw6NvIGRlIEN1cnNvLCBEaXNzZXJ0YcOnw6NvIG91IFRlc2U6IGVzdG91IGNpZW50ZSBkZSBxdWUgYSBhbHRlcmHDp8OjbyBkYSBtb2RhbGlkYWRlIGRlIGFjZXNzbyBhbyBkb2N1bWVudG8gYXDDs3MgbyBkZXDDs3NpdG8gZSBhbnRlcyBkZSBmaW5kYXIgbyBwZXLDrW9kbyBkZSBlbWJhcmdvLCBxdWFuZG8gZm9yIGVzY29saGlkbyBhY2Vzc28gcmVzdHJpdG8sIHNlcsOhIHBlcm1pdGlkYSBtZWRpYW50ZSBzb2xpY2l0YcOnw6NvIGRvIChhKSBhdXRvciAoYSkgYW8gU2lzdGVtYSBJbnRlZ3JhZG8gZGUgQmlibGlvdGVjYXMgZGEgVUZQRSAoU0lCL1VGUEUpLgoKIApQYXJhIHRyYWJhbGhvcyBlbSBBY2Vzc28gQWJlcnRvOgoKTmEgcXVhbGlkYWRlIGRlIHRpdHVsYXIgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIGRlIGF1dG9yIHF1ZSByZWNhZW0gc29icmUgZXN0ZSBkb2N1bWVudG8sIGZ1bmRhbWVudGFkbyBuYSBMZWkgZGUgRGlyZWl0byBBdXRvcmFsIG5vIDkuNjEwLCBkZSAxOSBkZSBmZXZlcmVpcm8gZGUgMTk5OCwgYXJ0LiAyOSwgaW5jaXNvIElJSSwgYXV0b3Jpem8gYSBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBQZXJuYW1idWNvIGEgZGlzcG9uaWJpbGl6YXIgZ3JhdHVpdGFtZW50ZSwgc2VtIHJlc3NhcmNpbWVudG8gZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCBwYXJhIGZpbnMgZGUgbGVpdHVyYSwgaW1wcmVzc8OjbyBlL291IGRvd25sb2FkIChhcXVpc2nDp8OjbykgYXRyYXbDqXMgZG8gc2l0ZSBkbyBSZXBvc2l0w7NyaW8gRGlnaXRhbCBkYSBVRlBFIG5vIGVuZGVyZcOnbyBodHRwOi8vd3d3LnJlcG9zaXRvcmlvLnVmcGUuYnIsIGEgcGFydGlyIGRhIGRhdGEgZGUgZGVww7NzaXRvLgoKIApQYXJhIHRyYWJhbGhvcyBlbSBBY2Vzc28gUmVzdHJpdG86CgpOYSBxdWFsaWRhZGUgZGUgdGl0dWxhciBkb3MgZGlyZWl0b3MgYXV0b3JhaXMgZGUgYXV0b3IgcXVlIHJlY2FlbSBzb2JyZSBlc3RlIGRvY3VtZW50bywgZnVuZGFtZW50YWRvIG5hIExlaSBkZSBEaXJlaXRvIEF1dG9yYWwgbm8gOS42MTAgZGUgMTkgZGUgZmV2ZXJlaXJvIGRlIDE5OTgsIGFydC4gMjksIGluY2lzbyBJSUksIGF1dG9yaXpvIGEgVW5pdmVyc2lkYWRlIEZlZGVyYWwgZGUgUGVybmFtYnVjbyBhIGRpc3BvbmliaWxpemFyIGdyYXR1aXRhbWVudGUsIHNlbSByZXNzYXJjaW1lbnRvIGRvcyBkaXJlaXRvcyBhdXRvcmFpcywgcGFyYSBmaW5zIGRlIGxlaXR1cmEsIGltcHJlc3PDo28gZS9vdSBkb3dubG9hZCAoYXF1aXNpw6fDo28pIGF0cmF2w6lzIGRvIHNpdGUgZG8gUmVwb3NpdMOzcmlvIERpZ2l0YWwgZGEgVUZQRSBubyBlbmRlcmXDp28gaHR0cDovL3d3dy5yZXBvc2l0b3Jpby51ZnBlLmJyLCBxdWFuZG8gZmluZGFyIG8gcGVyw61vZG8gZGUgZW1iYXJnbyBjb25kaXplbnRlIGFvIHRpcG8gZGUgZG9jdW1lbnRvLCBjb25mb3JtZSBpbmRpY2FkbyBubyBjYW1wbyBEYXRhIGRlIEVtYmFyZ28uCg==Repositório InstitucionalPUBhttps://repositorio.ufpe.br/oai/requestattena@ufpe.bropendoar:22212023-05-19T05:35:59Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)false |
| dc.title.pt_BR.fl_str_mv |
Comparação de métodos de inferência dos rejeitados em modelos de Credit Scoring |
| title |
Comparação de métodos de inferência dos rejeitados em modelos de Credit Scoring |
| spellingShingle |
Comparação de métodos de inferência dos rejeitados em modelos de Credit Scoring SOUZA JÚNIOR, Hélio Gonçalves de Inteligência computacional Aprendizagem de máquina |
| title_short |
Comparação de métodos de inferência dos rejeitados em modelos de Credit Scoring |
| title_full |
Comparação de métodos de inferência dos rejeitados em modelos de Credit Scoring |
| title_fullStr |
Comparação de métodos de inferência dos rejeitados em modelos de Credit Scoring |
| title_full_unstemmed |
Comparação de métodos de inferência dos rejeitados em modelos de Credit Scoring |
| title_sort |
Comparação de métodos de inferência dos rejeitados em modelos de Credit Scoring |
| author |
SOUZA JÚNIOR, Hélio Gonçalves de |
| author_facet |
SOUZA JÚNIOR, Hélio Gonçalves de |
| author_role |
author |
| dc.contributor.authorLattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/6346651643913441 |
| dc.contributor.advisorLattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/5943634209341438 |
| dc.contributor.advisor-coLattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/1317570604315281 |
| dc.contributor.author.fl_str_mv |
SOUZA JÚNIOR, Hélio Gonçalves de |
| dc.contributor.advisor1.fl_str_mv |
VASCONCELOS, Germano Crispim |
| dc.contributor.advisor-co1.fl_str_mv |
CUNHA, Rodrigo Carneiro Leão Vieira da |
| contributor_str_mv |
VASCONCELOS, Germano Crispim CUNHA, Rodrigo Carneiro Leão Vieira da |
| dc.subject.por.fl_str_mv |
Inteligência computacional Aprendizagem de máquina |
| topic |
Inteligência computacional Aprendizagem de máquina |
| description |
Os modelos de Credit Scoring têm desempenhado por muitos anos um papel impor- tante na sociedade, contribuindo para a saúde financeira e a oferta de crédito no mercado, com benefícios para credores e tomadores de empréstimos em geral. No entanto, na prática, esses modelos são normalmente construídos numa amostra da população de créditos aprovados e não consideram os clientes que foram rejeitados, causando um viés amostral. A Inferência dos Rejeitados é uma abordagem para estimar como os requerentes de crédito rejeitados teriam se comportado se tivessem sido aprovados, incorporando essas informações na reconstrução do modelo de Credit Scoring. Esta dissertação investiga e compara os métodos considerados estado da arte para inferência dos rejeitados, com dados reais em problemas de larga escala de análise de crédito: Reclassificação, Augmentation, Cluster e Parcelamento. Além disso, pro- põe uma nova abordagem para inferência dos rejeitados com um algoritmo de Deep Learning usado em outras aplicações, o Deep Learning, o Deep Embedded Clustering (DEC), para extração de características dos dados originais. Os métodos são avaliados por diversas métricas de performance, tais como: área sobre a curva ROC, Teste Kolmogorov-Smirnov, F1 score, Acurácia, Diferença entre taxas de inadimplência. Também são empregados o teste não para- métrico de Kruskal-Wallis e o teste post-hoc de Nemenyi para análise da relevância estatística dos resultados. Os métodos são analisados em três conjuntos de dados oriundos de empresas do varejo e mercado financeiro, com diversos perfis de taxa de reprovação. É investigado o quanto a inclusão de parcela dos rejeitados pode impactar em ganhos de performance nos métodos avaliados. Os experimentos realizados evidenciaram que existe diferença significativa entre os métodos estudados e que o método DEC teve desempenho superior que os demais métodos para a maioria das métricas avaliadas. |
| publishDate |
2022 |
| dc.date.issued.fl_str_mv |
2022-03-11 |
| dc.date.accessioned.fl_str_mv |
2023-05-18T14:14:03Z |
| dc.date.available.fl_str_mv |
2023-05-18T14:14:03Z |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
| format |
masterThesis |
| status_str |
publishedVersion |
| dc.identifier.citation.fl_str_mv |
SOUZA JÚNIOR, Hélio Gonçalves de. Comparação de métodos de inferência dos rejeitados em modelos de Credit Scoring. 2022. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2022. |
| dc.identifier.uri.fl_str_mv |
https://repositorio.ufpe.br/handle/123456789/50327 |
| identifier_str_mv |
SOUZA JÚNIOR, Hélio Gonçalves de. Comparação de métodos de inferência dos rejeitados em modelos de Credit Scoring. 2022. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2022. |
| url |
https://repositorio.ufpe.br/handle/123456789/50327 |
| dc.language.iso.fl_str_mv |
por |
| language |
por |
| dc.rights.driver.fl_str_mv |
http://creativecommons.org/licenses/by-nc-nd/3.0/br/ info:eu-repo/semantics/openAccess |
| rights_invalid_str_mv |
http://creativecommons.org/licenses/by-nc-nd/3.0/br/ |
| eu_rights_str_mv |
openAccess |
| dc.publisher.none.fl_str_mv |
Universidade Federal de Pernambuco |
| dc.publisher.program.fl_str_mv |
Programa de Pos Graduacao em Ciencia da Computacao |
| dc.publisher.initials.fl_str_mv |
UFPE |
| dc.publisher.country.fl_str_mv |
Brasil |
| publisher.none.fl_str_mv |
Universidade Federal de Pernambuco |
| dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFPE instname:Universidade Federal de Pernambuco (UFPE) instacron:UFPE |
| instname_str |
Universidade Federal de Pernambuco (UFPE) |
| instacron_str |
UFPE |
| institution |
UFPE |
| reponame_str |
Repositório Institucional da UFPE |
| collection |
Repositório Institucional da UFPE |
| bitstream.url.fl_str_mv |
https://repositorio.ufpe.br/bitstream/123456789/50327/1/DISSERTA%c3%87%c3%83O%20H%c3%a9lio%20Gon%c3%a7alves%20de%20Souza%20J%c3%banior.pdf https://repositorio.ufpe.br/bitstream/123456789/50327/2/license_rdf https://repositorio.ufpe.br/bitstream/123456789/50327/3/license.txt https://repositorio.ufpe.br/bitstream/123456789/50327/4/DISSERTA%c3%87%c3%83O%20H%c3%a9lio%20Gon%c3%a7alves%20de%20Souza%20J%c3%banior.pdf.txt https://repositorio.ufpe.br/bitstream/123456789/50327/5/DISSERTA%c3%87%c3%83O%20H%c3%a9lio%20Gon%c3%a7alves%20de%20Souza%20J%c3%banior.pdf.jpg |
| bitstream.checksum.fl_str_mv |
3faa3128b65e9d55049bacb256160c80 e39d27027a6cc9cb039ad269a5db8e34 5e89a1613ddc8510c6576f4b23a78973 bf4e783ea5ae1bb999bd1d9c1285f3d9 7a2d6db89843db089697ba1e9a78a40d |
| bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 MD5 |
| repository.name.fl_str_mv |
Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE) |
| repository.mail.fl_str_mv |
attena@ufpe.br |
| _version_ |
1862741794292236288 |