Inteligência artificial explicável para detecção de fissuras em concreto armado : uma abordagem pós-hoc combinando técnicas de XAI em eedes neurais convolucionais

Detalhes bibliográficos
Ano de defesa: 2025
Autor(a) principal: FRAGOSO, Gabriel Arnaud de Melo
Orientador(a): LUDERMIR, Teresa Bernarda
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Federal de Pernambuco
Programa de Pós-Graduação: Programa de Pos Graduacao em Ciencia da Computacao
Departamento: Não Informado pela instituição
País: Brasil
Palavras-chave em Português:
Link de acesso: https://repositorio.ufpe.br/handle/123456789/64857
Resumo: Este trabalho propõe uma abordagem inovadora para aumentar a interpretabilidade de redes neurais convolucionais (CNNs) na tarefa de detecção de fissuras em estruturas de concreto, integrando algoritmos de explicabilidade baseados em visualização, como o Grad-CAM, com técnicas de segmentação não supervisionada, a exemplo do algoritmo K-means. A metodo- logia emprega aprendizado por transferência com arquiteturas consagradas (VGG16, VGG19 e ResNet) alcançando acurácia superior a 99% nos conjuntos de treinamento e teste. Foram avaliadas estratégias de explicabilidade fundamentadas tanto em perturbação do espaço de entrada quanto nos pesos internos das camadas convolucionais. Os resultados indicam que a combinação entre Grad-CAM e K-means aprimora não apenas a acurácia na detecção de fis- suras, mas também a transparência do processo decisório, aspecto crítico para aplicações reais em monitoramento estrutural. Para mensurar objetivamente o grau de explicabilidade dos mo- delos, foi proposta uma nova métrica baseada na sobreposição entre as máscaras geradas pelos mapas de ativação das técnicas de explicabilidade e os segmentos resultantes da clusterização, permitindo avaliar a coerência espacial entre as regiões de interesse destacadas pelo modelo e as áreas efetivamente associadas às fissuras. Embora o desempenho da segmentação tenha sido majoritariamente satisfatório, foram identificadas limitações em imagens com alta com- plexidade visual. A seleção automatizada de camadas mais relevantes para análise foi validada por especialistas em engenharia civil, reforçando a viabilidade prática da proposta. Ressalta-se o ineditismo da abordagem com foco explícito em explicabilidade no contexto da classificação de fissuras em concreto, com código-fonte disponibilizado abertamente no GitHub. Como des- dobramento natural, recomenda-se a investigação de técnicas de segmentação mais robustas e a ampliação do conjunto de dados para abranger maior diversidade de padrões fissurais.
id UFPE_1b5954c20bc8a1a98f6d20daa979e879
oai_identifier_str oai:repositorio.ufpe.br:123456789/64857
network_acronym_str UFPE
network_name_str Repositório Institucional da UFPE
repository_id_str
spelling FRAGOSO, Gabriel Arnaud de Melohttp://lattes.cnpq.br/7691650682985246http://lattes.cnpq.br/6321179168854922LUDERMIR, Teresa Bernarda2025-08-06T12:31:29Z2025-08-06T12:31:29Z2025-07-17FRAGOSO, Gabriel Arnaud de Melo. Inteligência artificial explicável para detecção de fissuras em concreto armado: uma abordagem pós-hoc combinando técnicas de XAI em eedes neurais convolucionais. 2025. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2025.https://repositorio.ufpe.br/handle/123456789/64857Este trabalho propõe uma abordagem inovadora para aumentar a interpretabilidade de redes neurais convolucionais (CNNs) na tarefa de detecção de fissuras em estruturas de concreto, integrando algoritmos de explicabilidade baseados em visualização, como o Grad-CAM, com técnicas de segmentação não supervisionada, a exemplo do algoritmo K-means. A metodo- logia emprega aprendizado por transferência com arquiteturas consagradas (VGG16, VGG19 e ResNet) alcançando acurácia superior a 99% nos conjuntos de treinamento e teste. Foram avaliadas estratégias de explicabilidade fundamentadas tanto em perturbação do espaço de entrada quanto nos pesos internos das camadas convolucionais. Os resultados indicam que a combinação entre Grad-CAM e K-means aprimora não apenas a acurácia na detecção de fis- suras, mas também a transparência do processo decisório, aspecto crítico para aplicações reais em monitoramento estrutural. Para mensurar objetivamente o grau de explicabilidade dos mo- delos, foi proposta uma nova métrica baseada na sobreposição entre as máscaras geradas pelos mapas de ativação das técnicas de explicabilidade e os segmentos resultantes da clusterização, permitindo avaliar a coerência espacial entre as regiões de interesse destacadas pelo modelo e as áreas efetivamente associadas às fissuras. Embora o desempenho da segmentação tenha sido majoritariamente satisfatório, foram identificadas limitações em imagens com alta com- plexidade visual. A seleção automatizada de camadas mais relevantes para análise foi validada por especialistas em engenharia civil, reforçando a viabilidade prática da proposta. Ressalta-se o ineditismo da abordagem com foco explícito em explicabilidade no contexto da classificação de fissuras em concreto, com código-fonte disponibilizado abertamente no GitHub. Como des- dobramento natural, recomenda-se a investigação de técnicas de segmentação mais robustas e a ampliação do conjunto de dados para abranger maior diversidade de padrões fissurais.This study proposes an innovative approach to enhance the interpretability of Convolutional Neural Networks (CNNs) in the task of crack detection in concrete structures, by integrat- ing visualization-based explainability algorithms, such as Grad-CAM, with unsupervised image segmentation techniques, exemplified by the K-means clustering algorithm. The methodology employs transfer learning using well-established architectures (VGG16, VGG19, and ResNet), achieving accuracy rates above 99% on both training and testing datasets. Explainability strategies were evaluated based on both input perturbation methods and the internal weights of convolutional layers. The results indicate that the combination of Grad-CAM and K-means not only improves the accuracy of crack detection but also enhances the transparency of the decision-making process—an essential aspect for real-world applications in structural health monitoring. To objectively quantify model explainability, a novel metric was proposed based on the overlap between the activation maps generated by explainability techniques and the image segments obtained through clustering. This metric enables the assessment of spatial coherence between the model-highlighted regions of interest and the areas actually associated with cracks. Although the segmentation performance was generally satisfactory, limitations were observed in cases involving images with high visual complexity. The automatic selection of the most relevant layers for analysis was validated by civil engineering experts, reinforcing the practical applicability of the proposed method. This work is noteworthy for being one of the first public contributions focused on explainability in the context of concrete crack clas- sification, with its source code openly available on GitHub. For future work, the adoption of more robust segmentation techniques and the expansion of the dataset to include a greater variety of crack patterns are recommended.porUniversidade Federal de PernambucoPrograma de Pos Graduacao em Ciencia da ComputacaoUFPEBrasilhttps://creativecommons.org/licenses/by-nc-nd/4.0/info:eu-repo/semantics/openAccessRedes Neurais Convolucionais (CNN)Inteligência Artificial Explicável (XAI)Engenharia civil assistida por inteligência artificialInteligência artificial explicável para detecção de fissuras em concreto armado : uma abordagem pós-hoc combinando técnicas de XAI em eedes neurais convolucionaisinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesismestradoreponame:Repositório Institucional da UFPEinstname:Universidade Federal de Pernambuco (UFPE)instacron:UFPETEXTDISSERTAÇÃO Gabriel Arnaud De Melo Fragoso.pdf.txtDISSERTAÇÃO Gabriel Arnaud De Melo Fragoso.pdf.txtExtracted texttext/plain144145https://repositorio.ufpe.br/bitstream/123456789/64857/3/DISSERTA%c3%87%c3%83O%20Gabriel%20Arnaud%20De%20Melo%20Fragoso.pdf.txt7631ae7766f8b1faa2e6e904041fe6ebMD53THUMBNAILDISSERTAÇÃO Gabriel Arnaud De Melo Fragoso.pdf.jpgDISSERTAÇÃO Gabriel Arnaud De Melo Fragoso.pdf.jpgGenerated Thumbnailimage/jpeg1232https://repositorio.ufpe.br/bitstream/123456789/64857/4/DISSERTA%c3%87%c3%83O%20Gabriel%20Arnaud%20De%20Melo%20Fragoso.pdf.jpgaa143896ac07b285e80d420eaf86821aMD54ORIGINALDISSERTAÇÃO Gabriel Arnaud De Melo Fragoso.pdfDISSERTAÇÃO Gabriel Arnaud De Melo Fragoso.pdfapplication/pdf5992699https://repositorio.ufpe.br/bitstream/123456789/64857/1/DISSERTA%c3%87%c3%83O%20Gabriel%20Arnaud%20De%20Melo%20Fragoso.pdf924e64e795f31b1b838361df10011ee5MD51LICENSElicense.txtlicense.txttext/plain; charset=utf-82362https://repositorio.ufpe.br/bitstream/123456789/64857/2/license.txt5e89a1613ddc8510c6576f4b23a78973MD52123456789/648572025-08-10 14:59:00.911oai:repositorio.ufpe.br:123456789/64857VGVybW8gZGUgRGVww7NzaXRvIExlZ2FsIGUgQXV0b3JpemHDp8OjbyBwYXJhIFB1YmxpY2l6YcOnw6NvIGRlIERvY3VtZW50b3Mgbm8gUmVwb3NpdMOzcmlvIERpZ2l0YWwgZGEgVUZQRQoKCkRlY2xhcm8gZXN0YXIgY2llbnRlIGRlIHF1ZSBlc3RlIFRlcm1vIGRlIERlcMOzc2l0byBMZWdhbCBlIEF1dG9yaXphw6fDo28gdGVtIG8gb2JqZXRpdm8gZGUgZGl2dWxnYcOnw6NvIGRvcyBkb2N1bWVudG9zIGRlcG9zaXRhZG9zIG5vIFJlcG9zaXTDs3JpbyBEaWdpdGFsIGRhIFVGUEUgZSBkZWNsYXJvIHF1ZToKCkkgLSBvcyBkYWRvcyBwcmVlbmNoaWRvcyBubyBmb3JtdWzDoXJpbyBkZSBkZXDDs3NpdG8gc8OjbyB2ZXJkYWRlaXJvcyBlIGF1dMOqbnRpY29zOwoKSUkgLSAgbyBjb250ZcO6ZG8gZGlzcG9uaWJpbGl6YWRvIMOpIGRlIHJlc3BvbnNhYmlsaWRhZGUgZGUgc3VhIGF1dG9yaWE7CgpJSUkgLSBvIGNvbnRlw7pkbyDDqSBvcmlnaW5hbCwgZSBzZSBvIHRyYWJhbGhvIGUvb3UgcGFsYXZyYXMgZGUgb3V0cmFzIHBlc3NvYXMgZm9yYW0gdXRpbGl6YWRvcywgZXN0YXMgZm9yYW0gZGV2aWRhbWVudGUgcmVjb25oZWNpZGFzOwoKSVYgLSBxdWFuZG8gdHJhdGFyLXNlIGRlIG9icmEgY29sZXRpdmEgKG1haXMgZGUgdW0gYXV0b3IpOiB0b2RvcyBvcyBhdXRvcmVzIGVzdMOjbyBjaWVudGVzIGRvIGRlcMOzc2l0byBlIGRlIGFjb3JkbyBjb20gZXN0ZSB0ZXJtbzsKClYgLSBxdWFuZG8gdHJhdGFyLXNlIGRlIFRyYWJhbGhvIGRlIENvbmNsdXPDo28gZGUgQ3Vyc28sIERpc3NlcnRhw6fDo28gb3UgVGVzZTogbyBhcnF1aXZvIGRlcG9zaXRhZG8gY29ycmVzcG9uZGUgw6AgdmVyc8OjbyBmaW5hbCBkbyB0cmFiYWxobzsKClZJIC0gcXVhbmRvIHRyYXRhci1zZSBkZSBUcmFiYWxobyBkZSBDb25jbHVzw6NvIGRlIEN1cnNvLCBEaXNzZXJ0YcOnw6NvIG91IFRlc2U6IGVzdG91IGNpZW50ZSBkZSBxdWUgYSBhbHRlcmHDp8OjbyBkYSBtb2RhbGlkYWRlIGRlIGFjZXNzbyBhbyBkb2N1bWVudG8gYXDDs3MgbyBkZXDDs3NpdG8gZSBhbnRlcyBkZSBmaW5kYXIgbyBwZXLDrW9kbyBkZSBlbWJhcmdvLCBxdWFuZG8gZm9yIGVzY29saGlkbyBhY2Vzc28gcmVzdHJpdG8sIHNlcsOhIHBlcm1pdGlkYSBtZWRpYW50ZSBzb2xpY2l0YcOnw6NvIGRvIChhKSBhdXRvciAoYSkgYW8gU2lzdGVtYSBJbnRlZ3JhZG8gZGUgQmlibGlvdGVjYXMgZGEgVUZQRSAoU0lCL1VGUEUpLgoKIApQYXJhIHRyYWJhbGhvcyBlbSBBY2Vzc28gQWJlcnRvOgoKTmEgcXVhbGlkYWRlIGRlIHRpdHVsYXIgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIGRlIGF1dG9yIHF1ZSByZWNhZW0gc29icmUgZXN0ZSBkb2N1bWVudG8sIGZ1bmRhbWVudGFkbyBuYSBMZWkgZGUgRGlyZWl0byBBdXRvcmFsIG5vIDkuNjEwLCBkZSAxOSBkZSBmZXZlcmVpcm8gZGUgMTk5OCwgYXJ0LiAyOSwgaW5jaXNvIElJSSwgYXV0b3Jpem8gYSBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBQZXJuYW1idWNvIGEgZGlzcG9uaWJpbGl6YXIgZ3JhdHVpdGFtZW50ZSwgc2VtIHJlc3NhcmNpbWVudG8gZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCBwYXJhIGZpbnMgZGUgbGVpdHVyYSwgaW1wcmVzc8OjbyBlL291IGRvd25sb2FkIChhcXVpc2nDp8OjbykgYXRyYXbDqXMgZG8gc2l0ZSBkbyBSZXBvc2l0w7NyaW8gRGlnaXRhbCBkYSBVRlBFIG5vIGVuZGVyZcOnbyBodHRwOi8vd3d3LnJlcG9zaXRvcmlvLnVmcGUuYnIsIGEgcGFydGlyIGRhIGRhdGEgZGUgZGVww7NzaXRvLgoKIApQYXJhIHRyYWJhbGhvcyBlbSBBY2Vzc28gUmVzdHJpdG86CgpOYSBxdWFsaWRhZGUgZGUgdGl0dWxhciBkb3MgZGlyZWl0b3MgYXV0b3JhaXMgZGUgYXV0b3IgcXVlIHJlY2FlbSBzb2JyZSBlc3RlIGRvY3VtZW50bywgZnVuZGFtZW50YWRvIG5hIExlaSBkZSBEaXJlaXRvIEF1dG9yYWwgbm8gOS42MTAgZGUgMTkgZGUgZmV2ZXJlaXJvIGRlIDE5OTgsIGFydC4gMjksIGluY2lzbyBJSUksIGF1dG9yaXpvIGEgVW5pdmVyc2lkYWRlIEZlZGVyYWwgZGUgUGVybmFtYnVjbyBhIGRpc3BvbmliaWxpemFyIGdyYXR1aXRhbWVudGUsIHNlbSByZXNzYXJjaW1lbnRvIGRvcyBkaXJlaXRvcyBhdXRvcmFpcywgcGFyYSBmaW5zIGRlIGxlaXR1cmEsIGltcHJlc3PDo28gZS9vdSBkb3dubG9hZCAoYXF1aXNpw6fDo28pIGF0cmF2w6lzIGRvIHNpdGUgZG8gUmVwb3NpdMOzcmlvIERpZ2l0YWwgZGEgVUZQRSBubyBlbmRlcmXDp28gaHR0cDovL3d3dy5yZXBvc2l0b3Jpby51ZnBlLmJyLCBxdWFuZG8gZmluZGFyIG8gcGVyw61vZG8gZGUgZW1iYXJnbyBjb25kaXplbnRlIGFvIHRpcG8gZGUgZG9jdW1lbnRvLCBjb25mb3JtZSBpbmRpY2FkbyBubyBjYW1wbyBEYXRhIGRlIEVtYmFyZ28uCg==Repositório InstitucionalPUBhttps://repositorio.ufpe.br/oai/requestattena@ufpe.bropendoar:22212025-08-10T17:59Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)false
dc.title.pt_BR.fl_str_mv Inteligência artificial explicável para detecção de fissuras em concreto armado : uma abordagem pós-hoc combinando técnicas de XAI em eedes neurais convolucionais
title Inteligência artificial explicável para detecção de fissuras em concreto armado : uma abordagem pós-hoc combinando técnicas de XAI em eedes neurais convolucionais
spellingShingle Inteligência artificial explicável para detecção de fissuras em concreto armado : uma abordagem pós-hoc combinando técnicas de XAI em eedes neurais convolucionais
FRAGOSO, Gabriel Arnaud de Melo
Redes Neurais Convolucionais (CNN)
Inteligência Artificial Explicável (XAI)
Engenharia civil assistida por inteligência artificial
title_short Inteligência artificial explicável para detecção de fissuras em concreto armado : uma abordagem pós-hoc combinando técnicas de XAI em eedes neurais convolucionais
title_full Inteligência artificial explicável para detecção de fissuras em concreto armado : uma abordagem pós-hoc combinando técnicas de XAI em eedes neurais convolucionais
title_fullStr Inteligência artificial explicável para detecção de fissuras em concreto armado : uma abordagem pós-hoc combinando técnicas de XAI em eedes neurais convolucionais
title_full_unstemmed Inteligência artificial explicável para detecção de fissuras em concreto armado : uma abordagem pós-hoc combinando técnicas de XAI em eedes neurais convolucionais
title_sort Inteligência artificial explicável para detecção de fissuras em concreto armado : uma abordagem pós-hoc combinando técnicas de XAI em eedes neurais convolucionais
author FRAGOSO, Gabriel Arnaud de Melo
author_facet FRAGOSO, Gabriel Arnaud de Melo
author_role author
dc.contributor.authorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/7691650682985246
dc.contributor.advisorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/6321179168854922
dc.contributor.author.fl_str_mv FRAGOSO, Gabriel Arnaud de Melo
dc.contributor.advisor1.fl_str_mv LUDERMIR, Teresa Bernarda
contributor_str_mv LUDERMIR, Teresa Bernarda
dc.subject.por.fl_str_mv Redes Neurais Convolucionais (CNN)
Inteligência Artificial Explicável (XAI)
Engenharia civil assistida por inteligência artificial
topic Redes Neurais Convolucionais (CNN)
Inteligência Artificial Explicável (XAI)
Engenharia civil assistida por inteligência artificial
description Este trabalho propõe uma abordagem inovadora para aumentar a interpretabilidade de redes neurais convolucionais (CNNs) na tarefa de detecção de fissuras em estruturas de concreto, integrando algoritmos de explicabilidade baseados em visualização, como o Grad-CAM, com técnicas de segmentação não supervisionada, a exemplo do algoritmo K-means. A metodo- logia emprega aprendizado por transferência com arquiteturas consagradas (VGG16, VGG19 e ResNet) alcançando acurácia superior a 99% nos conjuntos de treinamento e teste. Foram avaliadas estratégias de explicabilidade fundamentadas tanto em perturbação do espaço de entrada quanto nos pesos internos das camadas convolucionais. Os resultados indicam que a combinação entre Grad-CAM e K-means aprimora não apenas a acurácia na detecção de fis- suras, mas também a transparência do processo decisório, aspecto crítico para aplicações reais em monitoramento estrutural. Para mensurar objetivamente o grau de explicabilidade dos mo- delos, foi proposta uma nova métrica baseada na sobreposição entre as máscaras geradas pelos mapas de ativação das técnicas de explicabilidade e os segmentos resultantes da clusterização, permitindo avaliar a coerência espacial entre as regiões de interesse destacadas pelo modelo e as áreas efetivamente associadas às fissuras. Embora o desempenho da segmentação tenha sido majoritariamente satisfatório, foram identificadas limitações em imagens com alta com- plexidade visual. A seleção automatizada de camadas mais relevantes para análise foi validada por especialistas em engenharia civil, reforçando a viabilidade prática da proposta. Ressalta-se o ineditismo da abordagem com foco explícito em explicabilidade no contexto da classificação de fissuras em concreto, com código-fonte disponibilizado abertamente no GitHub. Como des- dobramento natural, recomenda-se a investigação de técnicas de segmentação mais robustas e a ampliação do conjunto de dados para abranger maior diversidade de padrões fissurais.
publishDate 2025
dc.date.accessioned.fl_str_mv 2025-08-06T12:31:29Z
dc.date.available.fl_str_mv 2025-08-06T12:31:29Z
dc.date.issued.fl_str_mv 2025-07-17
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv FRAGOSO, Gabriel Arnaud de Melo. Inteligência artificial explicável para detecção de fissuras em concreto armado: uma abordagem pós-hoc combinando técnicas de XAI em eedes neurais convolucionais. 2025. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2025.
dc.identifier.uri.fl_str_mv https://repositorio.ufpe.br/handle/123456789/64857
identifier_str_mv FRAGOSO, Gabriel Arnaud de Melo. Inteligência artificial explicável para detecção de fissuras em concreto armado: uma abordagem pós-hoc combinando técnicas de XAI em eedes neurais convolucionais. 2025. Dissertação (Mestrado em Ciência da Computação) – Universidade Federal de Pernambuco, Recife, 2025.
url https://repositorio.ufpe.br/handle/123456789/64857
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv https://creativecommons.org/licenses/by-nc-nd/4.0/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv https://creativecommons.org/licenses/by-nc-nd/4.0/
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de Pernambuco
dc.publisher.program.fl_str_mv Programa de Pos Graduacao em Ciencia da Computacao
dc.publisher.initials.fl_str_mv UFPE
dc.publisher.country.fl_str_mv Brasil
publisher.none.fl_str_mv Universidade Federal de Pernambuco
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFPE
instname:Universidade Federal de Pernambuco (UFPE)
instacron:UFPE
instname_str Universidade Federal de Pernambuco (UFPE)
instacron_str UFPE
institution UFPE
reponame_str Repositório Institucional da UFPE
collection Repositório Institucional da UFPE
bitstream.url.fl_str_mv https://repositorio.ufpe.br/bitstream/123456789/64857/3/DISSERTA%c3%87%c3%83O%20Gabriel%20Arnaud%20De%20Melo%20Fragoso.pdf.txt
https://repositorio.ufpe.br/bitstream/123456789/64857/4/DISSERTA%c3%87%c3%83O%20Gabriel%20Arnaud%20De%20Melo%20Fragoso.pdf.jpg
https://repositorio.ufpe.br/bitstream/123456789/64857/1/DISSERTA%c3%87%c3%83O%20Gabriel%20Arnaud%20De%20Melo%20Fragoso.pdf
https://repositorio.ufpe.br/bitstream/123456789/64857/2/license.txt
bitstream.checksum.fl_str_mv 7631ae7766f8b1faa2e6e904041fe6eb
aa143896ac07b285e80d420eaf86821a
924e64e795f31b1b838361df10011ee5
5e89a1613ddc8510c6576f4b23a78973
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)
repository.mail.fl_str_mv attena@ufpe.br
_version_ 1862741731392356352