Avaliação sobre a confiabilidade de conjuntos de imagens de raio-X para treinamento de redes neurais convolucionais em apoio ao diagnóstico

Detalhes bibliográficos
Ano de defesa: 2025
Autor(a) principal: Quirino, Felipe Antunes
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Biblioteca Digitais de Teses e Dissertações da USP
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Link de acesso: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-23072025-170049/
Resumo: Métodos de inteligência artificial, em particular as Redes Neurais Convolucionais (CNNs), têm sido amplamente aplicadas no suporte ao diagnóstico de anomalias em imagens de radiografia torácica. Entretanto, a natureza de caixa-preta das CNNs pode fazer com que aprendam padrões que não estão diretamente relacionados às opacidades típicas da pneumonia, comprometendo, assim, a imparcialidade do modelo. Esses padrões, a exemplo de aparatos médicos, características demográficas ou anotações presentes nas imagens, podem resultar em desempenhos enganadores durante os testes, dado que os modelos não aprendem necessariamente a resolver o problema proposto. Esse comportamento limita a aplicabilidade dos modelos em sistemas de produção no contexto hospitalar. Considerando que, nas imagens de radiografia torácica, os padrões típicos da pneumonia estão na região dos pulmões e visando investigar esses padrões espúrios, foi implementado um protocolo com dois enfoques principais: ocultar e isolar os pulmões nas imagens. Por meio desse processamento, foi possível avaliar o desempenho dos algoritmos ao serem treinados e testados em três cenários: imagens originais, com pulmões removidos e com pulmões segmentados. Esse protocolo foi aplicado em quatro conjuntos de dados distintos, com avaliações cruzadas entre eles. Os resultados foram analisados estatisticamente por meio de validação cruzada utilizando 10-fold. Além disso, realizamos análises visuais com o método Grad-CAM. Os resultados obtidos indicam que, nos cenários avaliados, as CNNs mantêm um desempenho consistentemente superior ao acaso. Observa-se, também, que as redes conseguem transferir o aprendizado de correlações espúrias entre diferentes conjuntos de dados. As análises visuais sugerem que as redes neurais frequentemente focam em padrões, a exemplo de caracteres inseridos nas imagens e regiões anatômicas não relacionadas aos pulmões. Tais aparatos médicos, ao se mostrar generalizáveis entre bases de dados distintas, representam um desafio para a avaliação do desempenho real dos modelos de CNNs. Esses resultados destacam que as correlações espúrias podem distorcer o aprendizado relevante para o problema em estudo (i.e., opacidades pulmonares), comprometendo a confiabilidade dos modelos para aplicações práticas.
id USP_de52bbce84db202938b05a582967a3ab
oai_identifier_str oai:teses.usp.br:tde-23072025-170049
network_acronym_str USP
network_name_str Biblioteca Digital de Teses e Dissertações da USP
repository_id_str
spelling Avaliação sobre a confiabilidade de conjuntos de imagens de raio-X para treinamento de redes neurais convolucionais em apoio ao diagnósticoEvaluating the trustworthiness of X-ray datasets for training convolutional neural networks in diagnostic supportAprendizado profundoArtificial intelligenceConfiabilidadeCorrelações espúriasDeep learningInteligência artificialRadiographyRaio-XSpurious correlationsTrustworthyMétodos de inteligência artificial, em particular as Redes Neurais Convolucionais (CNNs), têm sido amplamente aplicadas no suporte ao diagnóstico de anomalias em imagens de radiografia torácica. Entretanto, a natureza de caixa-preta das CNNs pode fazer com que aprendam padrões que não estão diretamente relacionados às opacidades típicas da pneumonia, comprometendo, assim, a imparcialidade do modelo. Esses padrões, a exemplo de aparatos médicos, características demográficas ou anotações presentes nas imagens, podem resultar em desempenhos enganadores durante os testes, dado que os modelos não aprendem necessariamente a resolver o problema proposto. Esse comportamento limita a aplicabilidade dos modelos em sistemas de produção no contexto hospitalar. Considerando que, nas imagens de radiografia torácica, os padrões típicos da pneumonia estão na região dos pulmões e visando investigar esses padrões espúrios, foi implementado um protocolo com dois enfoques principais: ocultar e isolar os pulmões nas imagens. Por meio desse processamento, foi possível avaliar o desempenho dos algoritmos ao serem treinados e testados em três cenários: imagens originais, com pulmões removidos e com pulmões segmentados. Esse protocolo foi aplicado em quatro conjuntos de dados distintos, com avaliações cruzadas entre eles. Os resultados foram analisados estatisticamente por meio de validação cruzada utilizando 10-fold. Além disso, realizamos análises visuais com o método Grad-CAM. Os resultados obtidos indicam que, nos cenários avaliados, as CNNs mantêm um desempenho consistentemente superior ao acaso. Observa-se, também, que as redes conseguem transferir o aprendizado de correlações espúrias entre diferentes conjuntos de dados. As análises visuais sugerem que as redes neurais frequentemente focam em padrões, a exemplo de caracteres inseridos nas imagens e regiões anatômicas não relacionadas aos pulmões. Tais aparatos médicos, ao se mostrar generalizáveis entre bases de dados distintas, representam um desafio para a avaliação do desempenho real dos modelos de CNNs. Esses resultados destacam que as correlações espúrias podem distorcer o aprendizado relevante para o problema em estudo (i.e., opacidades pulmonares), comprometendo a confiabilidade dos modelos para aplicações práticas.Artificial intelligence methods, especially Convolutional Neural Networks (CNNs), have been widely applied to support the diagnosis of anomalies in chest radiography images. However, the black-box nature of CNNs can lead these algorithms to learn from spurious correlations without the user being aware. Such correlations, including artifacts, demographic characteristics, or annotations present in the images, may result in misleading performance during testing, as the models do not necessarily learn to address the intended problem but instead focus on these irrelevant patterns. This behavior constrains the applicability of the models in production systems within the hospital context. To investigate these spurious correlations, we implemented a protocol with two main approaches: the hiding of lungs and their isolation in the images. Through this processing, we evaluated the performance of the algorithms when trained and tested in three scenarios: original images, images with lungs removed, and images with segmented lungs. This protocol was applied to four distinct datasets, with cross-evaluation conducted between them. The results were statistically analyzed using 10-fold cross-validation. Additionally, we conducted visual analyses using the Grad-CAM method. The findings indicate that, across the evaluated scenarios, CNNs consistently achieve performance above random chance. We also observed that the networks can transfer the learning of spurious correlations between different datasets. The visual analyses suggest that neural networks often focus on patterns such as characters embedded in the images and anatomical regions unrelated to the lungs. These artifacts, which appear to generalize across different datasets, pose a challenge for assessing the true performance of CNN models. These results highlight that spurious correlations may distort the learning of relevant features for the problem under study (i.e., lung opacities), potentially compromising the trustworthiness of the models for actual implementation.Biblioteca Digitais de Teses e Dissertações da USPTraina, Agma Juci MachadoQuirino, Felipe Antunes2025-04-16info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://www.teses.usp.br/teses/disponiveis/55/55134/tde-23072025-170049/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesspor2025-07-23T20:08:01Zoai:teses.usp.br:tde-23072025-170049Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212025-07-23T20:08:01Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false
dc.title.none.fl_str_mv Avaliação sobre a confiabilidade de conjuntos de imagens de raio-X para treinamento de redes neurais convolucionais em apoio ao diagnóstico
Evaluating the trustworthiness of X-ray datasets for training convolutional neural networks in diagnostic support
title Avaliação sobre a confiabilidade de conjuntos de imagens de raio-X para treinamento de redes neurais convolucionais em apoio ao diagnóstico
spellingShingle Avaliação sobre a confiabilidade de conjuntos de imagens de raio-X para treinamento de redes neurais convolucionais em apoio ao diagnóstico
Quirino, Felipe Antunes
Aprendizado profundo
Artificial intelligence
Confiabilidade
Correlações espúrias
Deep learning
Inteligência artificial
Radiography
Raio-X
Spurious correlations
Trustworthy
title_short Avaliação sobre a confiabilidade de conjuntos de imagens de raio-X para treinamento de redes neurais convolucionais em apoio ao diagnóstico
title_full Avaliação sobre a confiabilidade de conjuntos de imagens de raio-X para treinamento de redes neurais convolucionais em apoio ao diagnóstico
title_fullStr Avaliação sobre a confiabilidade de conjuntos de imagens de raio-X para treinamento de redes neurais convolucionais em apoio ao diagnóstico
title_full_unstemmed Avaliação sobre a confiabilidade de conjuntos de imagens de raio-X para treinamento de redes neurais convolucionais em apoio ao diagnóstico
title_sort Avaliação sobre a confiabilidade de conjuntos de imagens de raio-X para treinamento de redes neurais convolucionais em apoio ao diagnóstico
author Quirino, Felipe Antunes
author_facet Quirino, Felipe Antunes
author_role author
dc.contributor.none.fl_str_mv Traina, Agma Juci Machado
dc.contributor.author.fl_str_mv Quirino, Felipe Antunes
dc.subject.por.fl_str_mv Aprendizado profundo
Artificial intelligence
Confiabilidade
Correlações espúrias
Deep learning
Inteligência artificial
Radiography
Raio-X
Spurious correlations
Trustworthy
topic Aprendizado profundo
Artificial intelligence
Confiabilidade
Correlações espúrias
Deep learning
Inteligência artificial
Radiography
Raio-X
Spurious correlations
Trustworthy
description Métodos de inteligência artificial, em particular as Redes Neurais Convolucionais (CNNs), têm sido amplamente aplicadas no suporte ao diagnóstico de anomalias em imagens de radiografia torácica. Entretanto, a natureza de caixa-preta das CNNs pode fazer com que aprendam padrões que não estão diretamente relacionados às opacidades típicas da pneumonia, comprometendo, assim, a imparcialidade do modelo. Esses padrões, a exemplo de aparatos médicos, características demográficas ou anotações presentes nas imagens, podem resultar em desempenhos enganadores durante os testes, dado que os modelos não aprendem necessariamente a resolver o problema proposto. Esse comportamento limita a aplicabilidade dos modelos em sistemas de produção no contexto hospitalar. Considerando que, nas imagens de radiografia torácica, os padrões típicos da pneumonia estão na região dos pulmões e visando investigar esses padrões espúrios, foi implementado um protocolo com dois enfoques principais: ocultar e isolar os pulmões nas imagens. Por meio desse processamento, foi possível avaliar o desempenho dos algoritmos ao serem treinados e testados em três cenários: imagens originais, com pulmões removidos e com pulmões segmentados. Esse protocolo foi aplicado em quatro conjuntos de dados distintos, com avaliações cruzadas entre eles. Os resultados foram analisados estatisticamente por meio de validação cruzada utilizando 10-fold. Além disso, realizamos análises visuais com o método Grad-CAM. Os resultados obtidos indicam que, nos cenários avaliados, as CNNs mantêm um desempenho consistentemente superior ao acaso. Observa-se, também, que as redes conseguem transferir o aprendizado de correlações espúrias entre diferentes conjuntos de dados. As análises visuais sugerem que as redes neurais frequentemente focam em padrões, a exemplo de caracteres inseridos nas imagens e regiões anatômicas não relacionadas aos pulmões. Tais aparatos médicos, ao se mostrar generalizáveis entre bases de dados distintas, representam um desafio para a avaliação do desempenho real dos modelos de CNNs. Esses resultados destacam que as correlações espúrias podem distorcer o aprendizado relevante para o problema em estudo (i.e., opacidades pulmonares), comprometendo a confiabilidade dos modelos para aplicações práticas.
publishDate 2025
dc.date.none.fl_str_mv 2025-04-16
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://www.teses.usp.br/teses/disponiveis/55/55134/tde-23072025-170049/
url https://www.teses.usp.br/teses/disponiveis/55/55134/tde-23072025-170049/
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv
dc.rights.driver.fl_str_mv Liberar o conteúdo para acesso público.
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Liberar o conteúdo para acesso público.
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.coverage.none.fl_str_mv
dc.publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
dc.source.none.fl_str_mv
reponame:Biblioteca Digital de Teses e Dissertações da USP
instname:Universidade de São Paulo (USP)
instacron:USP
instname_str Universidade de São Paulo (USP)
instacron_str USP
institution USP
reponame_str Biblioteca Digital de Teses e Dissertações da USP
collection Biblioteca Digital de Teses e Dissertações da USP
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)
repository.mail.fl_str_mv virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br
_version_ 1844786344958623744