Avaliação sobre a confiabilidade de conjuntos de imagens de raio-X para treinamento de redes neurais convolucionais em apoio ao diagnóstico
| Ano de defesa: | 2025 |
|---|---|
| Autor(a) principal: | |
| Orientador(a): | |
| Banca de defesa: | |
| Tipo de documento: | Dissertação |
| Tipo de acesso: | Acesso aberto |
| Idioma: | por |
| Instituição de defesa: |
Biblioteca Digitais de Teses e Dissertações da USP
|
| Programa de Pós-Graduação: |
Não Informado pela instituição
|
| Departamento: |
Não Informado pela instituição
|
| País: |
Não Informado pela instituição
|
| Palavras-chave em Português: | |
| Link de acesso: | https://www.teses.usp.br/teses/disponiveis/55/55134/tde-23072025-170049/ |
Resumo: | Métodos de inteligência artificial, em particular as Redes Neurais Convolucionais (CNNs), têm sido amplamente aplicadas no suporte ao diagnóstico de anomalias em imagens de radiografia torácica. Entretanto, a natureza de caixa-preta das CNNs pode fazer com que aprendam padrões que não estão diretamente relacionados às opacidades típicas da pneumonia, comprometendo, assim, a imparcialidade do modelo. Esses padrões, a exemplo de aparatos médicos, características demográficas ou anotações presentes nas imagens, podem resultar em desempenhos enganadores durante os testes, dado que os modelos não aprendem necessariamente a resolver o problema proposto. Esse comportamento limita a aplicabilidade dos modelos em sistemas de produção no contexto hospitalar. Considerando que, nas imagens de radiografia torácica, os padrões típicos da pneumonia estão na região dos pulmões e visando investigar esses padrões espúrios, foi implementado um protocolo com dois enfoques principais: ocultar e isolar os pulmões nas imagens. Por meio desse processamento, foi possível avaliar o desempenho dos algoritmos ao serem treinados e testados em três cenários: imagens originais, com pulmões removidos e com pulmões segmentados. Esse protocolo foi aplicado em quatro conjuntos de dados distintos, com avaliações cruzadas entre eles. Os resultados foram analisados estatisticamente por meio de validação cruzada utilizando 10-fold. Além disso, realizamos análises visuais com o método Grad-CAM. Os resultados obtidos indicam que, nos cenários avaliados, as CNNs mantêm um desempenho consistentemente superior ao acaso. Observa-se, também, que as redes conseguem transferir o aprendizado de correlações espúrias entre diferentes conjuntos de dados. As análises visuais sugerem que as redes neurais frequentemente focam em padrões, a exemplo de caracteres inseridos nas imagens e regiões anatômicas não relacionadas aos pulmões. Tais aparatos médicos, ao se mostrar generalizáveis entre bases de dados distintas, representam um desafio para a avaliação do desempenho real dos modelos de CNNs. Esses resultados destacam que as correlações espúrias podem distorcer o aprendizado relevante para o problema em estudo (i.e., opacidades pulmonares), comprometendo a confiabilidade dos modelos para aplicações práticas. |
| id |
USP_de52bbce84db202938b05a582967a3ab |
|---|---|
| oai_identifier_str |
oai:teses.usp.br:tde-23072025-170049 |
| network_acronym_str |
USP |
| network_name_str |
Biblioteca Digital de Teses e Dissertações da USP |
| repository_id_str |
|
| spelling |
Avaliação sobre a confiabilidade de conjuntos de imagens de raio-X para treinamento de redes neurais convolucionais em apoio ao diagnósticoEvaluating the trustworthiness of X-ray datasets for training convolutional neural networks in diagnostic supportAprendizado profundoArtificial intelligenceConfiabilidadeCorrelações espúriasDeep learningInteligência artificialRadiographyRaio-XSpurious correlationsTrustworthyMétodos de inteligência artificial, em particular as Redes Neurais Convolucionais (CNNs), têm sido amplamente aplicadas no suporte ao diagnóstico de anomalias em imagens de radiografia torácica. Entretanto, a natureza de caixa-preta das CNNs pode fazer com que aprendam padrões que não estão diretamente relacionados às opacidades típicas da pneumonia, comprometendo, assim, a imparcialidade do modelo. Esses padrões, a exemplo de aparatos médicos, características demográficas ou anotações presentes nas imagens, podem resultar em desempenhos enganadores durante os testes, dado que os modelos não aprendem necessariamente a resolver o problema proposto. Esse comportamento limita a aplicabilidade dos modelos em sistemas de produção no contexto hospitalar. Considerando que, nas imagens de radiografia torácica, os padrões típicos da pneumonia estão na região dos pulmões e visando investigar esses padrões espúrios, foi implementado um protocolo com dois enfoques principais: ocultar e isolar os pulmões nas imagens. Por meio desse processamento, foi possível avaliar o desempenho dos algoritmos ao serem treinados e testados em três cenários: imagens originais, com pulmões removidos e com pulmões segmentados. Esse protocolo foi aplicado em quatro conjuntos de dados distintos, com avaliações cruzadas entre eles. Os resultados foram analisados estatisticamente por meio de validação cruzada utilizando 10-fold. Além disso, realizamos análises visuais com o método Grad-CAM. Os resultados obtidos indicam que, nos cenários avaliados, as CNNs mantêm um desempenho consistentemente superior ao acaso. Observa-se, também, que as redes conseguem transferir o aprendizado de correlações espúrias entre diferentes conjuntos de dados. As análises visuais sugerem que as redes neurais frequentemente focam em padrões, a exemplo de caracteres inseridos nas imagens e regiões anatômicas não relacionadas aos pulmões. Tais aparatos médicos, ao se mostrar generalizáveis entre bases de dados distintas, representam um desafio para a avaliação do desempenho real dos modelos de CNNs. Esses resultados destacam que as correlações espúrias podem distorcer o aprendizado relevante para o problema em estudo (i.e., opacidades pulmonares), comprometendo a confiabilidade dos modelos para aplicações práticas.Artificial intelligence methods, especially Convolutional Neural Networks (CNNs), have been widely applied to support the diagnosis of anomalies in chest radiography images. However, the black-box nature of CNNs can lead these algorithms to learn from spurious correlations without the user being aware. Such correlations, including artifacts, demographic characteristics, or annotations present in the images, may result in misleading performance during testing, as the models do not necessarily learn to address the intended problem but instead focus on these irrelevant patterns. This behavior constrains the applicability of the models in production systems within the hospital context. To investigate these spurious correlations, we implemented a protocol with two main approaches: the hiding of lungs and their isolation in the images. Through this processing, we evaluated the performance of the algorithms when trained and tested in three scenarios: original images, images with lungs removed, and images with segmented lungs. This protocol was applied to four distinct datasets, with cross-evaluation conducted between them. The results were statistically analyzed using 10-fold cross-validation. Additionally, we conducted visual analyses using the Grad-CAM method. The findings indicate that, across the evaluated scenarios, CNNs consistently achieve performance above random chance. We also observed that the networks can transfer the learning of spurious correlations between different datasets. The visual analyses suggest that neural networks often focus on patterns such as characters embedded in the images and anatomical regions unrelated to the lungs. These artifacts, which appear to generalize across different datasets, pose a challenge for assessing the true performance of CNN models. These results highlight that spurious correlations may distort the learning of relevant features for the problem under study (i.e., lung opacities), potentially compromising the trustworthiness of the models for actual implementation.Biblioteca Digitais de Teses e Dissertações da USPTraina, Agma Juci MachadoQuirino, Felipe Antunes2025-04-16info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://www.teses.usp.br/teses/disponiveis/55/55134/tde-23072025-170049/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesspor2025-07-23T20:08:01Zoai:teses.usp.br:tde-23072025-170049Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212025-07-23T20:08:01Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false |
| dc.title.none.fl_str_mv |
Avaliação sobre a confiabilidade de conjuntos de imagens de raio-X para treinamento de redes neurais convolucionais em apoio ao diagnóstico Evaluating the trustworthiness of X-ray datasets for training convolutional neural networks in diagnostic support |
| title |
Avaliação sobre a confiabilidade de conjuntos de imagens de raio-X para treinamento de redes neurais convolucionais em apoio ao diagnóstico |
| spellingShingle |
Avaliação sobre a confiabilidade de conjuntos de imagens de raio-X para treinamento de redes neurais convolucionais em apoio ao diagnóstico Quirino, Felipe Antunes Aprendizado profundo Artificial intelligence Confiabilidade Correlações espúrias Deep learning Inteligência artificial Radiography Raio-X Spurious correlations Trustworthy |
| title_short |
Avaliação sobre a confiabilidade de conjuntos de imagens de raio-X para treinamento de redes neurais convolucionais em apoio ao diagnóstico |
| title_full |
Avaliação sobre a confiabilidade de conjuntos de imagens de raio-X para treinamento de redes neurais convolucionais em apoio ao diagnóstico |
| title_fullStr |
Avaliação sobre a confiabilidade de conjuntos de imagens de raio-X para treinamento de redes neurais convolucionais em apoio ao diagnóstico |
| title_full_unstemmed |
Avaliação sobre a confiabilidade de conjuntos de imagens de raio-X para treinamento de redes neurais convolucionais em apoio ao diagnóstico |
| title_sort |
Avaliação sobre a confiabilidade de conjuntos de imagens de raio-X para treinamento de redes neurais convolucionais em apoio ao diagnóstico |
| author |
Quirino, Felipe Antunes |
| author_facet |
Quirino, Felipe Antunes |
| author_role |
author |
| dc.contributor.none.fl_str_mv |
Traina, Agma Juci Machado |
| dc.contributor.author.fl_str_mv |
Quirino, Felipe Antunes |
| dc.subject.por.fl_str_mv |
Aprendizado profundo Artificial intelligence Confiabilidade Correlações espúrias Deep learning Inteligência artificial Radiography Raio-X Spurious correlations Trustworthy |
| topic |
Aprendizado profundo Artificial intelligence Confiabilidade Correlações espúrias Deep learning Inteligência artificial Radiography Raio-X Spurious correlations Trustworthy |
| description |
Métodos de inteligência artificial, em particular as Redes Neurais Convolucionais (CNNs), têm sido amplamente aplicadas no suporte ao diagnóstico de anomalias em imagens de radiografia torácica. Entretanto, a natureza de caixa-preta das CNNs pode fazer com que aprendam padrões que não estão diretamente relacionados às opacidades típicas da pneumonia, comprometendo, assim, a imparcialidade do modelo. Esses padrões, a exemplo de aparatos médicos, características demográficas ou anotações presentes nas imagens, podem resultar em desempenhos enganadores durante os testes, dado que os modelos não aprendem necessariamente a resolver o problema proposto. Esse comportamento limita a aplicabilidade dos modelos em sistemas de produção no contexto hospitalar. Considerando que, nas imagens de radiografia torácica, os padrões típicos da pneumonia estão na região dos pulmões e visando investigar esses padrões espúrios, foi implementado um protocolo com dois enfoques principais: ocultar e isolar os pulmões nas imagens. Por meio desse processamento, foi possível avaliar o desempenho dos algoritmos ao serem treinados e testados em três cenários: imagens originais, com pulmões removidos e com pulmões segmentados. Esse protocolo foi aplicado em quatro conjuntos de dados distintos, com avaliações cruzadas entre eles. Os resultados foram analisados estatisticamente por meio de validação cruzada utilizando 10-fold. Além disso, realizamos análises visuais com o método Grad-CAM. Os resultados obtidos indicam que, nos cenários avaliados, as CNNs mantêm um desempenho consistentemente superior ao acaso. Observa-se, também, que as redes conseguem transferir o aprendizado de correlações espúrias entre diferentes conjuntos de dados. As análises visuais sugerem que as redes neurais frequentemente focam em padrões, a exemplo de caracteres inseridos nas imagens e regiões anatômicas não relacionadas aos pulmões. Tais aparatos médicos, ao se mostrar generalizáveis entre bases de dados distintas, representam um desafio para a avaliação do desempenho real dos modelos de CNNs. Esses resultados destacam que as correlações espúrias podem distorcer o aprendizado relevante para o problema em estudo (i.e., opacidades pulmonares), comprometendo a confiabilidade dos modelos para aplicações práticas. |
| publishDate |
2025 |
| dc.date.none.fl_str_mv |
2025-04-16 |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
| format |
masterThesis |
| status_str |
publishedVersion |
| dc.identifier.uri.fl_str_mv |
https://www.teses.usp.br/teses/disponiveis/55/55134/tde-23072025-170049/ |
| url |
https://www.teses.usp.br/teses/disponiveis/55/55134/tde-23072025-170049/ |
| dc.language.iso.fl_str_mv |
por |
| language |
por |
| dc.relation.none.fl_str_mv |
|
| dc.rights.driver.fl_str_mv |
Liberar o conteúdo para acesso público. info:eu-repo/semantics/openAccess |
| rights_invalid_str_mv |
Liberar o conteúdo para acesso público. |
| eu_rights_str_mv |
openAccess |
| dc.format.none.fl_str_mv |
application/pdf |
| dc.coverage.none.fl_str_mv |
|
| dc.publisher.none.fl_str_mv |
Biblioteca Digitais de Teses e Dissertações da USP |
| publisher.none.fl_str_mv |
Biblioteca Digitais de Teses e Dissertações da USP |
| dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações da USP instname:Universidade de São Paulo (USP) instacron:USP |
| instname_str |
Universidade de São Paulo (USP) |
| instacron_str |
USP |
| institution |
USP |
| reponame_str |
Biblioteca Digital de Teses e Dissertações da USP |
| collection |
Biblioteca Digital de Teses e Dissertações da USP |
| repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP) |
| repository.mail.fl_str_mv |
virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br |
| _version_ |
1865492303872786432 |