Ensemble architectures and fusion techniques for convolutional neural networks applied to medical image analysis

Detalhes bibliográficos
Ano de defesa: 2024
Autor(a) principal: Costa, Cícero Lima
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Tese
Tipo de acesso: Acesso aberto
Idioma: eng
Instituição de defesa: Universidade Federal de Uberlândia
Brasil
Programa de Pós-graduação em Ciência da Computação
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Link de acesso: https://repositorio.ufu.br/handle/123456789/43533
http://doi.org/10.14393/ufu.te.2024.618
Resumo: Computer vision algorithms such as convolutional neural networks are used to automate processes in medicine and support diagnosis. These algorithms minimize human error during medical image analysis and reduces inter-operator variability. In this study, to support the diagnosis, three strategies involving fusion of convolutional neural networks were proposed. First, ensemble architectures were used in the gastrointestinal image classification task. Second, through the fusion of convolutional models, a new model was proposed to detect landmarks in images of lateral cephalograms, hand X-rays and lung X-rays. The third analysis tested whether image preprocessing would help convolutional models in the task of landmark detection and region segmentation. The proposed strategies were evaluated based on common metrics in the literature such as mean radial error and F1-score. In addition, aligning with the concepts of green computing, resource consumption and pollutant emissions were also evaluated. For the classification task, the proposed ensemble achieved an F1-score of 0.910, matching the literature, however, using lower cost equipment. For landmark detection, through model fusion, considering the success detection rate (SDR) between the predicted landmarks and the original landmarks, we achieved SDR of 95.72% for the lateral cephalogram and 99.56% for the hand x-rays, both considering a distance up to 4mm. For lung x-rays, we obtained an SDR 84.21% considering 6 pixels of distance. Our proposal also reduced execution time, energy consumption and carbon emissions by around 65%. The preprocessing strategy showed no with significant improvements over the results.
id UFU_e117d30623e5d304aec8bb9be0371c9e
oai_identifier_str oai:repositorio.ufu.br:123456789/43533
network_acronym_str UFU
network_name_str Repositório Institucional da UFU
repository_id_str
spelling Ensemble architectures and fusion techniques for convolutional neural networks applied to medical image analysisArquiteturas de comitê e técnicas de fusão para redes neurais convolucionais aplicadas à análise de imagens médicasDeep learningEnsambleFusionClassificationX-raysAprendizagem profundaComitêsFusãoClassificaçãoRaios XComputaçãoCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAOComputaçãoODS::ODS 3. Saúde e bem-estar - Assegurar uma vida saudável e promover o bem-estar para todos, em todas as idades.ODS::ODS 9. Indústria, Inovação e infraestrutura - Construir infraestrutura resiliente, promover a industrialização inclusiva e sustentável, e fomentar a inovação.ODS::ODS 12. Consumo e produção responsáveis - Assegurar padrões de produção e de consumo sustentáveis.ODS::ODS 13. Ação contra a mudança global do clima - Tomar medidas urgentes para combater a mudança climática e seus impactos.Computer vision algorithms such as convolutional neural networks are used to automate processes in medicine and support diagnosis. These algorithms minimize human error during medical image analysis and reduces inter-operator variability. In this study, to support the diagnosis, three strategies involving fusion of convolutional neural networks were proposed. First, ensemble architectures were used in the gastrointestinal image classification task. Second, through the fusion of convolutional models, a new model was proposed to detect landmarks in images of lateral cephalograms, hand X-rays and lung X-rays. The third analysis tested whether image preprocessing would help convolutional models in the task of landmark detection and region segmentation. The proposed strategies were evaluated based on common metrics in the literature such as mean radial error and F1-score. In addition, aligning with the concepts of green computing, resource consumption and pollutant emissions were also evaluated. For the classification task, the proposed ensemble achieved an F1-score of 0.910, matching the literature, however, using lower cost equipment. For landmark detection, through model fusion, considering the success detection rate (SDR) between the predicted landmarks and the original landmarks, we achieved SDR of 95.72% for the lateral cephalogram and 99.56% for the hand x-rays, both considering a distance up to 4mm. For lung x-rays, we obtained an SDR 84.21% considering 6 pixels of distance. Our proposal also reduced execution time, energy consumption and carbon emissions by around 65%. The preprocessing strategy showed no with significant improvements over the results.CNPq - Conselho Nacional de Desenvolvimento Científico e TecnológicoTese (Doutorado)Algoritmos de visão computacional, como redes neurais convolucionais, são usados para automatizar processos na medicina e apoiar o diagnóstico. Esses algoritmos minimizam o erro humano durante a análise de imagens médicas e reduzem a variabilidade interoperador. Neste estudo, para apoiar o diagnóstico, foram propostas três estratégias envolvendo fusão de redes neurais convolucionais. Primeiro, comitês de redes neurais convolucionais foram utilizados na tarefa de classificação de imagens gastrointestinais. Em segundo lugar, através da fusão de modelos convolucionais, foi proposto um novo modelo para detectar pontos de referência em imagens de cefalogramas laterais, radiografias de mãos e radiografias de pulmão. A terceira análise testou se o pré-processamento de imagens ajudaria os modelos convolucionais na tarefa de detecção de pontos de referência e segmentação de regiões. As estratégias propostas foram avaliadas com base em métricas comuns na literatura, como erro radial médio e F1-score. Além disso, alinhado aos conceitos de computação verde, também foram avaliados o consumo de recursos e as emissões de poluentes. Para a tarefa de classificação, o comitê proposto obteve F1-score de 0,910, correspondendo à literatura, porém, utilizando equipamentos de menor custo. Para detecção de pontos de referência, por meio de fusão de modelos, considerando a taxa de detecção de sucesso, success detection rate (SDR), entre os pontos de referência previstos e os pontos de referência originais, alcançamos SDR de 95,72% para o cefalograma lateral e 99,56% para as radiografias de mão, ambos considerando uma distância de até 4 mm. Para radiografias de pulmão, obtivemos um SDR de 84,21% considerando 6 pixels de distância. Nossa proposta também reduziu o tempo de execução, o consumo de energia e as emissões de carbono em cerca de 65%. A estratégia de pré-processamento não apresentou melhorias significativas nos resultados.Universidade Federal de UberlândiaBrasilPrograma de Pós-graduação em Ciência da ComputaçãoBarcelos, Celia Aparecida Zorzohttp://lattes.cnpq.br/2734447981764714Travençolo, Bruno Augusto Nassifhttp://lattes.cnpq.br/2590427557264952Backes, André Ricardohttp://lattes.cnpq.br/8590140337571249Couto, Leandro Nogueirahttp://lattes.cnpq.br/9500586005920379Mari, João Fernandohttp://lattes.cnpq.br/3582704696209050Borges, Vinicius Ruela Pereirahttp://lattes.cnpq.br/1841593572448050Costa, Cícero Lima2024-09-30T16:50:16Z2024-09-30T16:50:16Z2024-08-26info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisapplication/pdfCOSTA, Cícero Lima. Ensemble architectures and fusion techniques for convolutional neural networks applied to medical image analysis. 2024. 97 f. Tese (Doutorado em Ciência da Computação) - Universidade Federal de Uberlândia, Uberlândia, 2024. DOI http://doi.org/10.14393/ufu.te.2024.618.https://repositorio.ufu.br/handle/123456789/43533http://doi.org/10.14393/ufu.te.2024.618enghttp://creativecommons.org/licenses/by/3.0/us/info:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFUinstname:Universidade Federal de Uberlândia (UFU)instacron:UFU2024-10-01T06:17:27Zoai:repositorio.ufu.br:123456789/43533Repositório InstitucionalONGhttp://repositorio.ufu.br/oai/requestdiinf@dirbi.ufu.bropendoar:2024-10-01T06:17:27Repositório Institucional da UFU - Universidade Federal de Uberlândia (UFU)false
dc.title.none.fl_str_mv Ensemble architectures and fusion techniques for convolutional neural networks applied to medical image analysis
Arquiteturas de comitê e técnicas de fusão para redes neurais convolucionais aplicadas à análise de imagens médicas
title Ensemble architectures and fusion techniques for convolutional neural networks applied to medical image analysis
spellingShingle Ensemble architectures and fusion techniques for convolutional neural networks applied to medical image analysis
Costa, Cícero Lima
Deep learning
Ensamble
Fusion
Classification
X-rays
Aprendizagem profunda
Comitês
Fusão
Classificação
Raios X
Computação
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Computação
ODS::ODS 3. Saúde e bem-estar - Assegurar uma vida saudável e promover o bem-estar para todos, em todas as idades.
ODS::ODS 9. Indústria, Inovação e infraestrutura - Construir infraestrutura resiliente, promover a industrialização inclusiva e sustentável, e fomentar a inovação.
ODS::ODS 12. Consumo e produção responsáveis - Assegurar padrões de produção e de consumo sustentáveis.
ODS::ODS 13. Ação contra a mudança global do clima - Tomar medidas urgentes para combater a mudança climática e seus impactos.
title_short Ensemble architectures and fusion techniques for convolutional neural networks applied to medical image analysis
title_full Ensemble architectures and fusion techniques for convolutional neural networks applied to medical image analysis
title_fullStr Ensemble architectures and fusion techniques for convolutional neural networks applied to medical image analysis
title_full_unstemmed Ensemble architectures and fusion techniques for convolutional neural networks applied to medical image analysis
title_sort Ensemble architectures and fusion techniques for convolutional neural networks applied to medical image analysis
author Costa, Cícero Lima
author_facet Costa, Cícero Lima
author_role author
dc.contributor.none.fl_str_mv Barcelos, Celia Aparecida Zorzo
http://lattes.cnpq.br/2734447981764714
Travençolo, Bruno Augusto Nassif
http://lattes.cnpq.br/2590427557264952
Backes, André Ricardo
http://lattes.cnpq.br/8590140337571249
Couto, Leandro Nogueira
http://lattes.cnpq.br/9500586005920379
Mari, João Fernando
http://lattes.cnpq.br/3582704696209050
Borges, Vinicius Ruela Pereira
http://lattes.cnpq.br/1841593572448050
dc.contributor.author.fl_str_mv Costa, Cícero Lima
dc.subject.por.fl_str_mv Deep learning
Ensamble
Fusion
Classification
X-rays
Aprendizagem profunda
Comitês
Fusão
Classificação
Raios X
Computação
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Computação
ODS::ODS 3. Saúde e bem-estar - Assegurar uma vida saudável e promover o bem-estar para todos, em todas as idades.
ODS::ODS 9. Indústria, Inovação e infraestrutura - Construir infraestrutura resiliente, promover a industrialização inclusiva e sustentável, e fomentar a inovação.
ODS::ODS 12. Consumo e produção responsáveis - Assegurar padrões de produção e de consumo sustentáveis.
ODS::ODS 13. Ação contra a mudança global do clima - Tomar medidas urgentes para combater a mudança climática e seus impactos.
topic Deep learning
Ensamble
Fusion
Classification
X-rays
Aprendizagem profunda
Comitês
Fusão
Classificação
Raios X
Computação
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
Computação
ODS::ODS 3. Saúde e bem-estar - Assegurar uma vida saudável e promover o bem-estar para todos, em todas as idades.
ODS::ODS 9. Indústria, Inovação e infraestrutura - Construir infraestrutura resiliente, promover a industrialização inclusiva e sustentável, e fomentar a inovação.
ODS::ODS 12. Consumo e produção responsáveis - Assegurar padrões de produção e de consumo sustentáveis.
ODS::ODS 13. Ação contra a mudança global do clima - Tomar medidas urgentes para combater a mudança climática e seus impactos.
description Computer vision algorithms such as convolutional neural networks are used to automate processes in medicine and support diagnosis. These algorithms minimize human error during medical image analysis and reduces inter-operator variability. In this study, to support the diagnosis, three strategies involving fusion of convolutional neural networks were proposed. First, ensemble architectures were used in the gastrointestinal image classification task. Second, through the fusion of convolutional models, a new model was proposed to detect landmarks in images of lateral cephalograms, hand X-rays and lung X-rays. The third analysis tested whether image preprocessing would help convolutional models in the task of landmark detection and region segmentation. The proposed strategies were evaluated based on common metrics in the literature such as mean radial error and F1-score. In addition, aligning with the concepts of green computing, resource consumption and pollutant emissions were also evaluated. For the classification task, the proposed ensemble achieved an F1-score of 0.910, matching the literature, however, using lower cost equipment. For landmark detection, through model fusion, considering the success detection rate (SDR) between the predicted landmarks and the original landmarks, we achieved SDR of 95.72% for the lateral cephalogram and 99.56% for the hand x-rays, both considering a distance up to 4mm. For lung x-rays, we obtained an SDR 84.21% considering 6 pixels of distance. Our proposal also reduced execution time, energy consumption and carbon emissions by around 65%. The preprocessing strategy showed no with significant improvements over the results.
publishDate 2024
dc.date.none.fl_str_mv 2024-09-30T16:50:16Z
2024-09-30T16:50:16Z
2024-08-26
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv COSTA, Cícero Lima. Ensemble architectures and fusion techniques for convolutional neural networks applied to medical image analysis. 2024. 97 f. Tese (Doutorado em Ciência da Computação) - Universidade Federal de Uberlândia, Uberlândia, 2024. DOI http://doi.org/10.14393/ufu.te.2024.618.
https://repositorio.ufu.br/handle/123456789/43533
http://doi.org/10.14393/ufu.te.2024.618
identifier_str_mv COSTA, Cícero Lima. Ensemble architectures and fusion techniques for convolutional neural networks applied to medical image analysis. 2024. 97 f. Tese (Doutorado em Ciência da Computação) - Universidade Federal de Uberlândia, Uberlândia, 2024. DOI http://doi.org/10.14393/ufu.te.2024.618.
url https://repositorio.ufu.br/handle/123456789/43533
http://doi.org/10.14393/ufu.te.2024.618
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv http://creativecommons.org/licenses/by/3.0/us/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv http://creativecommons.org/licenses/by/3.0/us/
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Federal de Uberlândia
Brasil
Programa de Pós-graduação em Ciência da Computação
publisher.none.fl_str_mv Universidade Federal de Uberlândia
Brasil
Programa de Pós-graduação em Ciência da Computação
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFU
instname:Universidade Federal de Uberlândia (UFU)
instacron:UFU
instname_str Universidade Federal de Uberlândia (UFU)
instacron_str UFU
institution UFU
reponame_str Repositório Institucional da UFU
collection Repositório Institucional da UFU
repository.name.fl_str_mv Repositório Institucional da UFU - Universidade Federal de Uberlândia (UFU)
repository.mail.fl_str_mv diinf@dirbi.ufu.br
_version_ 1827843470488764416