Ensemble architectures and fusion techniques for convolutional neural networks applied to medical image analysis
| Ano de defesa: | 2024 |
|---|---|
| Autor(a) principal: | |
| Orientador(a): | |
| Banca de defesa: | |
| Tipo de documento: | Tese |
| Tipo de acesso: | Acesso aberto |
| Idioma: | eng |
| Instituição de defesa: |
Universidade Federal de Uberlândia
Brasil Programa de Pós-graduação em Ciência da Computação |
| Programa de Pós-Graduação: |
Não Informado pela instituição
|
| Departamento: |
Não Informado pela instituição
|
| País: |
Não Informado pela instituição
|
| Palavras-chave em Português: | |
| Link de acesso: | https://repositorio.ufu.br/handle/123456789/43533 http://doi.org/10.14393/ufu.te.2024.618 |
Resumo: | Computer vision algorithms such as convolutional neural networks are used to automate processes in medicine and support diagnosis. These algorithms minimize human error during medical image analysis and reduces inter-operator variability. In this study, to support the diagnosis, three strategies involving fusion of convolutional neural networks were proposed. First, ensemble architectures were used in the gastrointestinal image classification task. Second, through the fusion of convolutional models, a new model was proposed to detect landmarks in images of lateral cephalograms, hand X-rays and lung X-rays. The third analysis tested whether image preprocessing would help convolutional models in the task of landmark detection and region segmentation. The proposed strategies were evaluated based on common metrics in the literature such as mean radial error and F1-score. In addition, aligning with the concepts of green computing, resource consumption and pollutant emissions were also evaluated. For the classification task, the proposed ensemble achieved an F1-score of 0.910, matching the literature, however, using lower cost equipment. For landmark detection, through model fusion, considering the success detection rate (SDR) between the predicted landmarks and the original landmarks, we achieved SDR of 95.72% for the lateral cephalogram and 99.56% for the hand x-rays, both considering a distance up to 4mm. For lung x-rays, we obtained an SDR 84.21% considering 6 pixels of distance. Our proposal also reduced execution time, energy consumption and carbon emissions by around 65%. The preprocessing strategy showed no with significant improvements over the results. |
| id |
UFU_e117d30623e5d304aec8bb9be0371c9e |
|---|---|
| oai_identifier_str |
oai:repositorio.ufu.br:123456789/43533 |
| network_acronym_str |
UFU |
| network_name_str |
Repositório Institucional da UFU |
| repository_id_str |
|
| spelling |
Ensemble architectures and fusion techniques for convolutional neural networks applied to medical image analysisArquiteturas de comitê e técnicas de fusão para redes neurais convolucionais aplicadas à análise de imagens médicasDeep learningEnsambleFusionClassificationX-raysAprendizagem profundaComitêsFusãoClassificaçãoRaios XComputaçãoCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAOComputaçãoODS::ODS 3. Saúde e bem-estar - Assegurar uma vida saudável e promover o bem-estar para todos, em todas as idades.ODS::ODS 9. Indústria, Inovação e infraestrutura - Construir infraestrutura resiliente, promover a industrialização inclusiva e sustentável, e fomentar a inovação.ODS::ODS 12. Consumo e produção responsáveis - Assegurar padrões de produção e de consumo sustentáveis.ODS::ODS 13. Ação contra a mudança global do clima - Tomar medidas urgentes para combater a mudança climática e seus impactos.Computer vision algorithms such as convolutional neural networks are used to automate processes in medicine and support diagnosis. These algorithms minimize human error during medical image analysis and reduces inter-operator variability. In this study, to support the diagnosis, three strategies involving fusion of convolutional neural networks were proposed. First, ensemble architectures were used in the gastrointestinal image classification task. Second, through the fusion of convolutional models, a new model was proposed to detect landmarks in images of lateral cephalograms, hand X-rays and lung X-rays. The third analysis tested whether image preprocessing would help convolutional models in the task of landmark detection and region segmentation. The proposed strategies were evaluated based on common metrics in the literature such as mean radial error and F1-score. In addition, aligning with the concepts of green computing, resource consumption and pollutant emissions were also evaluated. For the classification task, the proposed ensemble achieved an F1-score of 0.910, matching the literature, however, using lower cost equipment. For landmark detection, through model fusion, considering the success detection rate (SDR) between the predicted landmarks and the original landmarks, we achieved SDR of 95.72% for the lateral cephalogram and 99.56% for the hand x-rays, both considering a distance up to 4mm. For lung x-rays, we obtained an SDR 84.21% considering 6 pixels of distance. Our proposal also reduced execution time, energy consumption and carbon emissions by around 65%. The preprocessing strategy showed no with significant improvements over the results.CNPq - Conselho Nacional de Desenvolvimento Científico e TecnológicoTese (Doutorado)Algoritmos de visão computacional, como redes neurais convolucionais, são usados para automatizar processos na medicina e apoiar o diagnóstico. Esses algoritmos minimizam o erro humano durante a análise de imagens médicas e reduzem a variabilidade interoperador. Neste estudo, para apoiar o diagnóstico, foram propostas três estratégias envolvendo fusão de redes neurais convolucionais. Primeiro, comitês de redes neurais convolucionais foram utilizados na tarefa de classificação de imagens gastrointestinais. Em segundo lugar, através da fusão de modelos convolucionais, foi proposto um novo modelo para detectar pontos de referência em imagens de cefalogramas laterais, radiografias de mãos e radiografias de pulmão. A terceira análise testou se o pré-processamento de imagens ajudaria os modelos convolucionais na tarefa de detecção de pontos de referência e segmentação de regiões. As estratégias propostas foram avaliadas com base em métricas comuns na literatura, como erro radial médio e F1-score. Além disso, alinhado aos conceitos de computação verde, também foram avaliados o consumo de recursos e as emissões de poluentes. Para a tarefa de classificação, o comitê proposto obteve F1-score de 0,910, correspondendo à literatura, porém, utilizando equipamentos de menor custo. Para detecção de pontos de referência, por meio de fusão de modelos, considerando a taxa de detecção de sucesso, success detection rate (SDR), entre os pontos de referência previstos e os pontos de referência originais, alcançamos SDR de 95,72% para o cefalograma lateral e 99,56% para as radiografias de mão, ambos considerando uma distância de até 4 mm. Para radiografias de pulmão, obtivemos um SDR de 84,21% considerando 6 pixels de distância. Nossa proposta também reduziu o tempo de execução, o consumo de energia e as emissões de carbono em cerca de 65%. A estratégia de pré-processamento não apresentou melhorias significativas nos resultados.Universidade Federal de UberlândiaBrasilPrograma de Pós-graduação em Ciência da ComputaçãoBarcelos, Celia Aparecida Zorzohttp://lattes.cnpq.br/2734447981764714Travençolo, Bruno Augusto Nassifhttp://lattes.cnpq.br/2590427557264952Backes, André Ricardohttp://lattes.cnpq.br/8590140337571249Couto, Leandro Nogueirahttp://lattes.cnpq.br/9500586005920379Mari, João Fernandohttp://lattes.cnpq.br/3582704696209050Borges, Vinicius Ruela Pereirahttp://lattes.cnpq.br/1841593572448050Costa, Cícero Lima2024-09-30T16:50:16Z2024-09-30T16:50:16Z2024-08-26info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisapplication/pdfCOSTA, Cícero Lima. Ensemble architectures and fusion techniques for convolutional neural networks applied to medical image analysis. 2024. 97 f. Tese (Doutorado em Ciência da Computação) - Universidade Federal de Uberlândia, Uberlândia, 2024. DOI http://doi.org/10.14393/ufu.te.2024.618.https://repositorio.ufu.br/handle/123456789/43533http://doi.org/10.14393/ufu.te.2024.618enghttp://creativecommons.org/licenses/by/3.0/us/info:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFUinstname:Universidade Federal de Uberlândia (UFU)instacron:UFU2024-10-01T06:17:27Zoai:repositorio.ufu.br:123456789/43533Repositório InstitucionalONGhttp://repositorio.ufu.br/oai/requestdiinf@dirbi.ufu.bropendoar:2024-10-01T06:17:27Repositório Institucional da UFU - Universidade Federal de Uberlândia (UFU)false |
| dc.title.none.fl_str_mv |
Ensemble architectures and fusion techniques for convolutional neural networks applied to medical image analysis Arquiteturas de comitê e técnicas de fusão para redes neurais convolucionais aplicadas à análise de imagens médicas |
| title |
Ensemble architectures and fusion techniques for convolutional neural networks applied to medical image analysis |
| spellingShingle |
Ensemble architectures and fusion techniques for convolutional neural networks applied to medical image analysis Costa, Cícero Lima Deep learning Ensamble Fusion Classification X-rays Aprendizagem profunda Comitês Fusão Classificação Raios X Computação CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO Computação ODS::ODS 3. Saúde e bem-estar - Assegurar uma vida saudável e promover o bem-estar para todos, em todas as idades. ODS::ODS 9. Indústria, Inovação e infraestrutura - Construir infraestrutura resiliente, promover a industrialização inclusiva e sustentável, e fomentar a inovação. ODS::ODS 12. Consumo e produção responsáveis - Assegurar padrões de produção e de consumo sustentáveis. ODS::ODS 13. Ação contra a mudança global do clima - Tomar medidas urgentes para combater a mudança climática e seus impactos. |
| title_short |
Ensemble architectures and fusion techniques for convolutional neural networks applied to medical image analysis |
| title_full |
Ensemble architectures and fusion techniques for convolutional neural networks applied to medical image analysis |
| title_fullStr |
Ensemble architectures and fusion techniques for convolutional neural networks applied to medical image analysis |
| title_full_unstemmed |
Ensemble architectures and fusion techniques for convolutional neural networks applied to medical image analysis |
| title_sort |
Ensemble architectures and fusion techniques for convolutional neural networks applied to medical image analysis |
| author |
Costa, Cícero Lima |
| author_facet |
Costa, Cícero Lima |
| author_role |
author |
| dc.contributor.none.fl_str_mv |
Barcelos, Celia Aparecida Zorzo http://lattes.cnpq.br/2734447981764714 Travençolo, Bruno Augusto Nassif http://lattes.cnpq.br/2590427557264952 Backes, André Ricardo http://lattes.cnpq.br/8590140337571249 Couto, Leandro Nogueira http://lattes.cnpq.br/9500586005920379 Mari, João Fernando http://lattes.cnpq.br/3582704696209050 Borges, Vinicius Ruela Pereira http://lattes.cnpq.br/1841593572448050 |
| dc.contributor.author.fl_str_mv |
Costa, Cícero Lima |
| dc.subject.por.fl_str_mv |
Deep learning Ensamble Fusion Classification X-rays Aprendizagem profunda Comitês Fusão Classificação Raios X Computação CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO Computação ODS::ODS 3. Saúde e bem-estar - Assegurar uma vida saudável e promover o bem-estar para todos, em todas as idades. ODS::ODS 9. Indústria, Inovação e infraestrutura - Construir infraestrutura resiliente, promover a industrialização inclusiva e sustentável, e fomentar a inovação. ODS::ODS 12. Consumo e produção responsáveis - Assegurar padrões de produção e de consumo sustentáveis. ODS::ODS 13. Ação contra a mudança global do clima - Tomar medidas urgentes para combater a mudança climática e seus impactos. |
| topic |
Deep learning Ensamble Fusion Classification X-rays Aprendizagem profunda Comitês Fusão Classificação Raios X Computação CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO Computação ODS::ODS 3. Saúde e bem-estar - Assegurar uma vida saudável e promover o bem-estar para todos, em todas as idades. ODS::ODS 9. Indústria, Inovação e infraestrutura - Construir infraestrutura resiliente, promover a industrialização inclusiva e sustentável, e fomentar a inovação. ODS::ODS 12. Consumo e produção responsáveis - Assegurar padrões de produção e de consumo sustentáveis. ODS::ODS 13. Ação contra a mudança global do clima - Tomar medidas urgentes para combater a mudança climática e seus impactos. |
| description |
Computer vision algorithms such as convolutional neural networks are used to automate processes in medicine and support diagnosis. These algorithms minimize human error during medical image analysis and reduces inter-operator variability. In this study, to support the diagnosis, three strategies involving fusion of convolutional neural networks were proposed. First, ensemble architectures were used in the gastrointestinal image classification task. Second, through the fusion of convolutional models, a new model was proposed to detect landmarks in images of lateral cephalograms, hand X-rays and lung X-rays. The third analysis tested whether image preprocessing would help convolutional models in the task of landmark detection and region segmentation. The proposed strategies were evaluated based on common metrics in the literature such as mean radial error and F1-score. In addition, aligning with the concepts of green computing, resource consumption and pollutant emissions were also evaluated. For the classification task, the proposed ensemble achieved an F1-score of 0.910, matching the literature, however, using lower cost equipment. For landmark detection, through model fusion, considering the success detection rate (SDR) between the predicted landmarks and the original landmarks, we achieved SDR of 95.72% for the lateral cephalogram and 99.56% for the hand x-rays, both considering a distance up to 4mm. For lung x-rays, we obtained an SDR 84.21% considering 6 pixels of distance. Our proposal also reduced execution time, energy consumption and carbon emissions by around 65%. The preprocessing strategy showed no with significant improvements over the results. |
| publishDate |
2024 |
| dc.date.none.fl_str_mv |
2024-09-30T16:50:16Z 2024-09-30T16:50:16Z 2024-08-26 |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/doctoralThesis |
| format |
doctoralThesis |
| status_str |
publishedVersion |
| dc.identifier.uri.fl_str_mv |
COSTA, Cícero Lima. Ensemble architectures and fusion techniques for convolutional neural networks applied to medical image analysis. 2024. 97 f. Tese (Doutorado em Ciência da Computação) - Universidade Federal de Uberlândia, Uberlândia, 2024. DOI http://doi.org/10.14393/ufu.te.2024.618. https://repositorio.ufu.br/handle/123456789/43533 http://doi.org/10.14393/ufu.te.2024.618 |
| identifier_str_mv |
COSTA, Cícero Lima. Ensemble architectures and fusion techniques for convolutional neural networks applied to medical image analysis. 2024. 97 f. Tese (Doutorado em Ciência da Computação) - Universidade Federal de Uberlândia, Uberlândia, 2024. DOI http://doi.org/10.14393/ufu.te.2024.618. |
| url |
https://repositorio.ufu.br/handle/123456789/43533 http://doi.org/10.14393/ufu.te.2024.618 |
| dc.language.iso.fl_str_mv |
eng |
| language |
eng |
| dc.rights.driver.fl_str_mv |
http://creativecommons.org/licenses/by/3.0/us/ info:eu-repo/semantics/openAccess |
| rights_invalid_str_mv |
http://creativecommons.org/licenses/by/3.0/us/ |
| eu_rights_str_mv |
openAccess |
| dc.format.none.fl_str_mv |
application/pdf |
| dc.publisher.none.fl_str_mv |
Universidade Federal de Uberlândia Brasil Programa de Pós-graduação em Ciência da Computação |
| publisher.none.fl_str_mv |
Universidade Federal de Uberlândia Brasil Programa de Pós-graduação em Ciência da Computação |
| dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFU instname:Universidade Federal de Uberlândia (UFU) instacron:UFU |
| instname_str |
Universidade Federal de Uberlândia (UFU) |
| instacron_str |
UFU |
| institution |
UFU |
| reponame_str |
Repositório Institucional da UFU |
| collection |
Repositório Institucional da UFU |
| repository.name.fl_str_mv |
Repositório Institucional da UFU - Universidade Federal de Uberlândia (UFU) |
| repository.mail.fl_str_mv |
diinf@dirbi.ufu.br |
| _version_ |
1827843470488764416 |