Efficient evolutionary-based neural architecture search in few GPU hours for image classification and medical image segmentation

Detalhes bibliográficos
Ano de defesa: 2021
Autor(a) principal: Alves, Jeovane Honório, 1993-
Orientador(a): Oliveira, Lucas Ferrari de, 1976-
Banca de defesa: Não Informado pela instituição
Tipo de documento: Tese
Tipo de acesso: Acesso aberto
Idioma: eng
Instituição de defesa: Não Informado pela instituição
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Aprendizado do computador
Arquitetura de computador
Redes neurais (Computação)
Ciência da Computação
Processamento de imagens
Link de acesso: https://hdl.handle.net/1884/74140
Resumo: Orientador: Lucas Ferrari de Oliveira
id UFPR_9abd82fe4abf843d2f2f7685add966a3
oai_identifier_str oai:acervodigital.ufpr.br:1884/74140
network_acronym_str UFPR
network_name_str Repositório Institucional da UFPR
repository_id_str
spelling Alves, Jeovane Honório, 1993-Universidade Federal do Paraná. Setor de Ciências Exatas. Programa de Pós-Graduação em InformáticaOliveira, Lucas Ferrari de, 1976-2022-05-27T13:09:27Z2022-05-27T13:09:27Z2021https://hdl.handle.net/1884/74140Orientador: Lucas Ferrari de OliveiraTese (doutorado) - Universidade Federal do Paraná, Setor de Ciências Exatas, Programa de Pós-Graduação em Informática. Defesa : Curitiba, 20/09/2021Inclui referências: p. 132-139Área de concentração: Ciência da ComputaçãoResumo: O uso de aprendizagem profunda (AP) está crescendo rapidamente, já que o poder computacional atual fornece otimização e inferência rápidas. Além disso, vários métodos exclusivos de AP estão evoluindo, permitindo resultados superiores em visão computacional, reconhecimento de voz e análise de texto. Os métodos AP extraem característica automaticamente para melhor representação de um problema específico, removendo o árduo trabalho do desenvolvimento de descritores de características dos métodos convencionais. Mesmo que esse processo sejaautomatizado, a criação inteligente de redes neurais é necessária para o aprendizado adequado da representação, o que requer conhecimento em AP. O campo de busca de arquiteturas neurais (BAN) foca no desenvolvimento de abordagens inteligentes que projetam redes robustas automaticamente para reduzir o conhecimento exigido para o desenvolvimento de redes eficientes. BAN pode fornecer maneiras de descobrir diferentes representações de rede, melhorando o estado da arte em diferentes aplicações. Embora BAN seja relativamente nova, várias abordagens foram desenvolvidas para descobrir modelos robustos. Métodos eficientes baseados em evolução são amplamente populares em BAN, mas seu alto consumo de placa gráfica (de alguns dias a meses)desencoraja o uso prático. No presente trabalho, propomos duas abordagens BAN baseadas na evolução eficiente com baixo custo de processamento, exigindo apenas algumas horas de processamento na placa gráfica (menos de doze em uma RTX 2080Ti) para descobrir modelos competitivos. Nossas abordagens extraem conceitos da programação de expressão gênica para representar e gerar redes baseadas em células robustas combinadas com rápido treinamento de candidatos, compartilhamento de peso e combinações dinâmicas. Além disso, os métodos propostos são empregados em um espaço de busca mais amplo, com mais células representando uma rede única. Nossa hipótese central é que BAN baseado na evolução pode ser usado em uma busca com baixo custo (combinada com uma estratégia robusta e busca eficiente) em diversas tarefas de visão computacional sem perder competitividade. Nossos métodos são avaliados em diferentes problemas para validar nossa hipótese: classificação de imagens e segmentação semântica de imagens médicas. Para tanto, as bases de dados CIFAR são estudadas para atarefa de classificação e o desafio CHAOS para a tarefa de segmentação. As menores taxas de erro encontradas nas bases CIFAR-10 e CIFAR-100 foram 2,17% ± 0,10 e 15,47% ± 0,51,respectivamente. Quanto às tarefas do desafio CHAOS, os valores de Dice ficaram entre 90% e96%. Os resultados obtidos com nossas propostas em ambas as tarefas mostraram a descoberta de redes robustas para ambas as tarefas com baixo custo na fase de busca, sendo competitivas em relação ao estado da arte em ambos os desafios.Abstract: Deep learning (DL) usage is growing fast since current computational power provides fast optimization and inference. Furthermore, several unique DL methods are evolving, enabling superior computer vision, speech recognition, and text analysis results. DL methods automatically extract features to represent a specific problem better, removing the hardworking of feature engineering from conventional methods. Even if this process is automated, intelligent network design is necessary for proper representation learning, which requires expertise in DL. The neural architecture search (NAS) field focuses on developing intelligent approaches that automatically design robust networks to reduce the expertise required for developing efficient networks. NAS may provide ways to discover different network representations, improving the state-of-the-art indifferent applications. Although NAS is relatively new, several approaches were developed for discovering robust models. Efficient evolutionary-based methods are widely popular in NAS, buttheir high GPU consumption (from a few days to months) discourages practical use. In the presentwork, we propose two efficient evolutionary-based NAS approaches with low-GPU cost, requiring only a few GPU hours (less than twelve in an RTX 2080Ti) to discover competitive models. Our approaches extract concepts from gene expression programming to represent and generate robust cell-based networks combined with fast candidate training, weight sharing, and dynamic combinations. Furthermore, the proposed methods are employed in a broader search space, withmore cells representing a unique network. Our central hypothesis is that evolutionary-based NAScan be used in a low-cost GPU search (combined with a robust strategy and efficient search) indiverse computer vision tasks without losing competitiveness. Our methods are evaluated indifferent problems to validate our hypothesis: image classification and medical image semantic segmentation. For this purpose, the CIFAR datasets are studied for the classification task andthe CHAOS challenge for the segmentation task. The lowest error rates found in CIFAR-10 andCIFAR-100 datasets were 2.17% ± 0.10 and 15.47% ± 0.51, respectively. As for the CHAOS challenge tasks, the dice scores were between 90% and 96%. The obtained results from our proposal in both tasks shown the discovery of robust networks for both tasks with little GPU costin the search phase, being competitive to state-of-the-art approaches in both challenges.1 recurso online : PDF.application/pdfAprendizado do computadorArquitetura de computadorRedes neurais (Computação)Ciência da ComputaçãoProcessamento de imagensEfficient evolutionary-based neural architecture search in few GPU hours for image classification and medical image segmentationinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisengreponame:Repositório Institucional da UFPRinstname:Universidade Federal do Paraná (UFPR)instacron:UFPRinfo:eu-repo/semantics/openAccessORIGINALR - T - JEOVANE HONORIO ALVES.pdfapplication/pdf57685657https://acervodigital.ufpr.br/bitstream/1884/74140/1/R%20-%20T%20-%20JEOVANE%20HONORIO%20ALVES.pdfe998db8fddfb707c4c3a27fcdc7e52b0MD51open access1884/741402022-05-27 10:09:27.353open accessoai:acervodigital.ufpr.br:1884/74140Repositório InstitucionalPUBhttp://acervodigital.ufpr.br/oai/requestinformacaodigital@ufpr.bropendoar:3082022-05-27T13:09:27Repositório Institucional da UFPR - Universidade Federal do Paraná (UFPR)false
dc.title.pt_BR.fl_str_mv Efficient evolutionary-based neural architecture search in few GPU hours for image classification and medical image segmentation
title Efficient evolutionary-based neural architecture search in few GPU hours for image classification and medical image segmentation
spellingShingle Efficient evolutionary-based neural architecture search in few GPU hours for image classification and medical image segmentation
Alves, Jeovane Honório, 1993-
Aprendizado do computador
Arquitetura de computador
Redes neurais (Computação)
Ciência da Computação
Processamento de imagens
title_short Efficient evolutionary-based neural architecture search in few GPU hours for image classification and medical image segmentation
title_full Efficient evolutionary-based neural architecture search in few GPU hours for image classification and medical image segmentation
title_fullStr Efficient evolutionary-based neural architecture search in few GPU hours for image classification and medical image segmentation
title_full_unstemmed Efficient evolutionary-based neural architecture search in few GPU hours for image classification and medical image segmentation
title_sort Efficient evolutionary-based neural architecture search in few GPU hours for image classification and medical image segmentation
author Alves, Jeovane Honório, 1993-
author_facet Alves, Jeovane Honório, 1993-
author_role author
dc.contributor.other.pt_BR.fl_str_mv Universidade Federal do Paraná. Setor de Ciências Exatas. Programa de Pós-Graduação em Informática
dc.contributor.author.fl_str_mv Alves, Jeovane Honório, 1993-
dc.contributor.advisor1.fl_str_mv Oliveira, Lucas Ferrari de, 1976-
contributor_str_mv Oliveira, Lucas Ferrari de, 1976-
dc.subject.por.fl_str_mv Aprendizado do computador
Arquitetura de computador
Redes neurais (Computação)
Ciência da Computação
Processamento de imagens
topic Aprendizado do computador
Arquitetura de computador
Redes neurais (Computação)
Ciência da Computação
Processamento de imagens
description Orientador: Lucas Ferrari de Oliveira
publishDate 2021
dc.date.issued.fl_str_mv 2021
dc.date.accessioned.fl_str_mv 2022-05-27T13:09:27Z
dc.date.available.fl_str_mv 2022-05-27T13:09:27Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://hdl.handle.net/1884/74140
url https://hdl.handle.net/1884/74140
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 1 recurso online : PDF.
application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFPR
instname:Universidade Federal do Paraná (UFPR)
instacron:UFPR
instname_str Universidade Federal do Paraná (UFPR)
instacron_str UFPR
institution UFPR
reponame_str Repositório Institucional da UFPR
collection Repositório Institucional da UFPR
bitstream.url.fl_str_mv https://acervodigital.ufpr.br/bitstream/1884/74140/1/R%20-%20T%20-%20JEOVANE%20HONORIO%20ALVES.pdf
bitstream.checksum.fl_str_mv e998db8fddfb707c4c3a27fcdc7e52b0
bitstream.checksumAlgorithm.fl_str_mv MD5
repository.name.fl_str_mv Repositório Institucional da UFPR - Universidade Federal do Paraná (UFPR)
repository.mail.fl_str_mv informacaodigital@ufpr.br
_version_ 1847526273485635584

Registros relacionados