Efficient trainingless metric for performance evaluation in the context of neural architecture search

Detalhes bibliográficos
Ano de defesa: 2022
Autor(a) principal: Fernandes, Bruno Griep
Orientador(a): Batista, Eduardo Luiz Ortiz
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: eng
Instituição de defesa: Não Informado pela instituição
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Link de acesso: https://repositorio.ufsc.br/handle/123456789/244437
Resumo: Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia Elétrica, Florianópolis, 2022.
id UFSC_f44aca8da21f0e66d8a0caa6a1e3ddb9
oai_identifier_str oai:repositorio.ufsc.br:123456789/244437
network_acronym_str UFSC
network_name_str Repositório Institucional da UFSC
repository_id_str
spelling Universidade Federal de Santa CatarinaFernandes, Bruno GriepBatista, Eduardo Luiz Ortiz2023-02-14T23:11:16Z2023-02-14T23:11:16Z2022380265https://repositorio.ufsc.br/handle/123456789/244437Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia Elétrica, Florianópolis, 2022.Este trabalho é dedicado ao problema de Pesquisa de Arquitetura Neural (NAS) no contexto de redes neurais profundas. Em termos gerais, tal problema envolve algoritmos com longos períodos de execução que buscam a melhor arquitetura de rede neural possível para resolver um problema prático específico. Algumas abordagens sem treinamento foram propostas recentemente com o objetivo de resolver o problema do NAS em menores períodos de tempo de execução. Essas abordagens são baseadas em métricas que ajudam a prever o desempenho de arquiteturas de redes neurais sem treiná-las. Neste trabalho de dissertação, é apresentada uma nova métrica de desempenho para NAS sem treinamento. A métrica proposta é derivada da chamada métrica NAS without Training (NAS-WOT), visando simplicidade e maior velocidade de busca na rede. Outra contribuição deste trabalho é um esquema de penalização envolvendo a métrica proposta, que auxilia na busca por redes efetivas que também sejam pequenas em termos de complexidade computacional necessária para implementação de inferências. Resultados experimentais mostram a eficácia da métrica proposta e de sua versão penalizada.Abstract: This work is dedicated to the problem of network architecture search (NAS) in the context of deep neural networks. In general terms, such a problem involves algorithms with long running times that look for the best possible neural network architecture for solving a specific practical problem. Some trainingless (or training-free) approaches have been proposed recently aiming to tackle the NAS problem in shorter times. These approaches are based in performance metrics that help predicting the performance of neural network architectures without training them. In this dissertation work, a novel performance metric for trainingless NAS is presented. The proposed metric is derived from the so-called NAS without training (NAS-WOT) metric, aiming at simplicity and further network-search speed ups. Another contribution of this work is a penalization scheme involving the proposed metric, which helps searching for effective networks that are also small in terms of computational complexity required for inference implementation. Experimental results show the effectiveness of the proposed metric and of its penalized version.61 p.| il., gráfs.engEngenharia elétricaAprendizado do computadorRedes neurais (Computação)Efficient trainingless metric for performance evaluation in the context of neural architecture searchinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisreponame:Repositório Institucional da UFSCinstname:Universidade Federal de Santa Catarina (UFSC)instacron:UFSCinfo:eu-repo/semantics/openAccessORIGINALPEEL2096-D.pdfPEEL2096-D.pdfapplication/pdf4486946https://repositorio.ufsc.br/bitstream/123456789/244437/1/PEEL2096-D.pdfebe8cb291721caa7bc12a5bb62abbfdeMD51123456789/2444372023-02-14 20:11:16.879oai:repositorio.ufsc.br:123456789/244437Repositório InstitucionalPUBhttp://150.162.242.35/oai/requestsandra.sobrera@ufsc.bropendoar:23732023-02-14T23:11:16Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)false
dc.title.none.fl_str_mv Efficient trainingless metric for performance evaluation in the context of neural architecture search
title Efficient trainingless metric for performance evaluation in the context of neural architecture search
spellingShingle Efficient trainingless metric for performance evaluation in the context of neural architecture search
Fernandes, Bruno Griep
Engenharia elétrica
Aprendizado do computador
Redes neurais (Computação)
title_short Efficient trainingless metric for performance evaluation in the context of neural architecture search
title_full Efficient trainingless metric for performance evaluation in the context of neural architecture search
title_fullStr Efficient trainingless metric for performance evaluation in the context of neural architecture search
title_full_unstemmed Efficient trainingless metric for performance evaluation in the context of neural architecture search
title_sort Efficient trainingless metric for performance evaluation in the context of neural architecture search
author Fernandes, Bruno Griep
author_facet Fernandes, Bruno Griep
author_role author
dc.contributor.none.fl_str_mv Universidade Federal de Santa Catarina
dc.contributor.author.fl_str_mv Fernandes, Bruno Griep
dc.contributor.advisor1.fl_str_mv Batista, Eduardo Luiz Ortiz
contributor_str_mv Batista, Eduardo Luiz Ortiz
dc.subject.classification.none.fl_str_mv Engenharia elétrica
Aprendizado do computador
Redes neurais (Computação)
topic Engenharia elétrica
Aprendizado do computador
Redes neurais (Computação)
description Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia Elétrica, Florianópolis, 2022.
publishDate 2022
dc.date.issued.fl_str_mv 2022
dc.date.accessioned.fl_str_mv 2023-02-14T23:11:16Z
dc.date.available.fl_str_mv 2023-02-14T23:11:16Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://repositorio.ufsc.br/handle/123456789/244437
dc.identifier.other.none.fl_str_mv 380265
identifier_str_mv 380265
url https://repositorio.ufsc.br/handle/123456789/244437
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 61 p.| il., gráfs.
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFSC
instname:Universidade Federal de Santa Catarina (UFSC)
instacron:UFSC
instname_str Universidade Federal de Santa Catarina (UFSC)
instacron_str UFSC
institution UFSC
reponame_str Repositório Institucional da UFSC
collection Repositório Institucional da UFSC
bitstream.url.fl_str_mv https://repositorio.ufsc.br/bitstream/123456789/244437/1/PEEL2096-D.pdf
bitstream.checksum.fl_str_mv ebe8cb291721caa7bc12a5bb62abbfde
bitstream.checksumAlgorithm.fl_str_mv MD5
repository.name.fl_str_mv Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)
repository.mail.fl_str_mv sandra.sobrera@ufsc.br
_version_ 1851758845843472384

Registros relacionados