Construção e análise de rede neural convolucional com neurônios pulsados para classificação de imagens

Detalhes bibliográficos
Ano de defesa: 2022
Autor(a) principal: Silva Junior, Edvaldo Castro da
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Biblioteca Digitais de Teses e Dissertações da USP
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Link de acesso: https://www.teses.usp.br/teses/disponiveis/59/59143/tde-22112022-152337/
Resumo: O objetivo principal desta dissertação foi construir uma implementação da rede neural convolucional pulsada com neurônios integra-e-dispara proposta por Kheradpisheh et al. em 2018 para a tarefa de classificação de imagens e investigar as consequências de variações em alguns parâmetros de arquitetura da rede no seu desempenho. A rede em questão tem a seguinte arquitetura: (i) uma camada de entrada que recebe a imagem, aplica a ela um kernel de diferença de gaussianas e gera o trem de pulsos que codifica as características da imagem no domínio temporal; (ii) uma sequência de camadas de convolução e de pooling alternadas, constituídas de neurônios pulsados; e (iii) uma camada de pooling global utilizada na fase de classificação, cuja saída é usada para treinar um perceptron multicamadas. Estudos experimentais com redes neurais biológicas mostram que o processamento neural possui um forte componente estocástico, tornando a análise de modelos que incluem estocasticidade um estudo relevante para o entendimento da atividade cerebral. Assim, além dos estudos com a versão determinística da rede, também foram feitos experimentos com neurônios integra-e-dispara estocásticos. As camadas convolucionais foram treinadas segundo uma regra simples de plasticidade dependente do tempo de disparo (STDP, do inglês spike timing dependent plasticity), um mecanismo de aprendizado não supervisionado fisiológico que tende a fortalecer sinapses entre neurônios cujos disparos são temporal e causalmente correlacionados. As camadas de pooling adicionam invariância ao modelo, condensando informações em espaços menores. Por fim, o perceptron multicamadas informa a qual classe a imagem de entrada pertence. Para cada caso estudado, o comportamento e a exatidão da rede na tarefa de classificação foram registrados e analisados. Apesar dos resultados inferiores em comparação com redes neurais convolucionais pulsadas no estado da arte, a rede desenvolvida neste trabalho apresentou bom desempenho para três bancos de dados de imagens conhecidos. Isso indica que a rede desenvolvida é promissora e pode ter seu desempenho melhorado se configurada com um conjunto de parâmetros adequado e intuitivamente alcançável.
id USP_a7cae5b26154795601487f1d8a774864
oai_identifier_str oai:teses.usp.br:tde-22112022-152337
network_acronym_str USP
network_name_str Biblioteca Digital de Teses e Dissertações da USP
repository_id_str
spelling Construção e análise de rede neural convolucional com neurônios pulsados para classificação de imagensConvolutional neural network construction and analysis with pulsed neurons for classification of imagesClassificação de imagensConvolutional neural networkImage classificationNeurônios pulsadosRede neural convolucionalSpiking neuronsO objetivo principal desta dissertação foi construir uma implementação da rede neural convolucional pulsada com neurônios integra-e-dispara proposta por Kheradpisheh et al. em 2018 para a tarefa de classificação de imagens e investigar as consequências de variações em alguns parâmetros de arquitetura da rede no seu desempenho. A rede em questão tem a seguinte arquitetura: (i) uma camada de entrada que recebe a imagem, aplica a ela um kernel de diferença de gaussianas e gera o trem de pulsos que codifica as características da imagem no domínio temporal; (ii) uma sequência de camadas de convolução e de pooling alternadas, constituídas de neurônios pulsados; e (iii) uma camada de pooling global utilizada na fase de classificação, cuja saída é usada para treinar um perceptron multicamadas. Estudos experimentais com redes neurais biológicas mostram que o processamento neural possui um forte componente estocástico, tornando a análise de modelos que incluem estocasticidade um estudo relevante para o entendimento da atividade cerebral. Assim, além dos estudos com a versão determinística da rede, também foram feitos experimentos com neurônios integra-e-dispara estocásticos. As camadas convolucionais foram treinadas segundo uma regra simples de plasticidade dependente do tempo de disparo (STDP, do inglês spike timing dependent plasticity), um mecanismo de aprendizado não supervisionado fisiológico que tende a fortalecer sinapses entre neurônios cujos disparos são temporal e causalmente correlacionados. As camadas de pooling adicionam invariância ao modelo, condensando informações em espaços menores. Por fim, o perceptron multicamadas informa a qual classe a imagem de entrada pertence. Para cada caso estudado, o comportamento e a exatidão da rede na tarefa de classificação foram registrados e analisados. Apesar dos resultados inferiores em comparação com redes neurais convolucionais pulsadas no estado da arte, a rede desenvolvida neste trabalho apresentou bom desempenho para três bancos de dados de imagens conhecidos. Isso indica que a rede desenvolvida é promissora e pode ter seu desempenho melhorado se configurada com um conjunto de parâmetros adequado e intuitivamente alcançável.The main objective of this dissertation was to construct an implementation of the convolutional spiking neural network with integrate-and-fire neurons proposed by Kheradipsheh et al. in 2018 for the task of image classification, and to investigate the consequences of variations in some network architecture parameters on its performance. The network has the following architecture: (i) the first layer receives the image, applies to it a difference of Gaussians kernel and generates a spike train which represents the characteristics of the image in the temporal domain; (ii) a cascade of alternate convolutional and pooling layers, composed of spiking neurons; and (iii) a global pooling layer used in the classification phase, whose output is used to train a multilayer perceptron. Experimental studies with biological neural networks show that neural processing has a strong stochastic component, and this makes the analysis of models that include stochasticity relevant for an understanding of brain activity. Thus, in addition to the studies with the deterministic version of the network, experiments with stochastic integrate-and-fire neurons were made. The convolutional layers were trained according to a simple spike timing dependent plasticity (STDP) rule, which is an unsupervised physiological learning mechanism that tends to strengthen synapses between neurons whose spikes are temporally and causally correlated. Pooling layers add invariance to the model, compressing data. Lastly, the multilayer perceptron indicates to which class the image belongs. For each studied case, the accuracy and behavior of the network were registered and analyzed. In spite of the inferior results compared to state-of-the-art convolutional spiking neural networks, the network developed in this work showed good accuracy for three known image datasets. This indicates that the developed network is promising and capable of better performance if configured with an adequate and intuitively achievable set of parameters.Biblioteca Digitais de Teses e Dissertações da USPSilva Filho, Antonio Carlos Roque daSilva Junior, Edvaldo Castro da2022-10-17info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://www.teses.usp.br/teses/disponiveis/59/59143/tde-22112022-152337/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesspor2022-11-24T15:24:05Zoai:teses.usp.br:tde-22112022-152337Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212022-11-24T15:24:05Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false
dc.title.none.fl_str_mv Construção e análise de rede neural convolucional com neurônios pulsados para classificação de imagens
Convolutional neural network construction and analysis with pulsed neurons for classification of images
title Construção e análise de rede neural convolucional com neurônios pulsados para classificação de imagens
spellingShingle Construção e análise de rede neural convolucional com neurônios pulsados para classificação de imagens
Silva Junior, Edvaldo Castro da
Classificação de imagens
Convolutional neural network
Image classification
Neurônios pulsados
Rede neural convolucional
Spiking neurons
title_short Construção e análise de rede neural convolucional com neurônios pulsados para classificação de imagens
title_full Construção e análise de rede neural convolucional com neurônios pulsados para classificação de imagens
title_fullStr Construção e análise de rede neural convolucional com neurônios pulsados para classificação de imagens
title_full_unstemmed Construção e análise de rede neural convolucional com neurônios pulsados para classificação de imagens
title_sort Construção e análise de rede neural convolucional com neurônios pulsados para classificação de imagens
author Silva Junior, Edvaldo Castro da
author_facet Silva Junior, Edvaldo Castro da
author_role author
dc.contributor.none.fl_str_mv Silva Filho, Antonio Carlos Roque da
dc.contributor.author.fl_str_mv Silva Junior, Edvaldo Castro da
dc.subject.por.fl_str_mv Classificação de imagens
Convolutional neural network
Image classification
Neurônios pulsados
Rede neural convolucional
Spiking neurons
topic Classificação de imagens
Convolutional neural network
Image classification
Neurônios pulsados
Rede neural convolucional
Spiking neurons
description O objetivo principal desta dissertação foi construir uma implementação da rede neural convolucional pulsada com neurônios integra-e-dispara proposta por Kheradpisheh et al. em 2018 para a tarefa de classificação de imagens e investigar as consequências de variações em alguns parâmetros de arquitetura da rede no seu desempenho. A rede em questão tem a seguinte arquitetura: (i) uma camada de entrada que recebe a imagem, aplica a ela um kernel de diferença de gaussianas e gera o trem de pulsos que codifica as características da imagem no domínio temporal; (ii) uma sequência de camadas de convolução e de pooling alternadas, constituídas de neurônios pulsados; e (iii) uma camada de pooling global utilizada na fase de classificação, cuja saída é usada para treinar um perceptron multicamadas. Estudos experimentais com redes neurais biológicas mostram que o processamento neural possui um forte componente estocástico, tornando a análise de modelos que incluem estocasticidade um estudo relevante para o entendimento da atividade cerebral. Assim, além dos estudos com a versão determinística da rede, também foram feitos experimentos com neurônios integra-e-dispara estocásticos. As camadas convolucionais foram treinadas segundo uma regra simples de plasticidade dependente do tempo de disparo (STDP, do inglês spike timing dependent plasticity), um mecanismo de aprendizado não supervisionado fisiológico que tende a fortalecer sinapses entre neurônios cujos disparos são temporal e causalmente correlacionados. As camadas de pooling adicionam invariância ao modelo, condensando informações em espaços menores. Por fim, o perceptron multicamadas informa a qual classe a imagem de entrada pertence. Para cada caso estudado, o comportamento e a exatidão da rede na tarefa de classificação foram registrados e analisados. Apesar dos resultados inferiores em comparação com redes neurais convolucionais pulsadas no estado da arte, a rede desenvolvida neste trabalho apresentou bom desempenho para três bancos de dados de imagens conhecidos. Isso indica que a rede desenvolvida é promissora e pode ter seu desempenho melhorado se configurada com um conjunto de parâmetros adequado e intuitivamente alcançável.
publishDate 2022
dc.date.none.fl_str_mv 2022-10-17
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://www.teses.usp.br/teses/disponiveis/59/59143/tde-22112022-152337/
url https://www.teses.usp.br/teses/disponiveis/59/59143/tde-22112022-152337/
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv
dc.rights.driver.fl_str_mv Liberar o conteúdo para acesso público.
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Liberar o conteúdo para acesso público.
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.coverage.none.fl_str_mv
dc.publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
dc.source.none.fl_str_mv
reponame:Biblioteca Digital de Teses e Dissertações da USP
instname:Universidade de São Paulo (USP)
instacron:USP
instname_str Universidade de São Paulo (USP)
instacron_str USP
institution USP
reponame_str Biblioteca Digital de Teses e Dissertações da USP
collection Biblioteca Digital de Teses e Dissertações da USP
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)
repository.mail.fl_str_mv virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br
_version_ 1815258401943322624