Construção e análise de rede neural convolucional com neurônios pulsados para classificação de imagens
| Ano de defesa: | 2022 |
|---|---|
| Autor(a) principal: | |
| Orientador(a): | |
| Banca de defesa: | |
| Tipo de documento: | Dissertação |
| Tipo de acesso: | Acesso aberto |
| Idioma: | por |
| Instituição de defesa: |
Biblioteca Digitais de Teses e Dissertações da USP
|
| Programa de Pós-Graduação: |
Não Informado pela instituição
|
| Departamento: |
Não Informado pela instituição
|
| País: |
Não Informado pela instituição
|
| Palavras-chave em Português: | |
| Link de acesso: | https://www.teses.usp.br/teses/disponiveis/59/59143/tde-22112022-152337/ |
Resumo: | O objetivo principal desta dissertação foi construir uma implementação da rede neural convolucional pulsada com neurônios integra-e-dispara proposta por Kheradpisheh et al. em 2018 para a tarefa de classificação de imagens e investigar as consequências de variações em alguns parâmetros de arquitetura da rede no seu desempenho. A rede em questão tem a seguinte arquitetura: (i) uma camada de entrada que recebe a imagem, aplica a ela um kernel de diferença de gaussianas e gera o trem de pulsos que codifica as características da imagem no domínio temporal; (ii) uma sequência de camadas de convolução e de pooling alternadas, constituídas de neurônios pulsados; e (iii) uma camada de pooling global utilizada na fase de classificação, cuja saída é usada para treinar um perceptron multicamadas. Estudos experimentais com redes neurais biológicas mostram que o processamento neural possui um forte componente estocástico, tornando a análise de modelos que incluem estocasticidade um estudo relevante para o entendimento da atividade cerebral. Assim, além dos estudos com a versão determinística da rede, também foram feitos experimentos com neurônios integra-e-dispara estocásticos. As camadas convolucionais foram treinadas segundo uma regra simples de plasticidade dependente do tempo de disparo (STDP, do inglês spike timing dependent plasticity), um mecanismo de aprendizado não supervisionado fisiológico que tende a fortalecer sinapses entre neurônios cujos disparos são temporal e causalmente correlacionados. As camadas de pooling adicionam invariância ao modelo, condensando informações em espaços menores. Por fim, o perceptron multicamadas informa a qual classe a imagem de entrada pertence. Para cada caso estudado, o comportamento e a exatidão da rede na tarefa de classificação foram registrados e analisados. Apesar dos resultados inferiores em comparação com redes neurais convolucionais pulsadas no estado da arte, a rede desenvolvida neste trabalho apresentou bom desempenho para três bancos de dados de imagens conhecidos. Isso indica que a rede desenvolvida é promissora e pode ter seu desempenho melhorado se configurada com um conjunto de parâmetros adequado e intuitivamente alcançável. |
| id |
USP_a7cae5b26154795601487f1d8a774864 |
|---|---|
| oai_identifier_str |
oai:teses.usp.br:tde-22112022-152337 |
| network_acronym_str |
USP |
| network_name_str |
Biblioteca Digital de Teses e Dissertações da USP |
| repository_id_str |
|
| spelling |
Construção e análise de rede neural convolucional com neurônios pulsados para classificação de imagensConvolutional neural network construction and analysis with pulsed neurons for classification of imagesClassificação de imagensConvolutional neural networkImage classificationNeurônios pulsadosRede neural convolucionalSpiking neuronsO objetivo principal desta dissertação foi construir uma implementação da rede neural convolucional pulsada com neurônios integra-e-dispara proposta por Kheradpisheh et al. em 2018 para a tarefa de classificação de imagens e investigar as consequências de variações em alguns parâmetros de arquitetura da rede no seu desempenho. A rede em questão tem a seguinte arquitetura: (i) uma camada de entrada que recebe a imagem, aplica a ela um kernel de diferença de gaussianas e gera o trem de pulsos que codifica as características da imagem no domínio temporal; (ii) uma sequência de camadas de convolução e de pooling alternadas, constituídas de neurônios pulsados; e (iii) uma camada de pooling global utilizada na fase de classificação, cuja saída é usada para treinar um perceptron multicamadas. Estudos experimentais com redes neurais biológicas mostram que o processamento neural possui um forte componente estocástico, tornando a análise de modelos que incluem estocasticidade um estudo relevante para o entendimento da atividade cerebral. Assim, além dos estudos com a versão determinística da rede, também foram feitos experimentos com neurônios integra-e-dispara estocásticos. As camadas convolucionais foram treinadas segundo uma regra simples de plasticidade dependente do tempo de disparo (STDP, do inglês spike timing dependent plasticity), um mecanismo de aprendizado não supervisionado fisiológico que tende a fortalecer sinapses entre neurônios cujos disparos são temporal e causalmente correlacionados. As camadas de pooling adicionam invariância ao modelo, condensando informações em espaços menores. Por fim, o perceptron multicamadas informa a qual classe a imagem de entrada pertence. Para cada caso estudado, o comportamento e a exatidão da rede na tarefa de classificação foram registrados e analisados. Apesar dos resultados inferiores em comparação com redes neurais convolucionais pulsadas no estado da arte, a rede desenvolvida neste trabalho apresentou bom desempenho para três bancos de dados de imagens conhecidos. Isso indica que a rede desenvolvida é promissora e pode ter seu desempenho melhorado se configurada com um conjunto de parâmetros adequado e intuitivamente alcançável.The main objective of this dissertation was to construct an implementation of the convolutional spiking neural network with integrate-and-fire neurons proposed by Kheradipsheh et al. in 2018 for the task of image classification, and to investigate the consequences of variations in some network architecture parameters on its performance. The network has the following architecture: (i) the first layer receives the image, applies to it a difference of Gaussians kernel and generates a spike train which represents the characteristics of the image in the temporal domain; (ii) a cascade of alternate convolutional and pooling layers, composed of spiking neurons; and (iii) a global pooling layer used in the classification phase, whose output is used to train a multilayer perceptron. Experimental studies with biological neural networks show that neural processing has a strong stochastic component, and this makes the analysis of models that include stochasticity relevant for an understanding of brain activity. Thus, in addition to the studies with the deterministic version of the network, experiments with stochastic integrate-and-fire neurons were made. The convolutional layers were trained according to a simple spike timing dependent plasticity (STDP) rule, which is an unsupervised physiological learning mechanism that tends to strengthen synapses between neurons whose spikes are temporally and causally correlated. Pooling layers add invariance to the model, compressing data. Lastly, the multilayer perceptron indicates to which class the image belongs. For each studied case, the accuracy and behavior of the network were registered and analyzed. In spite of the inferior results compared to state-of-the-art convolutional spiking neural networks, the network developed in this work showed good accuracy for three known image datasets. This indicates that the developed network is promising and capable of better performance if configured with an adequate and intuitively achievable set of parameters.Biblioteca Digitais de Teses e Dissertações da USPSilva Filho, Antonio Carlos Roque daSilva Junior, Edvaldo Castro da2022-10-17info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttps://www.teses.usp.br/teses/disponiveis/59/59143/tde-22112022-152337/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesspor2022-11-24T15:24:05Zoai:teses.usp.br:tde-22112022-152337Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212022-11-24T15:24:05Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false |
| dc.title.none.fl_str_mv |
Construção e análise de rede neural convolucional com neurônios pulsados para classificação de imagens Convolutional neural network construction and analysis with pulsed neurons for classification of images |
| title |
Construção e análise de rede neural convolucional com neurônios pulsados para classificação de imagens |
| spellingShingle |
Construção e análise de rede neural convolucional com neurônios pulsados para classificação de imagens Silva Junior, Edvaldo Castro da Classificação de imagens Convolutional neural network Image classification Neurônios pulsados Rede neural convolucional Spiking neurons |
| title_short |
Construção e análise de rede neural convolucional com neurônios pulsados para classificação de imagens |
| title_full |
Construção e análise de rede neural convolucional com neurônios pulsados para classificação de imagens |
| title_fullStr |
Construção e análise de rede neural convolucional com neurônios pulsados para classificação de imagens |
| title_full_unstemmed |
Construção e análise de rede neural convolucional com neurônios pulsados para classificação de imagens |
| title_sort |
Construção e análise de rede neural convolucional com neurônios pulsados para classificação de imagens |
| author |
Silva Junior, Edvaldo Castro da |
| author_facet |
Silva Junior, Edvaldo Castro da |
| author_role |
author |
| dc.contributor.none.fl_str_mv |
Silva Filho, Antonio Carlos Roque da |
| dc.contributor.author.fl_str_mv |
Silva Junior, Edvaldo Castro da |
| dc.subject.por.fl_str_mv |
Classificação de imagens Convolutional neural network Image classification Neurônios pulsados Rede neural convolucional Spiking neurons |
| topic |
Classificação de imagens Convolutional neural network Image classification Neurônios pulsados Rede neural convolucional Spiking neurons |
| description |
O objetivo principal desta dissertação foi construir uma implementação da rede neural convolucional pulsada com neurônios integra-e-dispara proposta por Kheradpisheh et al. em 2018 para a tarefa de classificação de imagens e investigar as consequências de variações em alguns parâmetros de arquitetura da rede no seu desempenho. A rede em questão tem a seguinte arquitetura: (i) uma camada de entrada que recebe a imagem, aplica a ela um kernel de diferença de gaussianas e gera o trem de pulsos que codifica as características da imagem no domínio temporal; (ii) uma sequência de camadas de convolução e de pooling alternadas, constituídas de neurônios pulsados; e (iii) uma camada de pooling global utilizada na fase de classificação, cuja saída é usada para treinar um perceptron multicamadas. Estudos experimentais com redes neurais biológicas mostram que o processamento neural possui um forte componente estocástico, tornando a análise de modelos que incluem estocasticidade um estudo relevante para o entendimento da atividade cerebral. Assim, além dos estudos com a versão determinística da rede, também foram feitos experimentos com neurônios integra-e-dispara estocásticos. As camadas convolucionais foram treinadas segundo uma regra simples de plasticidade dependente do tempo de disparo (STDP, do inglês spike timing dependent plasticity), um mecanismo de aprendizado não supervisionado fisiológico que tende a fortalecer sinapses entre neurônios cujos disparos são temporal e causalmente correlacionados. As camadas de pooling adicionam invariância ao modelo, condensando informações em espaços menores. Por fim, o perceptron multicamadas informa a qual classe a imagem de entrada pertence. Para cada caso estudado, o comportamento e a exatidão da rede na tarefa de classificação foram registrados e analisados. Apesar dos resultados inferiores em comparação com redes neurais convolucionais pulsadas no estado da arte, a rede desenvolvida neste trabalho apresentou bom desempenho para três bancos de dados de imagens conhecidos. Isso indica que a rede desenvolvida é promissora e pode ter seu desempenho melhorado se configurada com um conjunto de parâmetros adequado e intuitivamente alcançável. |
| publishDate |
2022 |
| dc.date.none.fl_str_mv |
2022-10-17 |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
| format |
masterThesis |
| status_str |
publishedVersion |
| dc.identifier.uri.fl_str_mv |
https://www.teses.usp.br/teses/disponiveis/59/59143/tde-22112022-152337/ |
| url |
https://www.teses.usp.br/teses/disponiveis/59/59143/tde-22112022-152337/ |
| dc.language.iso.fl_str_mv |
por |
| language |
por |
| dc.relation.none.fl_str_mv |
|
| dc.rights.driver.fl_str_mv |
Liberar o conteúdo para acesso público. info:eu-repo/semantics/openAccess |
| rights_invalid_str_mv |
Liberar o conteúdo para acesso público. |
| eu_rights_str_mv |
openAccess |
| dc.format.none.fl_str_mv |
application/pdf |
| dc.coverage.none.fl_str_mv |
|
| dc.publisher.none.fl_str_mv |
Biblioteca Digitais de Teses e Dissertações da USP |
| publisher.none.fl_str_mv |
Biblioteca Digitais de Teses e Dissertações da USP |
| dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações da USP instname:Universidade de São Paulo (USP) instacron:USP |
| instname_str |
Universidade de São Paulo (USP) |
| instacron_str |
USP |
| institution |
USP |
| reponame_str |
Biblioteca Digital de Teses e Dissertações da USP |
| collection |
Biblioteca Digital de Teses e Dissertações da USP |
| repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP) |
| repository.mail.fl_str_mv |
virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br |
| _version_ |
1815258401943322624 |