O efeito das lesões nas capacidades de memorização e generalização de um perceptron

Detalhes bibliográficos
Ano de defesa: 1993
Autor(a) principal: Barbato, Daniela Maria Lemos
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Biblioteca Digitais de Teses e Dissertações da USP
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Erro de generalização
Generalization error
Layered neural network
Perceptron
Rede neural de camadas
Link de acesso: http://www.teses.usp.br/teses/disponiveis/54/54131/tde-05092008-144618/
Resumo: Perceptrons são redes neurais sem retroalimentação onde os neurônios estão dispostos em camadas. O perceptron considerado neste trabalho consiste de uma camada de N neurônios sensores Si = ±1; i = 1, , N ligados a um neurônio motor δ através das conexões sinápticas (pesos) Wi; i = 1, ..., N cujos valores restringimos a ±1. Utilizando o formalismo de Mecânica Estatística desenvolvido por Gardner (1988), estudamos os efeitos de eliminarmos uma fração de conexões sinápticas (diluição ) nas capacidades de memorização e generalização da rede neural descrita acima. Consideramos também o efeito de ruído atuando durante o estágio de treinamento do perceptron. Consideramos dois tipos de diluição: diluição móvel na qual os pesos são cortados de maneira a minimizar o erro de treinamento e diluição fixa na qual os pesos são cortados aleatoriamente. A diluição móvel, que modela lesões em cérebro de pacientes muito jovens, pode melhorar a capacidade de memorização e, no caso da rede ser treinada com ruído, também pode melhorar a capacidade de generalização. Por outro lado, a diluição fixa, que modela lesões em cérebros de pacientes adultos, sempre degrada o desempenho da rede, sendo seu principal efeito introduzir um ruído efetivo nos exemplos de treinamento.
id USP_0b9547768f470319bfdd6260dc4bf411
oai_identifier_str oai:teses.usp.br:tde-05092008-144618
network_acronym_str USP
network_name_str Biblioteca Digital de Teses e Dissertações da USP
repository_id_str
spelling O efeito das lesões nas capacidades de memorização e generalização de um perceptronEffect of lesion on the storage and generalization capabilities of a perceptronErro de generalizaçãoGeneralization errorLayered neural networkPerceptronPerceptronRede neural de camadasPerceptrons são redes neurais sem retroalimentação onde os neurônios estão dispostos em camadas. O perceptron considerado neste trabalho consiste de uma camada de N neurônios sensores Si = ±1; i = 1, , N ligados a um neurônio motor δ através das conexões sinápticas (pesos) Wi; i = 1, ..., N cujos valores restringimos a ±1. Utilizando o formalismo de Mecânica Estatística desenvolvido por Gardner (1988), estudamos os efeitos de eliminarmos uma fração de conexões sinápticas (diluição ) nas capacidades de memorização e generalização da rede neural descrita acima. Consideramos também o efeito de ruído atuando durante o estágio de treinamento do perceptron. Consideramos dois tipos de diluição: diluição móvel na qual os pesos são cortados de maneira a minimizar o erro de treinamento e diluição fixa na qual os pesos são cortados aleatoriamente. A diluição móvel, que modela lesões em cérebro de pacientes muito jovens, pode melhorar a capacidade de memorização e, no caso da rede ser treinada com ruído, também pode melhorar a capacidade de generalização. Por outro lado, a diluição fixa, que modela lesões em cérebros de pacientes adultos, sempre degrada o desempenho da rede, sendo seu principal efeito introduzir um ruído efetivo nos exemplos de treinamento.Perceptrons are layered, feed-forward neural networks. In this work we consider a per-ceptron composed of one input layer with N sensor neurons Si = ±1; i = 1, ... , N which are connected to a single motor neuron δ through the synaptic weights Wj; i = 1, ... , N, which are constrained to take on the values ±1 only. Using the Statistical Mechanics formalism developed by Gardner (1988), we study the effects of eliminating a fraction of synaptic weights on the memorization and generalization capabilities of the neural network described above. We consider also the effects of noise acting during the perceptron training stage. We consider two types of dilution: annealed dilution, where the weights are cut so as to minimize the training error and quenched dilution, where the weights are cut randomly. The annealed dilution which models brain damage in very young patients can improve the memorization ability and, in the case of training with noise, it can also improve the generalization ability. On the other hand, the quenched dilution which models lesions on adult brains always degrades the performance of the network, its main effect being to introduce an effective noise in the training examples.Biblioteca Digitais de Teses e Dissertações da USPFontanari, Jose FernandoBarbato, Daniela Maria Lemos1993-09-08info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfhttp://www.teses.usp.br/teses/disponiveis/54/54131/tde-05092008-144618/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesspor2016-07-28T16:09:56Zoai:teses.usp.br:tde-05092008-144618Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212016-07-28T16:09:56Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false
dc.title.none.fl_str_mv O efeito das lesões nas capacidades de memorização e generalização de um perceptron
Effect of lesion on the storage and generalization capabilities of a perceptron
title O efeito das lesões nas capacidades de memorização e generalização de um perceptron
spellingShingle O efeito das lesões nas capacidades de memorização e generalização de um perceptron
Barbato, Daniela Maria Lemos
Erro de generalização
Generalization error
Layered neural network
Perceptron
Perceptron
Rede neural de camadas
title_short O efeito das lesões nas capacidades de memorização e generalização de um perceptron
title_full O efeito das lesões nas capacidades de memorização e generalização de um perceptron
title_fullStr O efeito das lesões nas capacidades de memorização e generalização de um perceptron
title_full_unstemmed O efeito das lesões nas capacidades de memorização e generalização de um perceptron
title_sort O efeito das lesões nas capacidades de memorização e generalização de um perceptron
author Barbato, Daniela Maria Lemos
author_facet Barbato, Daniela Maria Lemos
author_role author
dc.contributor.none.fl_str_mv Fontanari, Jose Fernando
dc.contributor.author.fl_str_mv Barbato, Daniela Maria Lemos
dc.subject.por.fl_str_mv Erro de generalização
Generalization error
Layered neural network
Perceptron
Perceptron
Rede neural de camadas
topic Erro de generalização
Generalization error
Layered neural network
Perceptron
Perceptron
Rede neural de camadas
description Perceptrons são redes neurais sem retroalimentação onde os neurônios estão dispostos em camadas. O perceptron considerado neste trabalho consiste de uma camada de N neurônios sensores Si = ±1; i = 1, , N ligados a um neurônio motor δ através das conexões sinápticas (pesos) Wi; i = 1, ..., N cujos valores restringimos a ±1. Utilizando o formalismo de Mecânica Estatística desenvolvido por Gardner (1988), estudamos os efeitos de eliminarmos uma fração de conexões sinápticas (diluição ) nas capacidades de memorização e generalização da rede neural descrita acima. Consideramos também o efeito de ruído atuando durante o estágio de treinamento do perceptron. Consideramos dois tipos de diluição: diluição móvel na qual os pesos são cortados de maneira a minimizar o erro de treinamento e diluição fixa na qual os pesos são cortados aleatoriamente. A diluição móvel, que modela lesões em cérebro de pacientes muito jovens, pode melhorar a capacidade de memorização e, no caso da rede ser treinada com ruído, também pode melhorar a capacidade de generalização. Por outro lado, a diluição fixa, que modela lesões em cérebros de pacientes adultos, sempre degrada o desempenho da rede, sendo seu principal efeito introduzir um ruído efetivo nos exemplos de treinamento.
publishDate 1993
dc.date.none.fl_str_mv 1993-09-08
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://www.teses.usp.br/teses/disponiveis/54/54131/tde-05092008-144618/
url http://www.teses.usp.br/teses/disponiveis/54/54131/tde-05092008-144618/
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv
dc.rights.driver.fl_str_mv Liberar o conteúdo para acesso público.
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Liberar o conteúdo para acesso público.
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.coverage.none.fl_str_mv
dc.publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
dc.source.none.fl_str_mv
reponame:Biblioteca Digital de Teses e Dissertações da USP
instname:Universidade de São Paulo (USP)
instacron:USP
instname_str Universidade de São Paulo (USP)
instacron_str USP
institution USP
reponame_str Biblioteca Digital de Teses e Dissertações da USP
collection Biblioteca Digital de Teses e Dissertações da USP
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)
repository.mail.fl_str_mv virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br
_version_ 1815257922084536320

Registros relacionados