Dinâmica e mecânica estatística de modelos de redes neurais

Detalhes bibliográficos
Ano de defesa: 2008
Autor(a) principal: Metz, Fernando Lucas
Orientador(a): Theumann, Walter Karl
Banca de defesa: Não Informado pela instituição
Tipo de documento: Tese
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Não Informado pela instituição
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Link de acesso: http://hdl.handle.net/10183/14882
Resumo: Estudamos neste trabalho o comportamento de modelos de redes neurais compostos de neurônios (ou sítios) e padrões descritos por variáveis binárias, onde cada neurônio conecta-se a um número macroscópico de neurônios vizinhos - modelos de campo médio - por meio de sinapses ou interações, cuja forma é escolhida de modo que a rede seja capaz de executar tarefas específicas. Três modelos são investigados neste trabalho: o modelo de Little-Hopfield e dois modelos de processamento sequencial, um com interações simétricas e outro com interações assimétricas. As sinapses do modelo de Little-Hopfield incluem apenas o termo Hebbiano, que tende a estabilizar a rede em um dos padrões, favorecendo sua recuperação. As sinapses dos modelos de processamento sequencial envolvem a competição entre o termo Hebbiano e um termo sequencial, que provoca transições dos estados entre os diferentes padrões armazenados, favorecendo a recuperação de uma sequência de padrões. Nos concentramos essencialmente na análise das propriedades dinâmicas e estacionárias das soluções vinculadas a esses dois modos de processamento de informação, característicos de modelos de memória associativa. A competição entre a recuperação de um padrão e o processamento de uma sequência é responsável pela riqueza exibida pelos diagTamas de fases dos modelos de processamento sequencial, os quais incluem a presença de soluções cíclicas e de ponto-fixo. O comportamento dos modelos de interesse é analisado em três arquiteturas: na rede em camadas, na rede recorrente e numa rede dual, que interpola entre as duas primeiras arquiteturas. Com relação à metodologia, a rede em camadas e a rede recorrente são estudadas através de um tratamento dinàmico, utilizando a análise de sinal-ruído no primeiro caso e o mÉ~tododa funcional geratriz, com simulações numéricas baseadas no procedimento de Eissfeller e Opper, no segundo caso. Os estados estacionários da rede dual são estudados por meio da mecânica estatística de equilíbrio, utilizando o método das réplicas. Resultados para o comportamento desses sistemas são discutidos considerando os regimes de armazenamento finito e infinito de padrões. Apesar dos modelos de processamento sequencial estudados aqui apresentarem diversas limitações com relação a redes de neurônios biológicos, as propriedades qualitativas das soluções exibidas por esses sistemas podem ser interessantes de um ponto de vista biológico.
id URGS_51cd82c8e9775b14c34bc231192e121c
oai_identifier_str oai:www.lume.ufrgs.br:10183/14882
network_acronym_str URGS
network_name_str Biblioteca Digital de Teses e Dissertações da UFRGS
repository_id_str
spelling Metz, Fernando LucasTheumann, Walter Karl2008-12-18T04:12:41Z2008http://hdl.handle.net/10183/14882000671487Estudamos neste trabalho o comportamento de modelos de redes neurais compostos de neurônios (ou sítios) e padrões descritos por variáveis binárias, onde cada neurônio conecta-se a um número macroscópico de neurônios vizinhos - modelos de campo médio - por meio de sinapses ou interações, cuja forma é escolhida de modo que a rede seja capaz de executar tarefas específicas. Três modelos são investigados neste trabalho: o modelo de Little-Hopfield e dois modelos de processamento sequencial, um com interações simétricas e outro com interações assimétricas. As sinapses do modelo de Little-Hopfield incluem apenas o termo Hebbiano, que tende a estabilizar a rede em um dos padrões, favorecendo sua recuperação. As sinapses dos modelos de processamento sequencial envolvem a competição entre o termo Hebbiano e um termo sequencial, que provoca transições dos estados entre os diferentes padrões armazenados, favorecendo a recuperação de uma sequência de padrões. Nos concentramos essencialmente na análise das propriedades dinâmicas e estacionárias das soluções vinculadas a esses dois modos de processamento de informação, característicos de modelos de memória associativa. A competição entre a recuperação de um padrão e o processamento de uma sequência é responsável pela riqueza exibida pelos diagTamas de fases dos modelos de processamento sequencial, os quais incluem a presença de soluções cíclicas e de ponto-fixo. O comportamento dos modelos de interesse é analisado em três arquiteturas: na rede em camadas, na rede recorrente e numa rede dual, que interpola entre as duas primeiras arquiteturas. Com relação à metodologia, a rede em camadas e a rede recorrente são estudadas através de um tratamento dinàmico, utilizando a análise de sinal-ruído no primeiro caso e o mÉ~tododa funcional geratriz, com simulações numéricas baseadas no procedimento de Eissfeller e Opper, no segundo caso. Os estados estacionários da rede dual são estudados por meio da mecânica estatística de equilíbrio, utilizando o método das réplicas. Resultados para o comportamento desses sistemas são discutidos considerando os regimes de armazenamento finito e infinito de padrões. Apesar dos modelos de processamento sequencial estudados aqui apresentarem diversas limitações com relação a redes de neurônios biológicos, as propriedades qualitativas das soluções exibidas por esses sistemas podem ser interessantes de um ponto de vista biológico.We study in this work the behaviour of neural network models composed of neurons (01'sites) and patterns described by binary variables, in which each neuron is connected to a macroscopic number of neighbours - mean-field models - by means of synapses or interactions, whose form is chosen in a way that the network is able to perform specific tasks. Three models are investigated in this work: the Little-Hopfield model and two sequence processing models, one with symmetric interactions and another with asymmetric interactions. The synapses of the Little-Hopfield model include only the Hebbian term, which tends to stabilise the network in one of the patterns, favouring its retrieval. The synapses of the sequence processing models involve the competition between the Hebbian term and a sequential term, which generates transitions of states between the stored patterns, favouring the retrieval of a sequence of patterns. \Ve mainly concentrate on the dynamical and stationary properties of the solutions related to both kinds of information processing, typical of associative memory models. The competition between pattern retrieval and sequence processing is responsible for the richness exhibited by the phase diagrams of the sequence processing models, which include the presence of cyclic and fixed-point solutions. The behaviour of the models is analysed in three architectures: the feed-forward layered network, the recurrent network and the dual network, that interpolates between the first two architectures. With respect to the methodology, the strictly feed-forward and recurrent neural networks are studied through a dynamical approach, using the signalto- noise analysis and the generating functional method, respectively. Explicit results for the latter are implemented by numerical simulations following a method of Eissfeller and Opper. The stationary states of the dual network are studied by means of the equilibrium statistical mechanics, using the replica method. Results for the behaviour of these systems are discussed for finite and extensive loading of patterns. Although the sequence processing models studied here have several limitations with respect to biological networks, the qualitative properties of the solutions ex.hibited by these systems may be interesting from a biological point of view.application/pdfporRedes neuraisArquitetura de redes neuraisMecânica estatísticaMemoria associativaDinâmica e mecânica estatística de modelos de redes neuraisinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisUniversidade Federal do Rio Grande do SulInstituto de FísicaPrograma de Pós-Graduação em FísicaPorto Alegre, BR-RS2008doutoradoinfo:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da UFRGSinstname:Universidade Federal do Rio Grande do Sul (UFRGS)instacron:UFRGSORIGINAL000671487.pdf000671487.pdfTexto completoapplication/pdf1915970http://www.lume.ufrgs.br/bitstream/10183/14882/1/000671487.pdf25ecf68de825385421039e82fda15db2MD51TEXT000671487.pdf.txt000671487.pdf.txtExtracted Texttext/plain378784http://www.lume.ufrgs.br/bitstream/10183/14882/2/000671487.pdf.txt59a8998c7ea3ad455f4d81fe1d211f20MD52THUMBNAIL000671487.pdf.jpg000671487.pdf.jpgGenerated Thumbnailimage/jpeg1072http://www.lume.ufrgs.br/bitstream/10183/14882/3/000671487.pdf.jpg06d79c01c532ddb8dfb89986a46b2d98MD5310183/148822023-05-21 03:27:26.133289oai:www.lume.ufrgs.br:10183/14882Biblioteca Digital de Teses e Dissertaçõeshttps://lume.ufrgs.br/handle/10183/2PUBhttps://lume.ufrgs.br/oai/requestlume@ufrgs.br||lume@ufrgs.bropendoar:18532023-05-21T06:27:26Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)false
dc.title.pt_BR.fl_str_mv Dinâmica e mecânica estatística de modelos de redes neurais
title Dinâmica e mecânica estatística de modelos de redes neurais
spellingShingle Dinâmica e mecânica estatística de modelos de redes neurais
Metz, Fernando Lucas
Redes neurais
Arquitetura de redes neurais
Mecânica estatística
Memoria associativa
title_short Dinâmica e mecânica estatística de modelos de redes neurais
title_full Dinâmica e mecânica estatística de modelos de redes neurais
title_fullStr Dinâmica e mecânica estatística de modelos de redes neurais
title_full_unstemmed Dinâmica e mecânica estatística de modelos de redes neurais
title_sort Dinâmica e mecânica estatística de modelos de redes neurais
author Metz, Fernando Lucas
author_facet Metz, Fernando Lucas
author_role author
dc.contributor.author.fl_str_mv Metz, Fernando Lucas
dc.contributor.advisor1.fl_str_mv Theumann, Walter Karl
contributor_str_mv Theumann, Walter Karl
dc.subject.por.fl_str_mv Redes neurais
Arquitetura de redes neurais
Mecânica estatística
Memoria associativa
topic Redes neurais
Arquitetura de redes neurais
Mecânica estatística
Memoria associativa
description Estudamos neste trabalho o comportamento de modelos de redes neurais compostos de neurônios (ou sítios) e padrões descritos por variáveis binárias, onde cada neurônio conecta-se a um número macroscópico de neurônios vizinhos - modelos de campo médio - por meio de sinapses ou interações, cuja forma é escolhida de modo que a rede seja capaz de executar tarefas específicas. Três modelos são investigados neste trabalho: o modelo de Little-Hopfield e dois modelos de processamento sequencial, um com interações simétricas e outro com interações assimétricas. As sinapses do modelo de Little-Hopfield incluem apenas o termo Hebbiano, que tende a estabilizar a rede em um dos padrões, favorecendo sua recuperação. As sinapses dos modelos de processamento sequencial envolvem a competição entre o termo Hebbiano e um termo sequencial, que provoca transições dos estados entre os diferentes padrões armazenados, favorecendo a recuperação de uma sequência de padrões. Nos concentramos essencialmente na análise das propriedades dinâmicas e estacionárias das soluções vinculadas a esses dois modos de processamento de informação, característicos de modelos de memória associativa. A competição entre a recuperação de um padrão e o processamento de uma sequência é responsável pela riqueza exibida pelos diagTamas de fases dos modelos de processamento sequencial, os quais incluem a presença de soluções cíclicas e de ponto-fixo. O comportamento dos modelos de interesse é analisado em três arquiteturas: na rede em camadas, na rede recorrente e numa rede dual, que interpola entre as duas primeiras arquiteturas. Com relação à metodologia, a rede em camadas e a rede recorrente são estudadas através de um tratamento dinàmico, utilizando a análise de sinal-ruído no primeiro caso e o mÉ~tododa funcional geratriz, com simulações numéricas baseadas no procedimento de Eissfeller e Opper, no segundo caso. Os estados estacionários da rede dual são estudados por meio da mecânica estatística de equilíbrio, utilizando o método das réplicas. Resultados para o comportamento desses sistemas são discutidos considerando os regimes de armazenamento finito e infinito de padrões. Apesar dos modelos de processamento sequencial estudados aqui apresentarem diversas limitações com relação a redes de neurônios biológicos, as propriedades qualitativas das soluções exibidas por esses sistemas podem ser interessantes de um ponto de vista biológico.
publishDate 2008
dc.date.accessioned.fl_str_mv 2008-12-18T04:12:41Z
dc.date.issued.fl_str_mv 2008
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10183/14882
dc.identifier.nrb.pt_BR.fl_str_mv 000671487
url http://hdl.handle.net/10183/14882
identifier_str_mv 000671487
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da UFRGS
instname:Universidade Federal do Rio Grande do Sul (UFRGS)
instacron:UFRGS
instname_str Universidade Federal do Rio Grande do Sul (UFRGS)
instacron_str UFRGS
institution UFRGS
reponame_str Biblioteca Digital de Teses e Dissertações da UFRGS
collection Biblioteca Digital de Teses e Dissertações da UFRGS
bitstream.url.fl_str_mv http://www.lume.ufrgs.br/bitstream/10183/14882/1/000671487.pdf
http://www.lume.ufrgs.br/bitstream/10183/14882/2/000671487.pdf.txt
http://www.lume.ufrgs.br/bitstream/10183/14882/3/000671487.pdf.jpg
bitstream.checksum.fl_str_mv 25ecf68de825385421039e82fda15db2
59a8998c7ea3ad455f4d81fe1d211f20
06d79c01c532ddb8dfb89986a46b2d98
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)
repository.mail.fl_str_mv lume@ufrgs.br||lume@ufrgs.br
_version_ 1831315853046448128