Dinâmica e mecânica estatística de modelos de redes neurais
| Ano de defesa: | 2008 |
|---|---|
| Autor(a) principal: | |
| Orientador(a): | |
| Banca de defesa: | |
| Tipo de documento: | Tese |
| Tipo de acesso: | Acesso aberto |
| Idioma: | por |
| Instituição de defesa: |
Não Informado pela instituição
|
| Programa de Pós-Graduação: |
Não Informado pela instituição
|
| Departamento: |
Não Informado pela instituição
|
| País: |
Não Informado pela instituição
|
| Palavras-chave em Português: | |
| Link de acesso: | http://hdl.handle.net/10183/14882 |
Resumo: | Estudamos neste trabalho o comportamento de modelos de redes neurais compostos de neurônios (ou sítios) e padrões descritos por variáveis binárias, onde cada neurônio conecta-se a um número macroscópico de neurônios vizinhos - modelos de campo médio - por meio de sinapses ou interações, cuja forma é escolhida de modo que a rede seja capaz de executar tarefas específicas. Três modelos são investigados neste trabalho: o modelo de Little-Hopfield e dois modelos de processamento sequencial, um com interações simétricas e outro com interações assimétricas. As sinapses do modelo de Little-Hopfield incluem apenas o termo Hebbiano, que tende a estabilizar a rede em um dos padrões, favorecendo sua recuperação. As sinapses dos modelos de processamento sequencial envolvem a competição entre o termo Hebbiano e um termo sequencial, que provoca transições dos estados entre os diferentes padrões armazenados, favorecendo a recuperação de uma sequência de padrões. Nos concentramos essencialmente na análise das propriedades dinâmicas e estacionárias das soluções vinculadas a esses dois modos de processamento de informação, característicos de modelos de memória associativa. A competição entre a recuperação de um padrão e o processamento de uma sequência é responsável pela riqueza exibida pelos diagTamas de fases dos modelos de processamento sequencial, os quais incluem a presença de soluções cíclicas e de ponto-fixo. O comportamento dos modelos de interesse é analisado em três arquiteturas: na rede em camadas, na rede recorrente e numa rede dual, que interpola entre as duas primeiras arquiteturas. Com relação à metodologia, a rede em camadas e a rede recorrente são estudadas através de um tratamento dinàmico, utilizando a análise de sinal-ruído no primeiro caso e o mÉ~tododa funcional geratriz, com simulações numéricas baseadas no procedimento de Eissfeller e Opper, no segundo caso. Os estados estacionários da rede dual são estudados por meio da mecânica estatística de equilíbrio, utilizando o método das réplicas. Resultados para o comportamento desses sistemas são discutidos considerando os regimes de armazenamento finito e infinito de padrões. Apesar dos modelos de processamento sequencial estudados aqui apresentarem diversas limitações com relação a redes de neurônios biológicos, as propriedades qualitativas das soluções exibidas por esses sistemas podem ser interessantes de um ponto de vista biológico. |
| id |
UFRGS-2_51cd82c8e9775b14c34bc231192e121c |
|---|---|
| oai_identifier_str |
oai:www.lume.ufrgs.br:10183/14882 |
| network_acronym_str |
UFRGS-2 |
| network_name_str |
Repositório Institucional da UFRGS |
| repository_id_str |
|
| spelling |
Metz, Fernando LucasTheumann, Walter Karl2008-12-18T04:12:41Z2008http://hdl.handle.net/10183/14882000671487Estudamos neste trabalho o comportamento de modelos de redes neurais compostos de neurônios (ou sítios) e padrões descritos por variáveis binárias, onde cada neurônio conecta-se a um número macroscópico de neurônios vizinhos - modelos de campo médio - por meio de sinapses ou interações, cuja forma é escolhida de modo que a rede seja capaz de executar tarefas específicas. Três modelos são investigados neste trabalho: o modelo de Little-Hopfield e dois modelos de processamento sequencial, um com interações simétricas e outro com interações assimétricas. As sinapses do modelo de Little-Hopfield incluem apenas o termo Hebbiano, que tende a estabilizar a rede em um dos padrões, favorecendo sua recuperação. As sinapses dos modelos de processamento sequencial envolvem a competição entre o termo Hebbiano e um termo sequencial, que provoca transições dos estados entre os diferentes padrões armazenados, favorecendo a recuperação de uma sequência de padrões. Nos concentramos essencialmente na análise das propriedades dinâmicas e estacionárias das soluções vinculadas a esses dois modos de processamento de informação, característicos de modelos de memória associativa. A competição entre a recuperação de um padrão e o processamento de uma sequência é responsável pela riqueza exibida pelos diagTamas de fases dos modelos de processamento sequencial, os quais incluem a presença de soluções cíclicas e de ponto-fixo. O comportamento dos modelos de interesse é analisado em três arquiteturas: na rede em camadas, na rede recorrente e numa rede dual, que interpola entre as duas primeiras arquiteturas. Com relação à metodologia, a rede em camadas e a rede recorrente são estudadas através de um tratamento dinàmico, utilizando a análise de sinal-ruído no primeiro caso e o mÉ~tododa funcional geratriz, com simulações numéricas baseadas no procedimento de Eissfeller e Opper, no segundo caso. Os estados estacionários da rede dual são estudados por meio da mecânica estatística de equilíbrio, utilizando o método das réplicas. Resultados para o comportamento desses sistemas são discutidos considerando os regimes de armazenamento finito e infinito de padrões. Apesar dos modelos de processamento sequencial estudados aqui apresentarem diversas limitações com relação a redes de neurônios biológicos, as propriedades qualitativas das soluções exibidas por esses sistemas podem ser interessantes de um ponto de vista biológico.We study in this work the behaviour of neural network models composed of neurons (01'sites) and patterns described by binary variables, in which each neuron is connected to a macroscopic number of neighbours - mean-field models - by means of synapses or interactions, whose form is chosen in a way that the network is able to perform specific tasks. Three models are investigated in this work: the Little-Hopfield model and two sequence processing models, one with symmetric interactions and another with asymmetric interactions. The synapses of the Little-Hopfield model include only the Hebbian term, which tends to stabilise the network in one of the patterns, favouring its retrieval. The synapses of the sequence processing models involve the competition between the Hebbian term and a sequential term, which generates transitions of states between the stored patterns, favouring the retrieval of a sequence of patterns. \Ve mainly concentrate on the dynamical and stationary properties of the solutions related to both kinds of information processing, typical of associative memory models. The competition between pattern retrieval and sequence processing is responsible for the richness exhibited by the phase diagrams of the sequence processing models, which include the presence of cyclic and fixed-point solutions. The behaviour of the models is analysed in three architectures: the feed-forward layered network, the recurrent network and the dual network, that interpolates between the first two architectures. With respect to the methodology, the strictly feed-forward and recurrent neural networks are studied through a dynamical approach, using the signalto- noise analysis and the generating functional method, respectively. Explicit results for the latter are implemented by numerical simulations following a method of Eissfeller and Opper. The stationary states of the dual network are studied by means of the equilibrium statistical mechanics, using the replica method. Results for the behaviour of these systems are discussed for finite and extensive loading of patterns. Although the sequence processing models studied here have several limitations with respect to biological networks, the qualitative properties of the solutions ex.hibited by these systems may be interesting from a biological point of view.application/pdfporRedes neuraisArquitetura de redes neuraisMecânica estatísticaMemoria associativaDinâmica e mecânica estatística de modelos de redes neuraisinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisUniversidade Federal do Rio Grande do SulInstituto de FísicaPrograma de Pós-Graduação em FísicaPorto Alegre, BR-RS2008doutoradoinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFRGSinstname:Universidade Federal do Rio Grande do Sul (UFRGS)instacron:UFRGSORIGINAL000671487.pdf000671487.pdfTexto completoapplication/pdf1915970http://www.lume.ufrgs.br/bitstream/10183/14882/1/000671487.pdf25ecf68de825385421039e82fda15db2MD51TEXT000671487.pdf.txt000671487.pdf.txtExtracted Texttext/plain378784http://www.lume.ufrgs.br/bitstream/10183/14882/2/000671487.pdf.txt59a8998c7ea3ad455f4d81fe1d211f20MD52THUMBNAIL000671487.pdf.jpg000671487.pdf.jpgGenerated Thumbnailimage/jpeg1072http://www.lume.ufrgs.br/bitstream/10183/14882/3/000671487.pdf.jpg06d79c01c532ddb8dfb89986a46b2d98MD5310183/148822023-05-21 03:27:26.133289oai:www.lume.ufrgs.br:10183/14882Repositório InstitucionalPUBhttps://lume.ufrgs.br/oai/requestlume@ufrgs.bropendoar:2023-05-21T06:27:26Repositório Institucional da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)false |
| dc.title.pt_BR.fl_str_mv |
Dinâmica e mecânica estatística de modelos de redes neurais |
| title |
Dinâmica e mecânica estatística de modelos de redes neurais |
| spellingShingle |
Dinâmica e mecânica estatística de modelos de redes neurais Metz, Fernando Lucas Redes neurais Arquitetura de redes neurais Mecânica estatística Memoria associativa |
| title_short |
Dinâmica e mecânica estatística de modelos de redes neurais |
| title_full |
Dinâmica e mecânica estatística de modelos de redes neurais |
| title_fullStr |
Dinâmica e mecânica estatística de modelos de redes neurais |
| title_full_unstemmed |
Dinâmica e mecânica estatística de modelos de redes neurais |
| title_sort |
Dinâmica e mecânica estatística de modelos de redes neurais |
| author |
Metz, Fernando Lucas |
| author_facet |
Metz, Fernando Lucas |
| author_role |
author |
| dc.contributor.author.fl_str_mv |
Metz, Fernando Lucas |
| dc.contributor.advisor1.fl_str_mv |
Theumann, Walter Karl |
| contributor_str_mv |
Theumann, Walter Karl |
| dc.subject.por.fl_str_mv |
Redes neurais Arquitetura de redes neurais Mecânica estatística Memoria associativa |
| topic |
Redes neurais Arquitetura de redes neurais Mecânica estatística Memoria associativa |
| description |
Estudamos neste trabalho o comportamento de modelos de redes neurais compostos de neurônios (ou sítios) e padrões descritos por variáveis binárias, onde cada neurônio conecta-se a um número macroscópico de neurônios vizinhos - modelos de campo médio - por meio de sinapses ou interações, cuja forma é escolhida de modo que a rede seja capaz de executar tarefas específicas. Três modelos são investigados neste trabalho: o modelo de Little-Hopfield e dois modelos de processamento sequencial, um com interações simétricas e outro com interações assimétricas. As sinapses do modelo de Little-Hopfield incluem apenas o termo Hebbiano, que tende a estabilizar a rede em um dos padrões, favorecendo sua recuperação. As sinapses dos modelos de processamento sequencial envolvem a competição entre o termo Hebbiano e um termo sequencial, que provoca transições dos estados entre os diferentes padrões armazenados, favorecendo a recuperação de uma sequência de padrões. Nos concentramos essencialmente na análise das propriedades dinâmicas e estacionárias das soluções vinculadas a esses dois modos de processamento de informação, característicos de modelos de memória associativa. A competição entre a recuperação de um padrão e o processamento de uma sequência é responsável pela riqueza exibida pelos diagTamas de fases dos modelos de processamento sequencial, os quais incluem a presença de soluções cíclicas e de ponto-fixo. O comportamento dos modelos de interesse é analisado em três arquiteturas: na rede em camadas, na rede recorrente e numa rede dual, que interpola entre as duas primeiras arquiteturas. Com relação à metodologia, a rede em camadas e a rede recorrente são estudadas através de um tratamento dinàmico, utilizando a análise de sinal-ruído no primeiro caso e o mÉ~tododa funcional geratriz, com simulações numéricas baseadas no procedimento de Eissfeller e Opper, no segundo caso. Os estados estacionários da rede dual são estudados por meio da mecânica estatística de equilíbrio, utilizando o método das réplicas. Resultados para o comportamento desses sistemas são discutidos considerando os regimes de armazenamento finito e infinito de padrões. Apesar dos modelos de processamento sequencial estudados aqui apresentarem diversas limitações com relação a redes de neurônios biológicos, as propriedades qualitativas das soluções exibidas por esses sistemas podem ser interessantes de um ponto de vista biológico. |
| publishDate |
2008 |
| dc.date.accessioned.fl_str_mv |
2008-12-18T04:12:41Z |
| dc.date.issued.fl_str_mv |
2008 |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/doctoralThesis |
| format |
doctoralThesis |
| status_str |
publishedVersion |
| dc.identifier.uri.fl_str_mv |
http://hdl.handle.net/10183/14882 |
| dc.identifier.nrb.pt_BR.fl_str_mv |
000671487 |
| url |
http://hdl.handle.net/10183/14882 |
| identifier_str_mv |
000671487 |
| dc.language.iso.fl_str_mv |
por |
| language |
por |
| dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
| eu_rights_str_mv |
openAccess |
| dc.format.none.fl_str_mv |
application/pdf |
| dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFRGS instname:Universidade Federal do Rio Grande do Sul (UFRGS) instacron:UFRGS |
| instname_str |
Universidade Federal do Rio Grande do Sul (UFRGS) |
| instacron_str |
UFRGS |
| institution |
UFRGS |
| reponame_str |
Repositório Institucional da UFRGS |
| collection |
Repositório Institucional da UFRGS |
| bitstream.url.fl_str_mv |
http://www.lume.ufrgs.br/bitstream/10183/14882/1/000671487.pdf http://www.lume.ufrgs.br/bitstream/10183/14882/2/000671487.pdf.txt http://www.lume.ufrgs.br/bitstream/10183/14882/3/000671487.pdf.jpg |
| bitstream.checksum.fl_str_mv |
25ecf68de825385421039e82fda15db2 59a8998c7ea3ad455f4d81fe1d211f20 06d79c01c532ddb8dfb89986a46b2d98 |
| bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 |
| repository.name.fl_str_mv |
Repositório Institucional da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS) |
| repository.mail.fl_str_mv |
lume@ufrgs.br |
| _version_ |
1864541971231539200 |