O efeito das lesões nas capacidades de memorização e generalização de um perceptron - Barbato, Daniela Maria Lemos (1993)
Perceptrons são redes neurais sem retroalimentação onde os neurônios estão dispostos em camadas. O perceptron considerado neste trabalho consiste de uma camada de N neurônios sensores Si = ±1; i = 1, , N ligados a um neurônio motor δ através das conexões sinápticas (pesos) Wi; i = 1, ..., N cujos valores restringimos a ±1. Utilizando o formalismo de Mecânica Estatística desenvolvido por Gardner (1988), estudamos os efeitos de eliminarmos uma fração de conexões sinápticas (diluição ) nas capacidades de memorização e generalização da rede neural descrita acima. Consideramos também o efeito de ruído atuando durante o estágio de treinamento do perceptron. Consideramos dois tipos de diluição: diluição móvel na qual os pesos são cortados de maneira a minimizar o erro de treinamento e diluição fixa na qual os pesos são cortados aleatoriamente. A diluição móvel, que modela lesões em cérebro de pacientes muito jovens, pode melhorar a capacidade de memorização e, no caso da rede ser treinada com ruído, também pode melhorar a capacidade de generalização. Por outro lado, a diluição fixa, que modela lesões em cérebros de pacientes adultos, sempre degrada o desempenho da rede, sendo seu principal efeito introduzir um ruído efetivo nos exemplos de treinamento.