Estudo analítico do efeito da diluição em perceptrons - Barbato, Daniela Maria Lemos (1998)
Perceptrons são redes neurais sem retroalimentação cujos os neurônios estão dispostos em camadas. O perceptron considerado neste trabalho consiste de uma camada de N neurônios sensores Si = 1; i = 1,.... N ligados a um único neurônio motor através das conexões sinápticas , Ji; i = 1, .... N. Utilizando o formalismo da Mecânica Estatística desenvolvido por Gardner e colaboradores, estudamos os efeitos da eliminação de uma fração dos pesos sinápticos (diluição) nas capacidades de aprendizado e generalização de dois tipos de perceptrons, a saber, o perceptron linear e o perceptron Booleano. No perceptron linear comparamos o desempenho de redes lesadas por diferentes tipos de diluição, que podem ocorrer durante ou após o processo de aprendizado. Essa comparação mostra que a estratégia de minimizar o erro de treinamento, não fornece o menor erro de generalização, além do que, dependendo do tamanho do conjunto de treinamento e do nível de ruído, os pesos menores podem se tornar os fatores mais importantes para o bom funcionamento da rede. No perceptron Booleano investigamos apenas o efeito da diluição após o término do aprendizado na capacidade de generalização da rede neural treinada com padrões ruidosos. Neste caso, apresentamos uma comparação entre os desempenhos relativos de cinco regras de aprendizado: regra de Hebb, pseudo-inversa, algoritmo de Gibbs, algoritmo de estabilidade ótima e algoritmo de Bayes. Em particular mostramos que a diluição sempre degrada o desempenho de generalização e o algoritmo de Bayes sempre fornece o menor erro de generalização.