Estudo de algoritmos de otimização inspirados na natureza aplicados ao treinamento de redes neurais artificiais

• Ano de defesa: 2021
• Autor(a) principal: Bouzon, M. F.
• Orientador(a): Rodrigues, Paulo Sérgio Silva
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Centro Universitário FEI, São Bernardo do Campo
• Palavras-chave em Português: Redes neurais (Computação)
• Link de acesso: https://repositorio.fei.edu.br/handle/FEI/3214; https://doi.org/10.31414/EE.2021.D.131321

Redes Neurais Artificiais (RNAs) são técnicas de aprendizado de máquina e inteligência artificial muito populares, propostas desde os anos 50. Entre seus maiores desafios estão o treinamento de parâmetros tais como pesos, parâmetros das funções de ativação e constantes, assim como dos seus hiper-parâmetros, como a arquitetura das redes e densidade de neurônios por camada. Entre os algoritmos mais conhecidos para a otimização paramétrica das redes estão o Adam e o Retropropagação ou Backpropagation (BP), aplicados sobretudo em arquiteturas populares como o Perceptron multicamadas ou Multilayer Perceptron (MLP), Rede Neural Recorrente ou Recurrent Neural Network (RNN), Long-Short Term Memory (LSTM), Rede neural de Base Radial ou Radial Basis Function Neural Network (RBFNN), entre muitas outras. Recentemente, o grande sucesso das redes neurais profundas, as chamadas Deep Learnings, bem como das redes totalmente conectadas, tem enfrentado problemas de tempo de treinamento e utilização de hardware especializado. Esses desafios deram novo fôlego à utilização de algoritmos de otimização para o treinamento dessas redes, e mais recentemente aos algoritmos inspirados na natureza, os chamados Inspirados na natureza ou Nature-Inspired (NI). Essa estratégia, embora não seja uma técnica tão recente, ainda não obteve grande atenção de pesquisadores, necessitando hoje de maior número de testes experimentais e avaliação, sobretudo devido ao recente aparecimento de uma gama muito maior de algoritmos NI. Alguns dos elementos que carecem de atenção, sobretudo para os NI mais recentes, estão relacionados principalmente ao tempo de convergência e estudos sobre o uso de diferentes funções custo. Assim, a presente dissertação de mestrado tem por objetivo realizar testes, comparação e estudos sobre algoritmos NI aplicados ao treinamento de redes neurais. Foram testados algoritmos NI tanto tradicionais quanto recentes, sob vários pontos de vista, incluindo o tempo de convergência e funções objetivos, elementos que receberam até o momento pouca atenção dos pesquisadores em testes prévios. Os resultados mostraram que a utilização de algoritmos NI para treinamento de RNAs tradicionais obtiveram resultados com boa classificação, similares a algoritmos populares como o Adam e o Algoritmo Backpropagation com Momento (BPMA), mas superando esses algoritmos em termos de tempo de convergência na ordem de 20 a mais de 70%, dependendo da rede e dos parâmetros envolvidos. Isso indica que a estratégia de usar algoritmos NI, sobretudo os mais recentes, para treinamento de redes neurais é um método promissor que pode impactar cada vez mais no tempo e qualidade dos resultados das aplicações recentes e futuras de aprendizado de máquina e inteligência artificial.