Superando o esquecimento catastrófico em Redes Neurais Convolucionais para o aprendizado incremental de tarefas com Adaptadores Low-Rank

• Ano de defesa: 2025
• Autor(a) principal: Aleixo, Everton Lima
• Outros Autores: http://lattes.cnpq.br/6594252534841093, https://orcid.org/0009-0008-5658-3221
• Tipo de documento: Tese
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Universidade Federal do Amazonas; Instituto de Computação; Brasil; UFAM; Programa de Pós-graduação em Informática
• Palavras-chave em Português: CIENCIAS EXATAS E DA TERRA: CIENCIA DA COMPUTACAO; Aprendizado Contínuo; Esquecimento Catastrófico; Redes Neurais Convolucionais; Low-Rank Adapters; Deep Learning
• Link de acesso: https://tede.ufam.edu.br/handle/tede/10955

Com os avanços da inteligência artificial, especialmente em redes neurais profundas, diver- sas tarefas cotidianas vêm sendo executadas por esses modelos com precisão comparável ou superior à dos seres humanos. No entanto, essas redes enfrentam uma limitação crítica: a incapacidade de aprender continuamente sem degradar o desempenho em tarefas previa- mente aprendidas, fenômeno conhecido como esquecimento catastrófico, observado desde 1989. Diversas abordagens foram propostas para mitigar esse problema, classificadas em quatro grupos principais: i) rehearsal; ii) baseadas em distância; iii) sub-redes; e iv) redes dinâmicas. Dentre essas, destacam-se os métodos baseados em sub-redes e redes dinâmicas, sendo estas últimas particularmente promissoras por permitirem a expansão do modelo ao longo do tempo. Nesta tese, propomos o uso da ConvLoRA para aprendizado contínuo em redes convolucionais, inspirada nos adaptadores Low-Rank (LoRA) originalmente aplicados em modelos de linguagem natural. A ConvLoRA introduz adaptadores treináveis específicos para cada nova tarefa em todas as camadas convolucionais, permitindo que o modelo aprenda incrementalmente sem sobrescrever os parâmetros anteriores e sem armazenar dados de tarefas passadas, respei- tando, assim, restrições de privacidade. Quando combinada ao LoRA nas camadas total- mente conectadas, a abordagem resultou em um crescimento de apenas 2,2% no número total de parâmetros por tarefa. Em cenários que consideram apenas as camadas convolucio- nais, o uso exclusivo da ConvLoRA proporcionou uma redução de 85,2% no crescimento do modelo em relação a abordagens clássicas como o SeNA-CNN. Os experimentos foram conduzidos em benchmarks consolidados de aprendizado con- tínuo para tarefas de classificação de imagens, incluindo os conjuntos CIFAR-100 e CUB- 200, demonstrando que a combinação ConvLoRA + LoRA mantém ou se aproxima da acurá- cia média dos modelos de referência, com eficiência paramétrica significativamente superior. Esses resultados confirmam que a abordagem proposta é eficaz, escalável e adequada para aplicações práticas que exigem aprendizado contínuo sob restrições de memória e privaci- dade.