Superando o esquecimento catastrófico em Redes Neurais Convolucionais para o aprendizado incremental de tarefas com Adaptadores Low-Rank - Aleixo, Everton Lima (2025)
Com os avanços da inteligência artificial, especialmente em redes neurais profundas, diver- sas tarefas cotidianas vêm sendo executadas por esses modelos com precisão comparável ou superior à dos seres humanos. No entanto, essas redes enfrentam uma limitação crítica: a incapacidade de aprender continuamente sem degradar o desempenho em tarefas previa- mente aprendidas, fenômeno conhecido como esquecimento catastrófico, observado desde 1989. Diversas abordagens foram propostas para mitigar esse problema, classificadas em quatro grupos principais: i) rehearsal; ii) baseadas em distância; iii) sub-redes; e iv) redes dinâmicas. Dentre essas, destacam-se os métodos baseados em sub-redes e redes dinâmicas, sendo estas últimas particularmente promissoras por permitirem a expansão do modelo ao longo do tempo. Nesta tese, propomos o uso da ConvLoRA para aprendizado contínuo em redes convolucionais, inspirada nos adaptadores Low-Rank (LoRA) originalmente aplicados em modelos de linguagem natural. A ConvLoRA introduz adaptadores treináveis específicos para cada nova tarefa em todas as camadas convolucionais, permitindo que o modelo aprenda incrementalmente sem sobrescrever os parâmetros anteriores e sem armazenar dados de tarefas passadas, respei- tando, assim, restrições de privacidade. Quando combinada ao LoRA nas camadas total- mente conectadas, a abordagem resultou em um crescimento de apenas 2,2% no número total de parâmetros por tarefa. Em cenários que consideram apenas as camadas convolucio- nais, o uso exclusivo da ConvLoRA proporcionou uma redução de 85,2% no crescimento do modelo em relação a abordagens clássicas como o SeNA-CNN. Os experimentos foram conduzidos em benchmarks consolidados de aprendizado con- tínuo para tarefas de classificação de imagens, incluindo os conjuntos CIFAR-100 e CUB- 200, demonstrando que a combinação ConvLoRA + LoRA mantém ou se aproxima da acurá- cia média dos modelos de referência, com eficiência paramétrica significativamente superior. Esses resultados confirmam que a abordagem proposta é eficaz, escalável e adequada para aplicações práticas que exigem aprendizado contínuo sob restrições de memória e privaci- dade.