Sistema de memórias complementares e neurogênese aplicado à problemas de aprendizado por reforço contínuo

• Ano de defesa: 2022
• Autor(a) principal: Almeida, A. C. de
• Tipo de documento: Tese
• Tipo de acesso: Acesso aberto
• Idioma: por
• Palavras-chave em Português: agente autônomo; aprendizado contínuo; aprendizado por reforço; inteligência artificial; sistema de aprendizado; artificial intelligence; autonomous agent; learning system; lifelong learning; reinforcement learning
• Link de acesso: https://repositorio.fei.edu.br/handle/FEI/5748

Há abstrações do aprendizado dos seres vivos aplicados ao aprendizado de máquina que são ineficazes em apresentar o comportamento de aprendizado de seres vivos. Seres vivos conseguem aprender a resolver novas tarefas sem que isso cause o esquecimento de tarefas aprendidas anteriormente, melhorando conhecimentos sobre tarefas passadas. Os agentes autônomos, principalmente aqueles baseados em modelos de redes neurais, quando expostos a uma sequência de tarefas, esquecem as soluções das primeiras tarefas aprendidas. Na literatura, algumas formas de se abordar os problemas de aprendizado contínuo envolvem: alterar a topologia dos modelos; armazenar dados de tarefas já aprendidas, criar dados falsos baseados em comportamentos aprendidos sobre as tarefas; ou reutilizar soluções de tarefas antigas para acelerar o aprendizado de novas tarefas. Este trabalho apresenta o sistema de aprendizado por reforço contínuo (LRLS, do inglês Lifelong Reinforcement Learning System), um sistema de aprendizado contínuo para problemas de aprendizado por reforço que utiliza memórias complementares para resolver sequências de tarefas. Neste trabalho, memórias complementares são modelos com funções distintas: o primeiro modelo aprende a resolver a tarefa atual; o segundo modelo aprende a correlacionar as tarefas; e o terceiro modelo é responsável por armazenar os conhecimentos aprendidos sobre tarefas anteriores e reaproveitar tais conhecimentos com o objetivo de acelerar o aprendizado de novas tarefas. Cada módulo do sistema é implementado usando redes neurais com topologias que variam de acordo com a necessidade. Além disso, a forma como o sistema foi implementado anula a necessidade de se armazenar dados sobre tarefas passadas. Por fim, experimentos realizados mostram que agentes autônomos utilizando o LRLS são capazes de aprender novas tarefas, mantendo o conhecimento de tarefas passadas; eles ainda utilizam os conhecimentos armazenados para acelerar o aprendizado de novas tarefas.