Sample-efficient multi-task and multi-objective reinforcement learning by combining multiple behaviors

• Ano de defesa: 2025
• Autor(a) principal: Alegre, Lucas Nunes
• Orientador(a): Bazzan, Ana Lucia Cetertich
• Tipo de documento: Tese
• Tipo de acesso: Acesso aberto
• Idioma: eng
• Palavras-chave em Português: Aprendizado por reforço; Transferência de aprendizado; Aprendizado de máquina; Inteligência artificial
• Palavras-chave em Inglês: Multi-objective RL; Multi-task RL; Transfer learning; Model-based RL
• Link de acesso: http://hdl.handle.net/10183/290816

Ao resolver problemas de tomada de decisão sequencial, seres humanos exibem com portamentos diferentes dependendo do problema (ou tarefa) que devem resolver em um determinado momento. Um dos principais desafios na área de inteligência artificial, e de aprendizado por reforço (RL) em particular, é o desenvolvimento de agentes generalistas e f lexíveis que sejam capazes de resolver múltiplas tarefas ou problemas—cada uma exigindo que o agente aprenda um comportamento potencialmente novo e especializado. Superar esse desafio requer que agentes aprendam comportamentos que podem envolver otimizar umúnico objetivo, ou realizar “trade-offs” entre múltiplos objetivos conflitantes. Nós argu mentamos que muitas tarefas importantes do mundo real são naturalmente definidas por múltiplos objetivos que, quando priorizados de forma diferente, podem exigir que o agente adapte seu comportamento. Nesta tese, estudamos o problema de como projetar agentes de RLflexíveis que possam, de maneira eficiente em termos de quantidade de interações com o ambiente, adaptar seu comportamento para resolver qualquer tarefa—cada uma definida por múltiplos objetivos possivelmente conflitantes. A hipótese principal desta tese é que é possível combinar ideias de dois subcampos aparentemente díspares de aprendizado de máquina—RL multiobjetivo e RL multitarefa—para projetar novas técnicas com garantias teóricas para resolver o problema discutido acima. Em particular, tal combinação é possível porque ambos os campos lidam com problemas onde o agente precisa aprender múltiplos comportamentos/políticas. Nós introduzimos novos métodos multipolíticas que capacitam os agentes a (i) aprender cuidadosamente múltiplos comportamentos, cada um especia lizado em uma tarefa diferente ou em tarefas nas quais um agente atribui preferências diferentes para cada um de seus objetivos; e (ii) a combinar comportamentos previamente aprendidos para identificar eficientemente soluções para novas tarefas. Os métodos que investigamos e introduzimos têm importantes garantias teóricas em relação à otimalidade do conjunto de comportamentos identificados e sua capacidade de resolver novas tarefas de forma zero-shot, mesmo na presença de erros de aproximação de função. Avaliamos os métodos propostos em diversos problemas desafiadores de RL multitarefa e multiobjetivo e demonstramos que nossos algoritmos superam vários métodos estado-da-arte em domínios com espaços de estado e ação discretos ou contínuos.