Otimização de carteiras de ações com aprendizado por reforço.

• Ano de defesa: 2025
• Autor(a) principal: Costa, Caio de Souza Barbosa
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Biblioteca Digitais de Teses e Dissertações da USP
• Palavras-chave em Português: Aprendizado computacional; Finanças; Financial Market; Investimentos (Otimização); Machine learning; Mercado financeiro; Portfolio optimization; Quantitative finance; Reinforcement learning
• Link de acesso: https://www.teses.usp.br/teses/disponiveis/3/3141/tde-05032026-104651/

A otimização de carteiras financeiras envolve o rebalanceamento periódico de ativos com o objetivo de maximizar os retornos de longo prazo. O Aprendizado por Reforço (Reinforcement Learning RL) tem se mostrado uma abordagem promissora para essa tarefa, já que seu objetivo maximizar recompensas cumulativas em um ambiente simulado está diretamente alinhado às metas de um investidor. No entanto, aplicações práticas e avanços de pesquisa nessa área enfrentam desafios significativos: a escassez de ferramentas de código aberto limita a reprodutibilidade e os principais algoritmos de treinamento presentes na literatura sofrem com instabilidade de desempenho, frequentemente convergindo para estratégias subótimas. Esta dissertação aborda esses desafios por meio de duas contribuições principais. Primeiro, apresentamos o RLPortfolio, uma biblioteca em Python de código aberto desenvolvida para simplificar e acelerar a criação de agentes para otimização de carteiras. Em segundo lugar, utilizando essa biblioteca, realizamos uma investigação sistemática de modificações no algoritmo de treinamento com o intuito de aumentar sua confiabilidade. Essas modificações incluem a incorporação de ruído para melhorar a exploração, a análise de métodos alternativos de normalização e a proposta de novas funções-objetivo. Experimentos realizados principalmente no mercado acionário brasileiro demonstram que, embora todas as modificações melhorem o desempenho médio, o uso de uma função-objetivo que incentiva a diversificação da carteira durante o treinamento mostrou-se a estratégia mais eficaz.