Automated stock trading system using deep reinforcement learning and price and sentiment prediction modules.

Detalhes bibliográficos
Ano de defesa: 2021
Autor(a) principal: Silva, Roberto Fray da
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Tese
Tipo de acesso: Acesso aberto
Idioma: eng
Instituição de defesa: Biblioteca Digitais de Teses e Dissertações da USP
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Link de acesso: https://www.teses.usp.br/teses/disponiveis/3/3141/tde-10082021-160557/
Resumo: The artificial intelligence models are considered state of the art in several domains.The deep reinforcement learning models, one of the main categories of artificial intelligence\'s models, have a high potential for being applied on domains with high complexity, nonlinearities, and the existence of autocorrelation, seasonal and cyclical components,and noise. One highly relevant domain that presents these characteristics is stock markettrading. Recent works were conducted in this domain using deep reinforcement learning. Nevertheless, these did not consider integrating other relevant components such as price time series prediction and market sentiment analysis. Another critical gap is the lack of comparison of different deep reinforcement learning models in different stock trading scenarios. Besides being an important developing market, the Brazilian stock market is one of the 20 biggest markets in the world. A critical problem for all the investors in this stock market is how to improve the strategies and systems used for improving returns, considering their associated risks. This research aims to investigate and propose a system for automatic asset trading considering multiple features, time series prediction, sentiment analysis, and deep reinforcement learning models. The methodology used was a simulation of the market environment simulation, considering one asset and the evaluation of two relevant scenarios. Eight versions of the proposed system were implemented and evaluated, considering six relevant domain metrics and the buy-and-hold strategy, the main baseline model in the literature. For the first scenario, which simulated a cycle with upward and downward trends, the system\'s configuration that presented the best results used the price prediction component obtained from a recurrent neural network with a maximum order size of 200 stocks. It obtained better results than the baseline model. For the second scenario, which simulated a deep downward trend, all the system configurations presented better results than the baseline model. The configuration using a recurrent neural network for price prediction and a maximum order size of 10 stocks presented the best results. The main contribution of this research for the deep reinforcement learning area was the proposal of a system that uses additional time series analysis and sentiment analysis features extracted with deep learning models. The main contribution of this research for stock market trading was to propose the use of deep reinforcement learning considering as features: market prices, volume traded, technical indicators, and price and market sentiment predictions obtained using deep learning models. The proposed system can be used in different markets and assets and adapted to other sub-domains.
id USP_b360182f2a80d7b813f089f49255ca2b
oai_identifier_str oai:teses.usp.br:tde-10082021-160557
network_acronym_str USP
network_name_str Biblioteca Digital de Teses e Dissertações da USP
repository_id_str
spelling Automated stock trading system using deep reinforcement learning and price and sentiment prediction modules.Sistema automático para negociação utilizando aprendizagem por reforço profundo e módulos de previsão de preços e de sentimentos.Análise de sentimentosAprendizagem por reforço profundaAprendizagem profundaDeep learningDeep reinforcement learningInteligência artificialNegociação de AçõesPrevi são de preçosPrice predictionSentiment analysisStock tradingThe artificial intelligence models are considered state of the art in several domains.The deep reinforcement learning models, one of the main categories of artificial intelligence\'s models, have a high potential for being applied on domains with high complexity, nonlinearities, and the existence of autocorrelation, seasonal and cyclical components,and noise. One highly relevant domain that presents these characteristics is stock markettrading. Recent works were conducted in this domain using deep reinforcement learning. Nevertheless, these did not consider integrating other relevant components such as price time series prediction and market sentiment analysis. Another critical gap is the lack of comparison of different deep reinforcement learning models in different stock trading scenarios. Besides being an important developing market, the Brazilian stock market is one of the 20 biggest markets in the world. A critical problem for all the investors in this stock market is how to improve the strategies and systems used for improving returns, considering their associated risks. This research aims to investigate and propose a system for automatic asset trading considering multiple features, time series prediction, sentiment analysis, and deep reinforcement learning models. The methodology used was a simulation of the market environment simulation, considering one asset and the evaluation of two relevant scenarios. Eight versions of the proposed system were implemented and evaluated, considering six relevant domain metrics and the buy-and-hold strategy, the main baseline model in the literature. For the first scenario, which simulated a cycle with upward and downward trends, the system\'s configuration that presented the best results used the price prediction component obtained from a recurrent neural network with a maximum order size of 200 stocks. It obtained better results than the baseline model. For the second scenario, which simulated a deep downward trend, all the system configurations presented better results than the baseline model. The configuration using a recurrent neural network for price prediction and a maximum order size of 10 stocks presented the best results. The main contribution of this research for the deep reinforcement learning area was the proposal of a system that uses additional time series analysis and sentiment analysis features extracted with deep learning models. The main contribution of this research for stock market trading was to propose the use of deep reinforcement learning considering as features: market prices, volume traded, technical indicators, and price and market sentiment predictions obtained using deep learning models. The proposed system can be used in different markets and assets and adapted to other sub-domains.Os modelos de inteligência artificial são considerados o estado da arte em diversos domínios. Os modelos de aprendizagem por reforço profundo, uma das principais categorias de modelos de inteligência artificial, apresentam um grande potencial de aplicação em domínios que apresentam alta complexidade, não linearidade e existência de autocorrelação e de componentes sazonais, cíclicos e de ruído. Um domínio de grande relevância que apresenta estas características é o de negociação no mercado de ações. Trabalhos recentes foram realizados neste domínio utilizando aprendizagem por reforço profundo, porém sem uma integração com outros componentes relevantes como previsão de séries históricas de preços e análise de sentimentos de mercado. Uma outra lacuna importante é a falta de comparação entre modelos distintos de aprendizagem por reforço profundo em diferentes cenários de negociação de ações. O mercado de ações brasileiro é um dos 20 maiores do mundo, além de ser um importante mercado em desenvolvimento. Um problema crítico para todos os investidores nesse mercado é como melhorar as estratégias e sistemas utilizados para aumentar os retornos, considerando os riscos associados a estes. O objetivo deste trabalho foi investigar e propor um sistema para a negociação automática de ativos considerando múltiplas variáveis, previsões de séries históricas, análise de sentimentos e modelos de aprendizagem por reforço profundo. A metodologia utilizada foi a simulação do funcionamento do mercado, considerando um ativo, e a avaliação de dois cenários relevantes. Foram implementadas e avaliadas oito versões do sistema proposto, considerando seis métricas relevantes para o domínio e a estratégia de buy-and-hold, o principal modelo de comparação na literatura. Para o primeiro cenário, que simulou um ciclo com aumento e queda de preços, a configuração do sistema que apresentou melhores resultados utilizou o componente de previsão de preços obtido por uma rede neural recorrente com um tamanho máximo de ordem de 200 ações. Este superou o modelo de comparação. Para o segundo cenário, o qual simulou uma queda acentuada nos preços, todas as versões do sistema apresentaram melhores resultados que o modelo de comparação. A configuração utilizando uma rede neural recorrente para o componente de previsão de preços com um tamanho máximo de ordem de 10 ações demonstrou os melhores resultados. A principal contribuição desta pesquisa para a área de aprendizagem por reforço profundo foi propor um sistema que utiliza variáveis adicionais relacionadas à análise de séries temporais e análise de sentimentos, extraídas por modelos de aprendizagem profunda. A principal contribuição desta pesquisa para a negociação de ações foi propor a utilização de aprendizagem por reforço profundo considerando como entradas os preços de mercado, o volume transacionado, indicadores técnicos de mercado e as previsões de preços e de sentimentos de mercado obtidos através de modelos de aprendizagem profunda. O sistema proposto pode ser utilizado em diferentes mercados e ativos e pode ser adaptado para outros domínios.Biblioteca Digitais de Teses e Dissertações da USPCugnasca, Carlos EduardoSilva, Roberto Fray da2021-06-15info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisapplication/pdfhttps://www.teses.usp.br/teses/disponiveis/3/3141/tde-10082021-160557/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesseng2021-08-16T14:43:02Zoai:teses.usp.br:tde-10082021-160557Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212021-08-16T14:43:02Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false
dc.title.none.fl_str_mv Automated stock trading system using deep reinforcement learning and price and sentiment prediction modules.
Sistema automático para negociação utilizando aprendizagem por reforço profundo e módulos de previsão de preços e de sentimentos.
title Automated stock trading system using deep reinforcement learning and price and sentiment prediction modules.
spellingShingle Automated stock trading system using deep reinforcement learning and price and sentiment prediction modules.
Silva, Roberto Fray da
Análise de sentimentos
Aprendizagem por reforço profunda
Aprendizagem profunda
Deep learning
Deep reinforcement learning
Inteligência artificial
Negociação de Ações
Previ são de preços
Price prediction
Sentiment analysis
Stock trading
title_short Automated stock trading system using deep reinforcement learning and price and sentiment prediction modules.
title_full Automated stock trading system using deep reinforcement learning and price and sentiment prediction modules.
title_fullStr Automated stock trading system using deep reinforcement learning and price and sentiment prediction modules.
title_full_unstemmed Automated stock trading system using deep reinforcement learning and price and sentiment prediction modules.
title_sort Automated stock trading system using deep reinforcement learning and price and sentiment prediction modules.
author Silva, Roberto Fray da
author_facet Silva, Roberto Fray da
author_role author
dc.contributor.none.fl_str_mv Cugnasca, Carlos Eduardo
dc.contributor.author.fl_str_mv Silva, Roberto Fray da
dc.subject.por.fl_str_mv Análise de sentimentos
Aprendizagem por reforço profunda
Aprendizagem profunda
Deep learning
Deep reinforcement learning
Inteligência artificial
Negociação de Ações
Previ são de preços
Price prediction
Sentiment analysis
Stock trading
topic Análise de sentimentos
Aprendizagem por reforço profunda
Aprendizagem profunda
Deep learning
Deep reinforcement learning
Inteligência artificial
Negociação de Ações
Previ são de preços
Price prediction
Sentiment analysis
Stock trading
description The artificial intelligence models are considered state of the art in several domains.The deep reinforcement learning models, one of the main categories of artificial intelligence\'s models, have a high potential for being applied on domains with high complexity, nonlinearities, and the existence of autocorrelation, seasonal and cyclical components,and noise. One highly relevant domain that presents these characteristics is stock markettrading. Recent works were conducted in this domain using deep reinforcement learning. Nevertheless, these did not consider integrating other relevant components such as price time series prediction and market sentiment analysis. Another critical gap is the lack of comparison of different deep reinforcement learning models in different stock trading scenarios. Besides being an important developing market, the Brazilian stock market is one of the 20 biggest markets in the world. A critical problem for all the investors in this stock market is how to improve the strategies and systems used for improving returns, considering their associated risks. This research aims to investigate and propose a system for automatic asset trading considering multiple features, time series prediction, sentiment analysis, and deep reinforcement learning models. The methodology used was a simulation of the market environment simulation, considering one asset and the evaluation of two relevant scenarios. Eight versions of the proposed system were implemented and evaluated, considering six relevant domain metrics and the buy-and-hold strategy, the main baseline model in the literature. For the first scenario, which simulated a cycle with upward and downward trends, the system\'s configuration that presented the best results used the price prediction component obtained from a recurrent neural network with a maximum order size of 200 stocks. It obtained better results than the baseline model. For the second scenario, which simulated a deep downward trend, all the system configurations presented better results than the baseline model. The configuration using a recurrent neural network for price prediction and a maximum order size of 10 stocks presented the best results. The main contribution of this research for the deep reinforcement learning area was the proposal of a system that uses additional time series analysis and sentiment analysis features extracted with deep learning models. The main contribution of this research for stock market trading was to propose the use of deep reinforcement learning considering as features: market prices, volume traded, technical indicators, and price and market sentiment predictions obtained using deep learning models. The proposed system can be used in different markets and assets and adapted to other sub-domains.
publishDate 2021
dc.date.none.fl_str_mv 2021-06-15
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://www.teses.usp.br/teses/disponiveis/3/3141/tde-10082021-160557/
url https://www.teses.usp.br/teses/disponiveis/3/3141/tde-10082021-160557/
dc.language.iso.fl_str_mv eng
language eng
dc.relation.none.fl_str_mv
dc.rights.driver.fl_str_mv Liberar o conteúdo para acesso público.
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Liberar o conteúdo para acesso público.
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.coverage.none.fl_str_mv
dc.publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
dc.source.none.fl_str_mv
reponame:Biblioteca Digital de Teses e Dissertações da USP
instname:Universidade de São Paulo (USP)
instacron:USP
instname_str Universidade de São Paulo (USP)
instacron_str USP
institution USP
reponame_str Biblioteca Digital de Teses e Dissertações da USP
collection Biblioteca Digital de Teses e Dissertações da USP
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)
repository.mail.fl_str_mv virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br
_version_ 1809091633641160704