Estudo de aplicação de técnicas de aprendizado por reforço no problema de otimização de portfólio
| Ano de defesa: | 2022 |
|---|---|
| Autor(a) principal: | |
| Orientador(a): | |
| Banca de defesa: | |
| Tipo de documento: | Dissertação |
| Tipo de acesso: | Acesso aberto |
| Idioma: | por |
| Instituição de defesa: |
Universidade Federal de Minas Gerais
|
| Programa de Pós-Graduação: |
Não Informado pela instituição
|
| Departamento: |
Não Informado pela instituição
|
| País: |
Não Informado pela instituição
|
| Palavras-chave em Português: | |
| Link de acesso: | https://hdl.handle.net/1843/49786 |
Resumo: | The portfolio management problem, focus of this work, consists of determining the optimal asset allocation within a wallet, in order to maximize (or minimize) one or more objectives. These objectives are usually related to risk and return metrics. In financial economics literature, this problem has been solved using portfolio optimization models, such as Markowitz, CAPM and Black Litterman, which are executed for each instant when portfolio rebalancing is necessary. This decision process, incremental and under uncertainty, can be seen as a Markovian decision process, which makes modeling under reinforcement learning paradigm attractive, this being a recent trend discussed in machine learning literature. This work aims to investigate the use of reinforcement learning technics in portfolio optimization problem. A literature review is realized, with its main learnings. In a case study, a portfolio asset weight control problem is modeled as a Markovian decision process, and reinforcement learning algorithms are used to optimize it. The implementations are made in an incremental way, aiming to demonstrate the logic behind these algorithms developments. Finally, the model’s behavior is compared with Markowitz based strategies, and the result shows that these approaches hold good performances, and have a promising use for this kind of problem. |
| id |
UFMG_5c7d20794b0732320e97f21442f1a1bd |
|---|---|
| oai_identifier_str |
oai:repositorio.ufmg.br:1843/49786 |
| network_acronym_str |
UFMG |
| network_name_str |
Repositório Institucional da UFMG |
| repository_id_str |
|
| spelling |
2023-02-08T18:58:07Z2025-09-09T00:05:18Z2023-02-08T18:58:07Z2022-04-28https://hdl.handle.net/1843/49786The portfolio management problem, focus of this work, consists of determining the optimal asset allocation within a wallet, in order to maximize (or minimize) one or more objectives. These objectives are usually related to risk and return metrics. In financial economics literature, this problem has been solved using portfolio optimization models, such as Markowitz, CAPM and Black Litterman, which are executed for each instant when portfolio rebalancing is necessary. This decision process, incremental and under uncertainty, can be seen as a Markovian decision process, which makes modeling under reinforcement learning paradigm attractive, this being a recent trend discussed in machine learning literature. This work aims to investigate the use of reinforcement learning technics in portfolio optimization problem. A literature review is realized, with its main learnings. In a case study, a portfolio asset weight control problem is modeled as a Markovian decision process, and reinforcement learning algorithms are used to optimize it. The implementations are made in an incremental way, aiming to demonstrate the logic behind these algorithms developments. Finally, the model’s behavior is compared with Markowitz based strategies, and the result shows that these approaches hold good performances, and have a promising use for this kind of problem.porUniversidade Federal de Minas GeraisAprendizado de máquinaAprendizado por reforçoOtimização de portfólioMercados financeirosEngenharia elétricaAprendizado do computadorOtimizaçãoMercados financeiros futurosEstudo de aplicação de técnicas de aprendizado por reforço no problema de otimização de portfólioinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisVictor Marcius Magalhães Pintoinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da UFMGinstname:Universidade Federal de Minas Gerais (UFMG)instacron:UFMGhttp://lattes.cnpq.br/2242230064380611Cristiano Leite de Castrohttp://lattes.cnpq.br/7892966809901738Luiz Carlos Bambirra TorresLucas de Souza BatistaO problema de gerenciamento de portfólio, foco deste trabalho, consiste em determinar uma alocação ótima para ativos dentro de uma carteira de ações, de forma a maximizar (ou minimizar) um ou mais objetivos. Estes geralmente relacionam-se a medidas de risco e retorno. Na literatura econômica financeira, este problema tem sido resolvido com o uso de modelos de otimização de portfólio, como Markowitz, CAPM e Black Litterman, que são executados a cada instante em que o rebalanceamento da carteira se faz necessário. Este processo de tomada de decisão, incremental e sob incerteza, pode ser visto como um processo de decisão Markoviano, o que torna atraente sua modelagem pelo paradigma de aprendizagem por reforço, sendo esta uma tendência recente discutida na literatura de aprendizagem de máquina. Este trabalho investiga o uso de técnicas de aprendizado por reforço no problema de otimização de portfólio. É realizada uma revisão da literatura existente, com seus principais aprendizados. Em um estudo de caso, um problema de controle de pesos de ativos em uma carteira é modelado como um processo de decisão Markoviano, e são aplicados algoritmos de aprendizado por reforço para atuar na otimização deste portfólio. As implementações são realizadas de maneira incremental, procurando demonstrar a lógica por trás da construção destes algoritmos. Ao final, o desempenho dos modelos é comparado com o de estratégias baseadas em Markowitz, e o resultado mostra que estas abordagens possuem boas performances, e seu uso é promissor para este tipo de problema.https://orcid.org/0000-0002-7340-0692BrasilENG - DEPARTAMENTO DE ENGENHARIA ELÉTRICAPrograma de Pós-Graduação em Engenharia ElétricaUFMGORIGINALTese Mestrado Victor Magalhaes.pdfapplication/pdf9828004https://repositorio.ufmg.br//bitstreams/b642396d-158c-4eb7-a4ff-9af5674b3877/download589113b3965230117b5c02d345c3dd4cMD51trueAnonymousREADLICENSElicense.txttext/plain2118https://repositorio.ufmg.br//bitstreams/d0339978-8a8a-40ef-9890-2474f09a6a53/downloadcda590c95a0b51b4d15f60c9642ca272MD52falseAnonymousREAD1843/497862025-09-08 21:05:18.9open.accessoai:repositorio.ufmg.br:1843/49786https://repositorio.ufmg.br/Repositório InstitucionalPUBhttps://repositorio.ufmg.br/oairepositorio@ufmg.bropendoar:2025-09-09T00:05:18Repositório Institucional da UFMG - Universidade Federal de Minas Gerais (UFMG)falseTElDRU7Dh0EgREUgRElTVFJJQlVJw4fDg08gTsODTy1FWENMVVNJVkEgRE8gUkVQT1NJVMOTUklPIElOU1RJVFVDSU9OQUwgREEgVUZNRwoKQ29tIGEgYXByZXNlbnRhw6fDo28gZGVzdGEgbGljZW7Dp2EsIHZvY8OqIChvIGF1dG9yIChlcykgb3UgbyB0aXR1bGFyIGRvcyBkaXJlaXRvcyBkZSBhdXRvcikgY29uY2VkZSBhbyBSZXBvc2l0w7NyaW8gSW5zdGl0dWNpb25hbCBkYSBVRk1HIChSSS1VRk1HKSBvIGRpcmVpdG8gbsOjbyBleGNsdXNpdm8gZSBpcnJldm9nw6F2ZWwgZGUgcmVwcm9kdXppciBlL291IGRpc3RyaWJ1aXIgYSBzdWEgcHVibGljYcOnw6NvIChpbmNsdWluZG8gbyByZXN1bW8pIHBvciB0b2RvIG8gbXVuZG8gbm8gZm9ybWF0byBpbXByZXNzbyBlIGVsZXRyw7RuaWNvIGUgZW0gcXVhbHF1ZXIgbWVpbywgaW5jbHVpbmRvIG9zIGZvcm1hdG9zIMOhdWRpbyBvdSB2w61kZW8uCgpWb2PDqiBkZWNsYXJhIHF1ZSBjb25oZWNlIGEgcG9sw610aWNhIGRlIGNvcHlyaWdodCBkYSBlZGl0b3JhIGRvIHNldSBkb2N1bWVudG8gZSBxdWUgY29uaGVjZSBlIGFjZWl0YSBhcyBEaXJldHJpemVzIGRvIFJJLVVGTUcuCgpWb2PDqiBjb25jb3JkYSBxdWUgbyBSZXBvc2l0w7NyaW8gSW5zdGl0dWNpb25hbCBkYSBVRk1HIHBvZGUsIHNlbSBhbHRlcmFyIG8gY29udGXDumRvLCB0cmFuc3BvciBhIHN1YSBwdWJsaWNhw6fDo28gcGFyYSBxdWFscXVlciBtZWlvIG91IGZvcm1hdG8gcGFyYSBmaW5zIGRlIHByZXNlcnZhw6fDo28uCgpWb2PDqiB0YW1iw6ltIGNvbmNvcmRhIHF1ZSBvIFJlcG9zaXTDs3JpbyBJbnN0aXR1Y2lvbmFsIGRhIFVGTUcgcG9kZSBtYW50ZXIgbWFpcyBkZSB1bWEgY8OzcGlhIGRlIHN1YSBwdWJsaWNhw6fDo28gcGFyYSBmaW5zIGRlIHNlZ3VyYW7Dp2EsIGJhY2stdXAgZSBwcmVzZXJ2YcOnw6NvLgoKVm9jw6ogZGVjbGFyYSBxdWUgYSBzdWEgcHVibGljYcOnw6NvIMOpIG9yaWdpbmFsIGUgcXVlIHZvY8OqIHRlbSBvIHBvZGVyIGRlIGNvbmNlZGVyIG9zIGRpcmVpdG9zIGNvbnRpZG9zIG5lc3RhIGxpY2Vuw6dhLiBWb2PDqiB0YW1iw6ltIGRlY2xhcmEgcXVlIG8gZGVww7NzaXRvIGRlIHN1YSBwdWJsaWNhw6fDo28gbsOjbywgcXVlIHNlamEgZGUgc2V1IGNvbmhlY2ltZW50bywgaW5mcmluZ2UgZGlyZWl0b3MgYXV0b3JhaXMgZGUgbmluZ3XDqW0uCgpDYXNvIGEgc3VhIHB1YmxpY2HDp8OjbyBjb250ZW5oYSBtYXRlcmlhbCBxdWUgdm9jw6ogbsOjbyBwb3NzdWkgYSB0aXR1bGFyaWRhZGUgZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCB2b2PDqiBkZWNsYXJhIHF1ZSBvYnRldmUgYSBwZXJtaXNzw6NvIGlycmVzdHJpdGEgZG8gZGV0ZW50b3IgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIHBhcmEgY29uY2VkZXIgYW8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgZGEgVUZNRyBvcyBkaXJlaXRvcyBhcHJlc2VudGFkb3MgbmVzdGEgbGljZW7Dp2EsIGUgcXVlIGVzc2UgbWF0ZXJpYWwgZGUgcHJvcHJpZWRhZGUgZGUgdGVyY2Vpcm9zIGVzdMOhIGNsYXJhbWVudGUgaWRlbnRpZmljYWRvIGUgcmVjb25oZWNpZG8gbm8gdGV4dG8gb3Ugbm8gY29udGXDumRvIGRhIHB1YmxpY2HDp8OjbyBvcmEgZGVwb3NpdGFkYS4KCkNBU08gQSBQVUJMSUNBw4fDg08gT1JBIERFUE9TSVRBREEgVEVOSEEgU0lETyBSRVNVTFRBRE8gREUgVU0gUEFUUk9Dw41OSU8gT1UgQVBPSU8gREUgVU1BIEFHw4pOQ0lBIERFIEZPTUVOVE8gT1UgT1VUUk8gT1JHQU5JU01PLCBWT0PDiiBERUNMQVJBIFFVRSBSRVNQRUlUT1UgVE9ET1MgRSBRVUFJU1FVRVIgRElSRUlUT1MgREUgUkVWSVPDg08gQ09NTyBUQU1Cw4lNIEFTIERFTUFJUyBPQlJJR0HDh8OVRVMgRVhJR0lEQVMgUE9SIENPTlRSQVRPIE9VIEFDT1JETy4KCk8gUmVwb3NpdMOzcmlvIEluc3RpdHVjaW9uYWwgZGEgVUZNRyBzZSBjb21wcm9tZXRlIGEgaWRlbnRpZmljYXIgY2xhcmFtZW50ZSBvIHNldSBub21lKHMpIG91IG8ocykgbm9tZXMocykgZG8ocykgZGV0ZW50b3IoZXMpIGRvcyBkaXJlaXRvcyBhdXRvcmFpcyBkYSBwdWJsaWNhw6fDo28sIGUgbsOjbyBmYXLDoSBxdWFscXVlciBhbHRlcmHDp8OjbywgYWzDqW0gZGFxdWVsYXMgY29uY2VkaWRhcyBwb3IgZXN0YSBsaWNlbsOnYS4K |
| dc.title.none.fl_str_mv |
Estudo de aplicação de técnicas de aprendizado por reforço no problema de otimização de portfólio |
| title |
Estudo de aplicação de técnicas de aprendizado por reforço no problema de otimização de portfólio |
| spellingShingle |
Estudo de aplicação de técnicas de aprendizado por reforço no problema de otimização de portfólio Victor Marcius Magalhães Pinto Engenharia elétrica Aprendizado do computador Otimização Mercados financeiros futuros Aprendizado de máquina Aprendizado por reforço Otimização de portfólio Mercados financeiros |
| title_short |
Estudo de aplicação de técnicas de aprendizado por reforço no problema de otimização de portfólio |
| title_full |
Estudo de aplicação de técnicas de aprendizado por reforço no problema de otimização de portfólio |
| title_fullStr |
Estudo de aplicação de técnicas de aprendizado por reforço no problema de otimização de portfólio |
| title_full_unstemmed |
Estudo de aplicação de técnicas de aprendizado por reforço no problema de otimização de portfólio |
| title_sort |
Estudo de aplicação de técnicas de aprendizado por reforço no problema de otimização de portfólio |
| author |
Victor Marcius Magalhães Pinto |
| author_facet |
Victor Marcius Magalhães Pinto |
| author_role |
author |
| dc.contributor.author.fl_str_mv |
Victor Marcius Magalhães Pinto |
| dc.subject.por.fl_str_mv |
Engenharia elétrica Aprendizado do computador Otimização Mercados financeiros futuros |
| topic |
Engenharia elétrica Aprendizado do computador Otimização Mercados financeiros futuros Aprendizado de máquina Aprendizado por reforço Otimização de portfólio Mercados financeiros |
| dc.subject.other.none.fl_str_mv |
Aprendizado de máquina Aprendizado por reforço Otimização de portfólio Mercados financeiros |
| description |
The portfolio management problem, focus of this work, consists of determining the optimal asset allocation within a wallet, in order to maximize (or minimize) one or more objectives. These objectives are usually related to risk and return metrics. In financial economics literature, this problem has been solved using portfolio optimization models, such as Markowitz, CAPM and Black Litterman, which are executed for each instant when portfolio rebalancing is necessary. This decision process, incremental and under uncertainty, can be seen as a Markovian decision process, which makes modeling under reinforcement learning paradigm attractive, this being a recent trend discussed in machine learning literature. This work aims to investigate the use of reinforcement learning technics in portfolio optimization problem. A literature review is realized, with its main learnings. In a case study, a portfolio asset weight control problem is modeled as a Markovian decision process, and reinforcement learning algorithms are used to optimize it. The implementations are made in an incremental way, aiming to demonstrate the logic behind these algorithms developments. Finally, the model’s behavior is compared with Markowitz based strategies, and the result shows that these approaches hold good performances, and have a promising use for this kind of problem. |
| publishDate |
2022 |
| dc.date.issued.fl_str_mv |
2022-04-28 |
| dc.date.accessioned.fl_str_mv |
2023-02-08T18:58:07Z 2025-09-09T00:05:18Z |
| dc.date.available.fl_str_mv |
2023-02-08T18:58:07Z |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
| format |
masterThesis |
| status_str |
publishedVersion |
| dc.identifier.uri.fl_str_mv |
https://hdl.handle.net/1843/49786 |
| url |
https://hdl.handle.net/1843/49786 |
| dc.language.iso.fl_str_mv |
por |
| language |
por |
| dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
| eu_rights_str_mv |
openAccess |
| dc.publisher.none.fl_str_mv |
Universidade Federal de Minas Gerais |
| publisher.none.fl_str_mv |
Universidade Federal de Minas Gerais |
| dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFMG instname:Universidade Federal de Minas Gerais (UFMG) instacron:UFMG |
| instname_str |
Universidade Federal de Minas Gerais (UFMG) |
| instacron_str |
UFMG |
| institution |
UFMG |
| reponame_str |
Repositório Institucional da UFMG |
| collection |
Repositório Institucional da UFMG |
| bitstream.url.fl_str_mv |
https://repositorio.ufmg.br//bitstreams/b642396d-158c-4eb7-a4ff-9af5674b3877/download https://repositorio.ufmg.br//bitstreams/d0339978-8a8a-40ef-9890-2474f09a6a53/download |
| bitstream.checksum.fl_str_mv |
589113b3965230117b5c02d345c3dd4c cda590c95a0b51b4d15f60c9642ca272 |
| bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 |
| repository.name.fl_str_mv |
Repositório Institucional da UFMG - Universidade Federal de Minas Gerais (UFMG) |
| repository.mail.fl_str_mv |
repositorio@ufmg.br |
| _version_ |
1862105640407662592 |