Solving a markov decision process multidimensional problem with tensor decomposition

• Ano de defesa: 2021
• Autor(a) principal: Kuinchtner, Daniela
• Orientador(a): Sales, Afonso Henrique Correa de
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: eng
• Instituição de defesa: Pontifícia Universidade Católica do Rio Grande do Sul
• Programa de Pós-Graduação: Programa de Pós-Graduação em Ciência da Computação
• Departamento: Escola Politécnica
• País: Brasil
• Palavras-chave em Português: Inteligência Artificial; Decomposição CANDECOMP-PARAFAC; Processo de ´Decisão de Markov; Ágebra Tensorial; Decomposição de Tensores
• Palavras-chave em Inglês: Artificial Intelligence; CANDECOMP-PARAFAC Decomposition; Markov Decision Process; Tensor Algebra; Tensor Decomposition
• Área do conhecimento CNPq: CIENCIA DA COMPUTACAO::TEORIA DA COMPUTACAO
• Link de acesso: http://tede2.pucrs.br/tede2/handle/tede/9832

Processo de Decisão de Markov (MDP) é um modelo usado para planejamento de tomada de decisão de agentes em ambientes estocásticos e completamente observáveis. Embora, muita pesquisa se concentra na solução de problemas de MDPs atômicos em formas tabulares ou MDPs com representações fatoradas, nenhuma se baseia em métodos de decomposição de tensores. Resolver MDPs usando álgebra tensorial oferece a perspectiva de alavancar avanços em cálculos baseados em tensor para aumentar a eficiência de solucionadores de MDP. Nesta pesquisa, primeiro, é formalizado problemas multidimensionais de MDP usando álgebra tensorial. Segundo, é desenvolvido um solucionador de MDP usando o método de decomposição de tensor CANDECOMP-PARAFAC para compactar as matrizes de transição de estados. O solucionador utiliza os algoritmos de iteração de valor e iteração de política para computar a solução de forma compacta. Então, os algoritmos compactos são avaliados de forma empírica em comparação com métodos tabulares. Como resultados, é mostrado que a abordagem tensorial pode computar problemas maiores usando substancialmente menos memória, abrindo novas possibilidades para métodos baseadas em tensores para o planejamento estocástico.