Algoritmos para o problema de Caminho mais Curto Estocástico Sensível a Risco usando função de transformação linear por partes

• Ano de defesa: 2021
• Autor(a) principal: Pastor, Henrique Dias
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Biblioteca Digitais de Teses e Dissertações da USP
• Palavras-chave em Português: Algorithms for risk sensitive Markov decision processes; Algoritmos para processos de decisão de Markov sensíveis a risco; Markov decision processes; Planejamento probabilístico sensível a risco; Processos de decisão de Markov; Risco; Risk; Risk sensitive probabilistic planning
• Link de acesso: https://www.teses.usp.br/teses/disponiveis/100/100131/tde-06052021-193841/

O Processo de Decisão de Markov (MDP) é comumente usado para modelar um problema de tomada de decisão sequencial em que um agente interage com um ambiente incerto enquanto busca minimizar o custo esperado acumulado ao longo do processo. Se o horizonte do processo for infinito, um fator de desconto γ ∈ [0,1] é usado para indicar a importância que o agente dá aos estados futuros. Se a missão do agente é atingir um estado meta, o processo se torna um problema de Caminho mais Curto Estocástico (Stochastic Shortest Path MDP - SSP-MDP), o modelo de fato usado para o planejamento probabilístico em inteligência artificial. Embora várias soluções eficientes tenham sido propostas para resolver SSP-MDPs, existem poucas pesquisas realizadas quando é considerado o risco em tais processos. Um MDP Sensível a Risco (Risk Sensitive MDP - RS-MDP) permite modelar as atitudes aversas e propensas a risco do agente, usando uma função de transformação linear por partes e incluindo um fator de risco e um fator de desconto. A prova de convergência de soluções conhecidas com base em programação dinâmica adaptada para RS-MDPs, como Iteração de Valor Sensível a Risco (RSVI) e Iteração de Política Sensível a Risco (RSPI), depende do fator de desconto. Porém, ao resolver um SSP-MDP busca-se uma política própria, ou seja, uma política que garanta o alcance da meta ao mesmo tempo em que minimiza o custo esperado acumulado, que é naturalmente modelado sem fator de desconto. Neste trabalho, foram projetados 3 algoritmos para SSP-MDP Sensível a Risco que usam uma função de transformação linear por partes, sem um fator de desconto, que são: Iteração de Valor (RSTL-VI), Iteração de Política (RSTL-PI) e o algoritmo ILAO* Sensível a Risco (RSTL-ILAO*). Também foi provada formalmente a convergência do algoritmo RSTL-PI. Foram feitos experimentos no domínio de Travessia do Rio e em um novo domínio baseado no Modelo Epidemiológico de Espalhamento de Doenças (SIR) com vacinação. Neste domínio, a dinâmica da quantidade de indivíduos suscetíveis, infectados e recuperados é controlada através de políticas de vacinação da população e inclui risco. Os resultados experimentais evidenciam que o algoritmo RSTL-ILAO* possui melhor desempenho do que os algoritmos RSTL-VI e RSTL-PI em ambos domínios.