Método de diferenças temporais para sistemas lineares com Saltos Markovianos.

• Ano de defesa: 2000
• Autor(a) principal: Ceballos Aya, Julio César
• Tipo de documento: Tese
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Biblioteca Digitais de Teses e Dissertações da USP
• Palavras-chave em Português: Controle estocástico; Equações de Riccati; Riccati equations; Stochastic control
• Link de acesso: https://www.teses.usp.br/teses/disponiveis/3/3139/tde-16102024-102926/

Neste trabalho apresentamos uma técnica iterativa para calcular a solução maximal de um conjunto de equações algébricas de Riccati acopladas entre si (EARA) a tempo discreto, baseada no método de diferença temporal, quando a matriz de probabilidade P é conhecida. As EARA estão relacionadas ao controle ótimo de sistemas lineares com saltos Markovianos e têm sido estudadas exaustivamente, nos últimos anos. Traçaremos um paralelo com a teoria de algoritmos de diferenças temporais para processos Markovianos de decisão (PMD), para desenvolver um algoritmo iterativo dependente de um parâmetro \'lambda\' \'pertence a\' [0,1] para a solução maximal das EARA. Para o caso especial onde \'lambda\' = 1 e \'lambda\' = 0, temos asituação na qual os algoritmos se reduzem à iteração das equações a diferenças de Riccati (iteração de valores) e o método de quasi-linearização (iteração de estratégias), respectivamente. Apresentamos ainda uma técnica iterativa, baseada emsimulações de Monte Carlo, para calcular o controle ótimo de um problema de regulador linear quadrático de horizonte infinito para um sistema linear com saltos Markovianos a tempo discreto, quando a matriz de transição de probabilidade P não é conhecida. Para isso, traçamos paralelo com a teoria do algoritmo TD(\'lambda\') para PMD para desenvolver o algoritmo TD(\'lambda\') para controle ótimo associado à solução maximal de um EARA. Alguns exemplos numéricos são apresentados neste trabalho para esclarecer a teoria.