Método de diferenças temporais para sistemas lineares com Saltos Markovianos. - Ceballos Aya, Julio César (2000)
Neste trabalho apresentamos uma técnica iterativa para calcular a solução maximal de um conjunto de equações algébricas de Riccati acopladas entre si (EARA) a tempo discreto, baseada no método de diferença temporal, quando a matriz de probabilidade P é conhecida. As EARA estão relacionadas ao controle ótimo de sistemas lineares com saltos Markovianos e têm sido estudadas exaustivamente, nos últimos anos. Traçaremos um paralelo com a teoria de algoritmos de diferenças temporais para processos Markovianos de decisão (PMD), para desenvolver um algoritmo iterativo dependente de um parâmetro \'lambda\' \'pertence a\' [0,1] para a solução maximal das EARA. Para o caso especial onde \'lambda\' = 1 e \'lambda\' = 0, temos asituação na qual os algoritmos se reduzem à iteração das equações a diferenças de Riccati (iteração de valores) e o método de quasi-linearização (iteração de estratégias), respectivamente. Apresentamos ainda uma técnica iterativa, baseada emsimulações de Monte Carlo, para calcular o controle ótimo de um problema de regulador linear quadrático de horizonte infinito para um sistema linear com saltos Markovianos a tempo discreto, quando a matriz de transição de probabilidade P não é conhecida. Para isso, traçamos paralelo com a teoria do algoritmo TD(\'lambda\') para PMD para desenvolver o algoritmo TD(\'lambda\') para controle ótimo associado à solução maximal de um EARA. Alguns exemplos numéricos são apresentados neste trabalho para esclarecer a teoria.