Lagrangianos aumentados livres de fatorações de matrizes para otimização não linear

Detalhes bibliográficos
Ano de defesa: 2025
Autor(a) principal: Marcondes, Diaulas Murize Santana Vieira
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Tese
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Biblioteca Digitais de Teses e Dissertações da USP
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Link de acesso: https://www.teses.usp.br/teses/disponiveis/45/45132/tde-09052025-143141/
Resumo: Este trabalho aborda o problema de otimização contínua em que alguma das funções que definem o problema é não linear. O objetivo principal é desenvolver métodos que não precisem de fatorações de matrizes e que, portanto, possam ser aplicados a problemas de grande porte. Numa primeira parte do trabalho focamos em problemas com restrições de caixa da forma minimizar f(x) sujeita a \\ell \\leq x \\leq u. Para este problema, propomos novos métodos baseados no consagrado método Gencan. Gencan é um método de restrições ativas que, dentro das faces, utiliza Newton truncado. Os novos métodos utilizam MINRES (do inglês, \\textit{Minimum Residual Method}) na resolução dos sistemas lineares Newtonianos no lugar de gradientes conjugados com produtos de Hessiana-vetor. Para estes métodos, apresentamos resultados de complexidade para encontrar um iterando x^k que satisfaça uma condição de otimalidade com precisão \\epsilon>0. Um deles, com complexidade O(\\epsilon^), utiliza uma tolerância dinâmica na resolução dos sistemas lineares e modifica a direção calculada com MINRES para garantir um decréscimo da ordem de \\epsilon^. Este método utiliza o método do Gradiente Espectral Projetado (SPG, do inglês \\textit{Spectral Projected Gradient}) para sair das faces. O segundo método, com complexidade O(\\epsilon^{-3/2}), resolve os sistemas lineares com MINRES de forma tal que, sobre certas hipóteses, a direção calculada garanta um decréscimo da ordem de \\epsilon^{-3/2}. Este método sai das faces minimizando um modelo quadrático com regularização cúbica sujeito às restrições de caixa. Os dois métodos mencionados, utilizam a Hessiana na forma produto Hessiana-vetor, na resolução dos sistemas lineares Newtonianos. Propomos ainda um terceiro método que, dentro das faces, utiliza o método de gradientes conjugados não lineares LCGD (do inglês, \\textit{Limited memory CG-Descent}). Este método utiliza apenas informação de primeira ordem. Para este método, apresentamos resultados de convergência assintótica a pontos estacionários. O método ASA-CG é também um método de restrições ativas que utiliza LCGD dentro das faces e uma variação do SPG para sair das faces. Experimentos numéricos mostram que, quando comparado ao ASA-CG e à versão atual do Gencan, o método proposto apresenta melhor desempenho em termos de eficiência e robustez. Na segunda parte do trabalho, consideramos o melhor dos métodos para minimização em caixas no contexto de um método de Lagrangianos aumentados para programação não linear. Algencan é um método de Lagrangianos aumentados que resolve uma sequência de subproblemas com restrições de caixa. Logo, a proposta consiste em resolver os subproblemas de Algencan com o novo método proposto para minimização em caixas. Experimentos numéricos mostram que a nova versão é mais robusta e eficiente, especialmente em problemas que não são de programação quadrática.
id USP_a6a529f65ec23b7bc31be67c40ca9c30
oai_identifier_str oai:teses.usp.br:tde-09052025-143141
network_acronym_str USP
network_name_str Biblioteca Digital de Teses e Dissertações da USP
repository_id_str
spelling Lagrangianos aumentados livres de fatorações de matrizes para otimização não linearMatrix factorization-free augmented lagrangians for nonlinear optimizationAugmented lagrangian methodsExperimentos numéricosGradientes conjugados não linearesLagrangianos aumentadosMINRESMINRESNonlinear conjugate gradientNonlinear optimizationNumerical experiments.Otimização não linearEste trabalho aborda o problema de otimização contínua em que alguma das funções que definem o problema é não linear. O objetivo principal é desenvolver métodos que não precisem de fatorações de matrizes e que, portanto, possam ser aplicados a problemas de grande porte. Numa primeira parte do trabalho focamos em problemas com restrições de caixa da forma minimizar f(x) sujeita a \\ell \\leq x \\leq u. Para este problema, propomos novos métodos baseados no consagrado método Gencan. Gencan é um método de restrições ativas que, dentro das faces, utiliza Newton truncado. Os novos métodos utilizam MINRES (do inglês, \\textit{Minimum Residual Method}) na resolução dos sistemas lineares Newtonianos no lugar de gradientes conjugados com produtos de Hessiana-vetor. Para estes métodos, apresentamos resultados de complexidade para encontrar um iterando x^k que satisfaça uma condição de otimalidade com precisão \\epsilon>0. Um deles, com complexidade O(\\epsilon^), utiliza uma tolerância dinâmica na resolução dos sistemas lineares e modifica a direção calculada com MINRES para garantir um decréscimo da ordem de \\epsilon^. Este método utiliza o método do Gradiente Espectral Projetado (SPG, do inglês \\textit{Spectral Projected Gradient}) para sair das faces. O segundo método, com complexidade O(\\epsilon^{-3/2}), resolve os sistemas lineares com MINRES de forma tal que, sobre certas hipóteses, a direção calculada garanta um decréscimo da ordem de \\epsilon^{-3/2}. Este método sai das faces minimizando um modelo quadrático com regularização cúbica sujeito às restrições de caixa. Os dois métodos mencionados, utilizam a Hessiana na forma produto Hessiana-vetor, na resolução dos sistemas lineares Newtonianos. Propomos ainda um terceiro método que, dentro das faces, utiliza o método de gradientes conjugados não lineares LCGD (do inglês, \\textit{Limited memory CG-Descent}). Este método utiliza apenas informação de primeira ordem. Para este método, apresentamos resultados de convergência assintótica a pontos estacionários. O método ASA-CG é também um método de restrições ativas que utiliza LCGD dentro das faces e uma variação do SPG para sair das faces. Experimentos numéricos mostram que, quando comparado ao ASA-CG e à versão atual do Gencan, o método proposto apresenta melhor desempenho em termos de eficiência e robustez. Na segunda parte do trabalho, consideramos o melhor dos métodos para minimização em caixas no contexto de um método de Lagrangianos aumentados para programação não linear. Algencan é um método de Lagrangianos aumentados que resolve uma sequência de subproblemas com restrições de caixa. Logo, a proposta consiste em resolver os subproblemas de Algencan com o novo método proposto para minimização em caixas. Experimentos numéricos mostram que a nova versão é mais robusta e eficiente, especialmente em problemas que não são de programação quadrática.This thesis deals with the problem of continuous optimization where one of the functions defining the problem is nonlinear. The main goal is to develop methods that do not require matrix factorization and can therefore be applied to large problems. In the first part of the work, we focus on problems with box constraints of the form minimize f(x) subject to \\ell \\leq x \\leq u. For this problem, we propose new methods based on the well-known Gencan method. Gencan is a method of active constraints that uses truncated Newton inside the faces. The new methods use MINRES (Minimum Residual Method) to solve Newtonian linear systems instead of conjugate gradients. For these methods, we present complexity results for finding an iterate x^k that satisfies an optimality condition with accuracy \\epsilon>0. One of them, with complexity O(\\epsilon^), uses a dynamic tolerance when solving linear systems and modifies the direction computed with MINRES to guarantee a decrease of the order of \\epsilon^. This method uses the Spectral Projected Gradient (SPG) method to leave the faces. The second method, with complexity O(\\epsilon^{-3/2}), solves linear systems with MINRES in such a way that, under certain conditions, the computed direction guarantees a decrease of the order of \\epsilon^{-3/2}. This method leaves the faces by minimizing a quadratic model with cubic regularization subject to the box constraints. The above two methods use the Hessian in the form of a Hessian vector product to solve Newtonian linear systems. We also propose a third method that uses the nonlinear conjugate gradient method LCGD (\\textit{Limited memory CG-Descent}) within the faces. This method uses only first order information. For this method, we present results of asymptotic convergence to stationary points. The ASA-CG method is also an active sets method that uses LCGD inside the faces and a variation of SPG to leave the faces. Numerical experiments show that the proposed method outperforms ASA-CG and the current version of Gencan in terms of efficiency and robustness. In the second part of the thesis, we consider the best of the box minimization methods in the context of an augmented Lagrangian method for nonlinear programming. Algencan is an augmented Lagrangian method that solves a sequence of subproblems with box constraints. Therefore, the proposal consists in solving the Algencan subproblems with the new proposed method for minimization in boxes. Numerical experiments show that the new version is more robust and efficient, especially for non-quadratic programming problems.Biblioteca Digitais de Teses e Dissertações da USPBirgin, Ernesto Julian GoldbergMarcondes, Diaulas Murize Santana Vieira2025-03-12info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisapplication/pdfhttps://www.teses.usp.br/teses/disponiveis/45/45132/tde-09052025-143141/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesspor2025-05-12T09:01:02Zoai:teses.usp.br:tde-09052025-143141Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212025-05-12T09:01:02Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false
dc.title.none.fl_str_mv Lagrangianos aumentados livres de fatorações de matrizes para otimização não linear
Matrix factorization-free augmented lagrangians for nonlinear optimization
title Lagrangianos aumentados livres de fatorações de matrizes para otimização não linear
spellingShingle Lagrangianos aumentados livres de fatorações de matrizes para otimização não linear
Marcondes, Diaulas Murize Santana Vieira
Augmented lagrangian methods
Experimentos numéricos
Gradientes conjugados não lineares
Lagrangianos aumentados
MINRES
MINRES
Nonlinear conjugate gradient
Nonlinear optimization
Numerical experiments.
Otimização não linear
title_short Lagrangianos aumentados livres de fatorações de matrizes para otimização não linear
title_full Lagrangianos aumentados livres de fatorações de matrizes para otimização não linear
title_fullStr Lagrangianos aumentados livres de fatorações de matrizes para otimização não linear
title_full_unstemmed Lagrangianos aumentados livres de fatorações de matrizes para otimização não linear
title_sort Lagrangianos aumentados livres de fatorações de matrizes para otimização não linear
author Marcondes, Diaulas Murize Santana Vieira
author_facet Marcondes, Diaulas Murize Santana Vieira
author_role author
dc.contributor.none.fl_str_mv Birgin, Ernesto Julian Goldberg
dc.contributor.author.fl_str_mv Marcondes, Diaulas Murize Santana Vieira
dc.subject.por.fl_str_mv Augmented lagrangian methods
Experimentos numéricos
Gradientes conjugados não lineares
Lagrangianos aumentados
MINRES
MINRES
Nonlinear conjugate gradient
Nonlinear optimization
Numerical experiments.
Otimização não linear
topic Augmented lagrangian methods
Experimentos numéricos
Gradientes conjugados não lineares
Lagrangianos aumentados
MINRES
MINRES
Nonlinear conjugate gradient
Nonlinear optimization
Numerical experiments.
Otimização não linear
description Este trabalho aborda o problema de otimização contínua em que alguma das funções que definem o problema é não linear. O objetivo principal é desenvolver métodos que não precisem de fatorações de matrizes e que, portanto, possam ser aplicados a problemas de grande porte. Numa primeira parte do trabalho focamos em problemas com restrições de caixa da forma minimizar f(x) sujeita a \\ell \\leq x \\leq u. Para este problema, propomos novos métodos baseados no consagrado método Gencan. Gencan é um método de restrições ativas que, dentro das faces, utiliza Newton truncado. Os novos métodos utilizam MINRES (do inglês, \\textit{Minimum Residual Method}) na resolução dos sistemas lineares Newtonianos no lugar de gradientes conjugados com produtos de Hessiana-vetor. Para estes métodos, apresentamos resultados de complexidade para encontrar um iterando x^k que satisfaça uma condição de otimalidade com precisão \\epsilon>0. Um deles, com complexidade O(\\epsilon^), utiliza uma tolerância dinâmica na resolução dos sistemas lineares e modifica a direção calculada com MINRES para garantir um decréscimo da ordem de \\epsilon^. Este método utiliza o método do Gradiente Espectral Projetado (SPG, do inglês \\textit{Spectral Projected Gradient}) para sair das faces. O segundo método, com complexidade O(\\epsilon^{-3/2}), resolve os sistemas lineares com MINRES de forma tal que, sobre certas hipóteses, a direção calculada garanta um decréscimo da ordem de \\epsilon^{-3/2}. Este método sai das faces minimizando um modelo quadrático com regularização cúbica sujeito às restrições de caixa. Os dois métodos mencionados, utilizam a Hessiana na forma produto Hessiana-vetor, na resolução dos sistemas lineares Newtonianos. Propomos ainda um terceiro método que, dentro das faces, utiliza o método de gradientes conjugados não lineares LCGD (do inglês, \\textit{Limited memory CG-Descent}). Este método utiliza apenas informação de primeira ordem. Para este método, apresentamos resultados de convergência assintótica a pontos estacionários. O método ASA-CG é também um método de restrições ativas que utiliza LCGD dentro das faces e uma variação do SPG para sair das faces. Experimentos numéricos mostram que, quando comparado ao ASA-CG e à versão atual do Gencan, o método proposto apresenta melhor desempenho em termos de eficiência e robustez. Na segunda parte do trabalho, consideramos o melhor dos métodos para minimização em caixas no contexto de um método de Lagrangianos aumentados para programação não linear. Algencan é um método de Lagrangianos aumentados que resolve uma sequência de subproblemas com restrições de caixa. Logo, a proposta consiste em resolver os subproblemas de Algencan com o novo método proposto para minimização em caixas. Experimentos numéricos mostram que a nova versão é mais robusta e eficiente, especialmente em problemas que não são de programação quadrática.
publishDate 2025
dc.date.none.fl_str_mv 2025-03-12
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://www.teses.usp.br/teses/disponiveis/45/45132/tde-09052025-143141/
url https://www.teses.usp.br/teses/disponiveis/45/45132/tde-09052025-143141/
dc.language.iso.fl_str_mv por
language por
dc.relation.none.fl_str_mv
dc.rights.driver.fl_str_mv Liberar o conteúdo para acesso público.
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Liberar o conteúdo para acesso público.
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.coverage.none.fl_str_mv
dc.publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
publisher.none.fl_str_mv Biblioteca Digitais de Teses e Dissertações da USP
dc.source.none.fl_str_mv
reponame:Biblioteca Digital de Teses e Dissertações da USP
instname:Universidade de São Paulo (USP)
instacron:USP
instname_str Universidade de São Paulo (USP)
instacron_str USP
institution USP
reponame_str Biblioteca Digital de Teses e Dissertações da USP
collection Biblioteca Digital de Teses e Dissertações da USP
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)
repository.mail.fl_str_mv virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br
_version_ 1844786331219132416