Lagrangianos aumentados livres de fatorações de matrizes para otimização não linear
| Ano de defesa: | 2025 |
|---|---|
| Autor(a) principal: | |
| Orientador(a): | |
| Banca de defesa: | |
| Tipo de documento: | Tese |
| Tipo de acesso: | Acesso aberto |
| Idioma: | por |
| Instituição de defesa: |
Biblioteca Digitais de Teses e Dissertações da USP
|
| Programa de Pós-Graduação: |
Não Informado pela instituição
|
| Departamento: |
Não Informado pela instituição
|
| País: |
Não Informado pela instituição
|
| Palavras-chave em Português: | |
| Link de acesso: | https://www.teses.usp.br/teses/disponiveis/45/45132/tde-09052025-143141/ |
Resumo: | Este trabalho aborda o problema de otimização contínua em que alguma das funções que definem o problema é não linear. O objetivo principal é desenvolver métodos que não precisem de fatorações de matrizes e que, portanto, possam ser aplicados a problemas de grande porte. Numa primeira parte do trabalho focamos em problemas com restrições de caixa da forma minimizar f(x) sujeita a \\ell \\leq x \\leq u. Para este problema, propomos novos métodos baseados no consagrado método Gencan. Gencan é um método de restrições ativas que, dentro das faces, utiliza Newton truncado. Os novos métodos utilizam MINRES (do inglês, \\textit{Minimum Residual Method}) na resolução dos sistemas lineares Newtonianos no lugar de gradientes conjugados com produtos de Hessiana-vetor. Para estes métodos, apresentamos resultados de complexidade para encontrar um iterando x^k que satisfaça uma condição de otimalidade com precisão \\epsilon>0. Um deles, com complexidade O(\\epsilon^), utiliza uma tolerância dinâmica na resolução dos sistemas lineares e modifica a direção calculada com MINRES para garantir um decréscimo da ordem de \\epsilon^. Este método utiliza o método do Gradiente Espectral Projetado (SPG, do inglês \\textit{Spectral Projected Gradient}) para sair das faces. O segundo método, com complexidade O(\\epsilon^{-3/2}), resolve os sistemas lineares com MINRES de forma tal que, sobre certas hipóteses, a direção calculada garanta um decréscimo da ordem de \\epsilon^{-3/2}. Este método sai das faces minimizando um modelo quadrático com regularização cúbica sujeito às restrições de caixa. Os dois métodos mencionados, utilizam a Hessiana na forma produto Hessiana-vetor, na resolução dos sistemas lineares Newtonianos. Propomos ainda um terceiro método que, dentro das faces, utiliza o método de gradientes conjugados não lineares LCGD (do inglês, \\textit{Limited memory CG-Descent}). Este método utiliza apenas informação de primeira ordem. Para este método, apresentamos resultados de convergência assintótica a pontos estacionários. O método ASA-CG é também um método de restrições ativas que utiliza LCGD dentro das faces e uma variação do SPG para sair das faces. Experimentos numéricos mostram que, quando comparado ao ASA-CG e à versão atual do Gencan, o método proposto apresenta melhor desempenho em termos de eficiência e robustez. Na segunda parte do trabalho, consideramos o melhor dos métodos para minimização em caixas no contexto de um método de Lagrangianos aumentados para programação não linear. Algencan é um método de Lagrangianos aumentados que resolve uma sequência de subproblemas com restrições de caixa. Logo, a proposta consiste em resolver os subproblemas de Algencan com o novo método proposto para minimização em caixas. Experimentos numéricos mostram que a nova versão é mais robusta e eficiente, especialmente em problemas que não são de programação quadrática. |
| id |
USP_a6a529f65ec23b7bc31be67c40ca9c30 |
|---|---|
| oai_identifier_str |
oai:teses.usp.br:tde-09052025-143141 |
| network_acronym_str |
USP |
| network_name_str |
Biblioteca Digital de Teses e Dissertações da USP |
| repository_id_str |
|
| spelling |
Lagrangianos aumentados livres de fatorações de matrizes para otimização não linearMatrix factorization-free augmented lagrangians for nonlinear optimizationAugmented lagrangian methodsExperimentos numéricosGradientes conjugados não linearesLagrangianos aumentadosMINRESMINRESNonlinear conjugate gradientNonlinear optimizationNumerical experiments.Otimização não linearEste trabalho aborda o problema de otimização contínua em que alguma das funções que definem o problema é não linear. O objetivo principal é desenvolver métodos que não precisem de fatorações de matrizes e que, portanto, possam ser aplicados a problemas de grande porte. Numa primeira parte do trabalho focamos em problemas com restrições de caixa da forma minimizar f(x) sujeita a \\ell \\leq x \\leq u. Para este problema, propomos novos métodos baseados no consagrado método Gencan. Gencan é um método de restrições ativas que, dentro das faces, utiliza Newton truncado. Os novos métodos utilizam MINRES (do inglês, \\textit{Minimum Residual Method}) na resolução dos sistemas lineares Newtonianos no lugar de gradientes conjugados com produtos de Hessiana-vetor. Para estes métodos, apresentamos resultados de complexidade para encontrar um iterando x^k que satisfaça uma condição de otimalidade com precisão \\epsilon>0. Um deles, com complexidade O(\\epsilon^), utiliza uma tolerância dinâmica na resolução dos sistemas lineares e modifica a direção calculada com MINRES para garantir um decréscimo da ordem de \\epsilon^. Este método utiliza o método do Gradiente Espectral Projetado (SPG, do inglês \\textit{Spectral Projected Gradient}) para sair das faces. O segundo método, com complexidade O(\\epsilon^{-3/2}), resolve os sistemas lineares com MINRES de forma tal que, sobre certas hipóteses, a direção calculada garanta um decréscimo da ordem de \\epsilon^{-3/2}. Este método sai das faces minimizando um modelo quadrático com regularização cúbica sujeito às restrições de caixa. Os dois métodos mencionados, utilizam a Hessiana na forma produto Hessiana-vetor, na resolução dos sistemas lineares Newtonianos. Propomos ainda um terceiro método que, dentro das faces, utiliza o método de gradientes conjugados não lineares LCGD (do inglês, \\textit{Limited memory CG-Descent}). Este método utiliza apenas informação de primeira ordem. Para este método, apresentamos resultados de convergência assintótica a pontos estacionários. O método ASA-CG é também um método de restrições ativas que utiliza LCGD dentro das faces e uma variação do SPG para sair das faces. Experimentos numéricos mostram que, quando comparado ao ASA-CG e à versão atual do Gencan, o método proposto apresenta melhor desempenho em termos de eficiência e robustez. Na segunda parte do trabalho, consideramos o melhor dos métodos para minimização em caixas no contexto de um método de Lagrangianos aumentados para programação não linear. Algencan é um método de Lagrangianos aumentados que resolve uma sequência de subproblemas com restrições de caixa. Logo, a proposta consiste em resolver os subproblemas de Algencan com o novo método proposto para minimização em caixas. Experimentos numéricos mostram que a nova versão é mais robusta e eficiente, especialmente em problemas que não são de programação quadrática.This thesis deals with the problem of continuous optimization where one of the functions defining the problem is nonlinear. The main goal is to develop methods that do not require matrix factorization and can therefore be applied to large problems. In the first part of the work, we focus on problems with box constraints of the form minimize f(x) subject to \\ell \\leq x \\leq u. For this problem, we propose new methods based on the well-known Gencan method. Gencan is a method of active constraints that uses truncated Newton inside the faces. The new methods use MINRES (Minimum Residual Method) to solve Newtonian linear systems instead of conjugate gradients. For these methods, we present complexity results for finding an iterate x^k that satisfies an optimality condition with accuracy \\epsilon>0. One of them, with complexity O(\\epsilon^), uses a dynamic tolerance when solving linear systems and modifies the direction computed with MINRES to guarantee a decrease of the order of \\epsilon^. This method uses the Spectral Projected Gradient (SPG) method to leave the faces. The second method, with complexity O(\\epsilon^{-3/2}), solves linear systems with MINRES in such a way that, under certain conditions, the computed direction guarantees a decrease of the order of \\epsilon^{-3/2}. This method leaves the faces by minimizing a quadratic model with cubic regularization subject to the box constraints. The above two methods use the Hessian in the form of a Hessian vector product to solve Newtonian linear systems. We also propose a third method that uses the nonlinear conjugate gradient method LCGD (\\textit{Limited memory CG-Descent}) within the faces. This method uses only first order information. For this method, we present results of asymptotic convergence to stationary points. The ASA-CG method is also an active sets method that uses LCGD inside the faces and a variation of SPG to leave the faces. Numerical experiments show that the proposed method outperforms ASA-CG and the current version of Gencan in terms of efficiency and robustness. In the second part of the thesis, we consider the best of the box minimization methods in the context of an augmented Lagrangian method for nonlinear programming. Algencan is an augmented Lagrangian method that solves a sequence of subproblems with box constraints. Therefore, the proposal consists in solving the Algencan subproblems with the new proposed method for minimization in boxes. Numerical experiments show that the new version is more robust and efficient, especially for non-quadratic programming problems.Biblioteca Digitais de Teses e Dissertações da USPBirgin, Ernesto Julian GoldbergMarcondes, Diaulas Murize Santana Vieira2025-03-12info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisapplication/pdfhttps://www.teses.usp.br/teses/disponiveis/45/45132/tde-09052025-143141/reponame:Biblioteca Digital de Teses e Dissertações da USPinstname:Universidade de São Paulo (USP)instacron:USPLiberar o conteúdo para acesso público.info:eu-repo/semantics/openAccesspor2025-05-12T09:01:02Zoai:teses.usp.br:tde-09052025-143141Biblioteca Digital de Teses e Dissertaçõeshttp://www.teses.usp.br/PUBhttp://www.teses.usp.br/cgi-bin/mtd2br.plvirginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.bropendoar:27212025-05-12T09:01:02Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP)false |
| dc.title.none.fl_str_mv |
Lagrangianos aumentados livres de fatorações de matrizes para otimização não linear Matrix factorization-free augmented lagrangians for nonlinear optimization |
| title |
Lagrangianos aumentados livres de fatorações de matrizes para otimização não linear |
| spellingShingle |
Lagrangianos aumentados livres de fatorações de matrizes para otimização não linear Marcondes, Diaulas Murize Santana Vieira Augmented lagrangian methods Experimentos numéricos Gradientes conjugados não lineares Lagrangianos aumentados MINRES MINRES Nonlinear conjugate gradient Nonlinear optimization Numerical experiments. Otimização não linear |
| title_short |
Lagrangianos aumentados livres de fatorações de matrizes para otimização não linear |
| title_full |
Lagrangianos aumentados livres de fatorações de matrizes para otimização não linear |
| title_fullStr |
Lagrangianos aumentados livres de fatorações de matrizes para otimização não linear |
| title_full_unstemmed |
Lagrangianos aumentados livres de fatorações de matrizes para otimização não linear |
| title_sort |
Lagrangianos aumentados livres de fatorações de matrizes para otimização não linear |
| author |
Marcondes, Diaulas Murize Santana Vieira |
| author_facet |
Marcondes, Diaulas Murize Santana Vieira |
| author_role |
author |
| dc.contributor.none.fl_str_mv |
Birgin, Ernesto Julian Goldberg |
| dc.contributor.author.fl_str_mv |
Marcondes, Diaulas Murize Santana Vieira |
| dc.subject.por.fl_str_mv |
Augmented lagrangian methods Experimentos numéricos Gradientes conjugados não lineares Lagrangianos aumentados MINRES MINRES Nonlinear conjugate gradient Nonlinear optimization Numerical experiments. Otimização não linear |
| topic |
Augmented lagrangian methods Experimentos numéricos Gradientes conjugados não lineares Lagrangianos aumentados MINRES MINRES Nonlinear conjugate gradient Nonlinear optimization Numerical experiments. Otimização não linear |
| description |
Este trabalho aborda o problema de otimização contínua em que alguma das funções que definem o problema é não linear. O objetivo principal é desenvolver métodos que não precisem de fatorações de matrizes e que, portanto, possam ser aplicados a problemas de grande porte. Numa primeira parte do trabalho focamos em problemas com restrições de caixa da forma minimizar f(x) sujeita a \\ell \\leq x \\leq u. Para este problema, propomos novos métodos baseados no consagrado método Gencan. Gencan é um método de restrições ativas que, dentro das faces, utiliza Newton truncado. Os novos métodos utilizam MINRES (do inglês, \\textit{Minimum Residual Method}) na resolução dos sistemas lineares Newtonianos no lugar de gradientes conjugados com produtos de Hessiana-vetor. Para estes métodos, apresentamos resultados de complexidade para encontrar um iterando x^k que satisfaça uma condição de otimalidade com precisão \\epsilon>0. Um deles, com complexidade O(\\epsilon^), utiliza uma tolerância dinâmica na resolução dos sistemas lineares e modifica a direção calculada com MINRES para garantir um decréscimo da ordem de \\epsilon^. Este método utiliza o método do Gradiente Espectral Projetado (SPG, do inglês \\textit{Spectral Projected Gradient}) para sair das faces. O segundo método, com complexidade O(\\epsilon^{-3/2}), resolve os sistemas lineares com MINRES de forma tal que, sobre certas hipóteses, a direção calculada garanta um decréscimo da ordem de \\epsilon^{-3/2}. Este método sai das faces minimizando um modelo quadrático com regularização cúbica sujeito às restrições de caixa. Os dois métodos mencionados, utilizam a Hessiana na forma produto Hessiana-vetor, na resolução dos sistemas lineares Newtonianos. Propomos ainda um terceiro método que, dentro das faces, utiliza o método de gradientes conjugados não lineares LCGD (do inglês, \\textit{Limited memory CG-Descent}). Este método utiliza apenas informação de primeira ordem. Para este método, apresentamos resultados de convergência assintótica a pontos estacionários. O método ASA-CG é também um método de restrições ativas que utiliza LCGD dentro das faces e uma variação do SPG para sair das faces. Experimentos numéricos mostram que, quando comparado ao ASA-CG e à versão atual do Gencan, o método proposto apresenta melhor desempenho em termos de eficiência e robustez. Na segunda parte do trabalho, consideramos o melhor dos métodos para minimização em caixas no contexto de um método de Lagrangianos aumentados para programação não linear. Algencan é um método de Lagrangianos aumentados que resolve uma sequência de subproblemas com restrições de caixa. Logo, a proposta consiste em resolver os subproblemas de Algencan com o novo método proposto para minimização em caixas. Experimentos numéricos mostram que a nova versão é mais robusta e eficiente, especialmente em problemas que não são de programação quadrática. |
| publishDate |
2025 |
| dc.date.none.fl_str_mv |
2025-03-12 |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/doctoralThesis |
| format |
doctoralThesis |
| status_str |
publishedVersion |
| dc.identifier.uri.fl_str_mv |
https://www.teses.usp.br/teses/disponiveis/45/45132/tde-09052025-143141/ |
| url |
https://www.teses.usp.br/teses/disponiveis/45/45132/tde-09052025-143141/ |
| dc.language.iso.fl_str_mv |
por |
| language |
por |
| dc.relation.none.fl_str_mv |
|
| dc.rights.driver.fl_str_mv |
Liberar o conteúdo para acesso público. info:eu-repo/semantics/openAccess |
| rights_invalid_str_mv |
Liberar o conteúdo para acesso público. |
| eu_rights_str_mv |
openAccess |
| dc.format.none.fl_str_mv |
application/pdf |
| dc.coverage.none.fl_str_mv |
|
| dc.publisher.none.fl_str_mv |
Biblioteca Digitais de Teses e Dissertações da USP |
| publisher.none.fl_str_mv |
Biblioteca Digitais de Teses e Dissertações da USP |
| dc.source.none.fl_str_mv |
reponame:Biblioteca Digital de Teses e Dissertações da USP instname:Universidade de São Paulo (USP) instacron:USP |
| instname_str |
Universidade de São Paulo (USP) |
| instacron_str |
USP |
| institution |
USP |
| reponame_str |
Biblioteca Digital de Teses e Dissertações da USP |
| collection |
Biblioteca Digital de Teses e Dissertações da USP |
| repository.name.fl_str_mv |
Biblioteca Digital de Teses e Dissertações da USP - Universidade de São Paulo (USP) |
| repository.mail.fl_str_mv |
virginia@if.usp.br|| atendimento@aguia.usp.br||virginia@if.usp.br |
| _version_ |
1844786331219132416 |