Multiobjective bayesian optimization to enhance computational efficiency in neural network models

Detalhes bibliográficos
Ano de defesa: 2024
Autor(a) principal: Reis, João Gabriel Rodrigues
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: eng
Instituição de defesa: Não Informado pela instituição
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Redes neurais artificiais
Aprendizado de máquina
Critério de informação Bayesiano
Link de acesso: http://repositorio.unb.br/handle/10482/51119
Resumo: Dissertação (mestrado) — Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Estatística, 2024.
id UNB_d9ca4e880e9fa69393a7bb2dbaa78a5a
oai_identifier_str oai:repositorio.unb.br:10482/51119
network_acronym_str UNB
network_name_str Repositório Institucional da UnB
repository_id_str
spelling Multiobjective bayesian optimization to enhance computational efficiency in neural network modelsOtimização bayesiana multiobjetivo para aperfeiçoar a eficiência computacional em modelos de redes neuraisRedes neurais artificiaisAprendizado de máquinaCritério de informação BayesianoDissertação (mestrado) — Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Estatística, 2024.Modelos de aprendizado de máquina, especialmente Redes Neurais Artificiais (RNAs), tornaram-se ferramentas indispensáveis em diversas áreas devido à sua capacidade de aprender com dados e fazer previsões ou tomar decisões. A grande flexibilidade dos modelos de RNA torna a escolha dos hiperpâmetros crucial para a obtenção do desempenho ideal. Entretanto, encontrar essa configuração pode ser uma tarefa desafiadora e computacionalmente intensiva. O ajuste de hiperparâmetros (hyperparameter tuning) é crucial para otimizar o desempenho de modelos de aprendizado de máquina. Diversas técnicas são empregadas para essa finalidade, sendo a Otimização Bayesiana (BO) uma das mais prevalentes. Contudo, essa abordagem tradicionalmente foca na maximização da precisão dos modelos, o que frequentemente resulta em modelos desnecessariamente complexos. Esse processo muitas vezes ignora o princípio da parcimônia, também conhecido como a navalha de Occam, que sugere a preferência por soluções mais simples quando desempenhos similares são possíveis. Na aplicação do princípio de parcimônia em modelos estatísticos clássicos, foram desenvolvidas várias métricas, como o AIC (Critério de Informação de Akaike) e o BIC (Critério de Informação Bayesiano). Essas métricas avaliam não apenas a precisão do modelo, mas também o número de parâmetros, buscando um equilíbrio entre complexidade e desempenho. No entanto, sua aplicabilidade é limitada em redes neurais artificiais (RNAs) devido à complexidade destes modelos. As RNAs frequentemente não possuem um conjunto único de pesos ótimos devido à sua alta capacidade de parametrização e às múltiplas soluções locais encontradas durante o treinamento. Essa característica torna desafiador determinar o número efetivo de parâmetros ou os graus de liberdade de uma RNA, o que é crucial para a aplicação do AIC e do BIC, comprometendo a validade dessas métricas para avaliar sua parcimônia. Uma abordagem adotada para contornar essa limitação foi utilizar o custo total de treinamento e avaliação da RNA como um indicativo de sua parcimônia, visando identificar o modelo mais eficiente, ou seja, que tenham alto poder preditivo sem comprometer excessivamente os recursos computacionais. Normalmente os algoritmos de BO focam em um único objetivo (predições mais acuradas), o que pode resultar em soluções com alto consumo de recursos. Alternativamente, a Otimização Bayesiana Multi Objetivo (MOBO) é uma generalização do BO que lida com múltiplos objetivos conflitantes, permitindo uma tunagem de hiperparâmetros que equilibra a precisão do modelo e o custo computacional. Este estudo investiga a eficácia da MOBO na redução dos custos computacionais totais, mantendo ao mesmo tempo a alta acurácia dos modelos, através de simulações que comparam o desempenho da MOBO com métodos tradicionais de BO e busca aleatória. A BO é uma técnica bastante popular para a tunagem de hiperparâmetros, pois é capaz de encontrar boas configurações com poucas avaliações da função objetivo. Isso é especialmente útil quando a avaliação da função é computacionalmente cara. A BO utiliza processos gaussianos para modelar a função objetivo, permitindo uma estimativa precisa das regiões promissoras no espaço de hiperparâmetros. Através do uso de funções de aquisição, a BO equilibra automaticamente a exploração de novas áreas do espaço de hiperparâmetros e a exploração de áreas já conhecidas que parecem promissoras. Isso ajuda a guiar a busca de maneira inteligente. Utilizando processos gaussianos e funções de aquisição adaptadas, a MOBO pode identificar soluções que oferecem um compromisso eficiente entre diferentes métricas de desempenho. Isso é particularmente vantajoso em cenários onde é necessário minimizar o consumo de recursos. Utilizando o HPOBench, uma plataforma que proporciona uma ampla gama de benchmarks específicos para otimização de hiperparâmetros, este estudo avalia a eficácia da tunagem de hiperparâmetros ao considerar simultaneamente duas funções-objetivo: acurácia e custo. Por meio de simulações, o desempenho de diversas implementações MOBO, BO e métodos de busca aleatória foram comparados. Os resultados obtidos demonstraram que o MOBO foi capaz de gerar modelos significativamente mais eficientes, reduzindo bastante o custo computacional sem sacrificar a precisão.Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES).The optimization of hyperparameters is a crucial step in enhancing the performance of machine learning models, particularly Artificial Neural Networks (ANNs). This dissertation explores the application of Multi-Objective Bayesian Optimization (MOBO) to improve computational efficiency in neural network predictions. Traditional Bayesian Optimization (BO) focuses on a single objective, often resulting in resource-intensive solutions. MOBO, however, addresses multiple conflicting objectives, allowing for a balanced trade-off between model accuracy and computational cost. In this study, we conducted simulations using a benchmark framework HPOBench (Schneider et al., 2021) to compare the performance of MOBO with traditional BO and random search algorithms. The results demonstrate that MOBO significantly reduces total computational cost while maintaining high model accuracy.Instituto de Ciências Exatas (IE)Departamento de Estatística (IE EST)Programa de Pós-Graduação em EstatísticaRodrigues, Guilherme SouzaReis, João Gabriel Rodrigues2024-12-09T19:28:40Z2024-12-09T19:28:40Z2024-12-092024-06-13info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfREIS, João Gabriel Rodrigues. Multiobjective bayesian optimization to enhance computational efficiency in neural network models. 2024. 48 f., il. Dissertação (Mestrado em Estatística) — Universidade de Brasília, Brasília, 2024.http://repositorio.unb.br/handle/10482/51119engA concessão da licença deste item refere-se ao termo de autorização impresso assinado pelo autor com as seguintes condições: Na qualidade de titular dos direitos de autor da publicação, autorizo a Universidade de Brasília e o IBICT a disponibilizar por meio dos sites www.bce.unb.br, www.ibict.br, http://hercules.vtls.com/cgi-bin/ndltd/chameleon?lng=pt&skin=ndltd sem ressarcimento dos direitos autorais, de acordo com a Lei nº 9610/98, o texto integral da obra disponibilizada, conforme permissões assinaladas, para fins de leitura, impressão e/ou download, a título de divulgação da produção científica brasileira, a partir desta data.info:eu-repo/semantics/openAccessreponame:Repositório Institucional da UnBinstname:Universidade de Brasília (UnB)instacron:UNB2024-12-09T19:28:40Zoai:repositorio.unb.br:10482/51119Repositório InstitucionalPUBhttps://repositorio.unb.br/oai/requestrepositorio@unb.bropendoar:2024-12-09T19:28:40Repositório Institucional da UnB - Universidade de Brasília (UnB)false
dc.title.none.fl_str_mv Multiobjective bayesian optimization to enhance computational efficiency in neural network models
Otimização bayesiana multiobjetivo para aperfeiçoar a eficiência computacional em modelos de redes neurais
title Multiobjective bayesian optimization to enhance computational efficiency in neural network models
spellingShingle Multiobjective bayesian optimization to enhance computational efficiency in neural network models
Reis, João Gabriel Rodrigues
Redes neurais artificiais
Aprendizado de máquina
Critério de informação Bayesiano
title_short Multiobjective bayesian optimization to enhance computational efficiency in neural network models
title_full Multiobjective bayesian optimization to enhance computational efficiency in neural network models
title_fullStr Multiobjective bayesian optimization to enhance computational efficiency in neural network models
title_full_unstemmed Multiobjective bayesian optimization to enhance computational efficiency in neural network models
title_sort Multiobjective bayesian optimization to enhance computational efficiency in neural network models
author Reis, João Gabriel Rodrigues
author_facet Reis, João Gabriel Rodrigues
author_role author
dc.contributor.none.fl_str_mv Rodrigues, Guilherme Souza
dc.contributor.author.fl_str_mv Reis, João Gabriel Rodrigues
dc.subject.por.fl_str_mv Redes neurais artificiais
Aprendizado de máquina
Critério de informação Bayesiano
topic Redes neurais artificiais
Aprendizado de máquina
Critério de informação Bayesiano
description Dissertação (mestrado) — Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Estatística, 2024.
publishDate 2024
dc.date.none.fl_str_mv 2024-12-09T19:28:40Z
2024-12-09T19:28:40Z
2024-12-09
2024-06-13
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv REIS, João Gabriel Rodrigues. Multiobjective bayesian optimization to enhance computational efficiency in neural network models. 2024. 48 f., il. Dissertação (Mestrado em Estatística) — Universidade de Brasília, Brasília, 2024.
http://repositorio.unb.br/handle/10482/51119
identifier_str_mv REIS, João Gabriel Rodrigues. Multiobjective bayesian optimization to enhance computational efficiency in neural network models. 2024. 48 f., il. Dissertação (Mestrado em Estatística) — Universidade de Brasília, Brasília, 2024.
url http://repositorio.unb.br/handle/10482/51119
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Repositório Institucional da UnB
instname:Universidade de Brasília (UnB)
instacron:UNB
instname_str Universidade de Brasília (UnB)
instacron_str UNB
institution UNB
reponame_str Repositório Institucional da UnB
collection Repositório Institucional da UnB
repository.name.fl_str_mv Repositório Institucional da UnB - Universidade de Brasília (UnB)
repository.mail.fl_str_mv repositorio@unb.br
_version_ 1839083814817628160

Registros relacionados