An investigation of neural architecture search in the context of deep multi-task learning.

• Ano de defesa: 2024
• Autor(a) principal: GADELHA, Guilherme Monteiro.
• Orientador(a): GOMES, Herman Martins. , BATISTA, Leonardo Vidal.
• Banca de defesa: ARAÚJO , Tiago Maritan Ugulino de., PAIVA , Anselmo Cardoso de., MARINHO , Leandro Balby., PEREIRA , Eanes Torres.
• Tipo de documento: Tese
• Tipo de acesso: Acesso aberto
• Idioma: eng
• Instituição de defesa: Universidade Federal de Campina Grande
• Programa de Pós-Graduação: PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO
• Departamento: Centro de Engenharia Elétrica e Informática - CEEI
• País: Brasil
• Palavras-chave em Português: Neural architecture search; Multi-task learning; Image classification; Pesquisa de arquitetura neural; Aprendizagem multitarefa; Classificação de imagens
• Área do conhecimento CNPq: Ciência da Computação.
• Link de acesso: https://dspace.sti.ufcg.edu.br/handle/riufcg/36528

O aprendizado multitarefa (MTL) é um paradigma de design para redes neurais que visa melhorar a generalização enquanto resolve múltiplas tarefas simultaneamente em uma única rede. A MTL tem tido sucesso em vários campos, como Processamento de Linguagem Natural, Reconhecimento de Fala, Visão Computacional e Descoberta de Medicamentos. Neural Architecture Search (NAS) é um subcampo do Deep Learning que propõe métodos para projetar redes neurais automaticamente, pesquisando e organizando camadas e blocos para maximizar uma função objetivo. Atualmente, existem poucos métodos na literatura que exploram o uso de NAS para construção de redes MTL. Neste contexto, este trabalho investiga uma sequência de experimentos comparativos entre redes multitarefa, redes monotarefa e redes criadas com uma estratégia de busca de arquitetura neural. Esses experimentos visam compreender melhor as diferenças entre esses paradigmas de projeto de redes neurais e comparar os resultados alcançados por cada um. Investigamos arquiteturas de redes neurais para diferentes casos de uso, como o conjunto de dados ICAO-FVC, conjuntos de dados MNIST, FASHION-MNIST, Celeb-A e CIFAR-10. Além disso, testamos um conjunto de dados bem estabelecido de NAS para avaliar novos métodos propostos em campo. Nossos experimentos revelaram que a técnica NAS, desenvolvida através do Reinforcement Learning, é capaz de descobrir arquiteturas ótimas em um tempo menor do que a atual técnica de última geração baseada na Evolução Regularizada. Além disso, esta técnica demonstrou resultados competitivos em vários conjuntos de dados de aprendizagem multitarefa, em termos de acurácia e equal error rate. Embora possa não ter o melhor desempenho no caso do ICAO-FVC, ainda oferece um resultado competitivo e tem o potencial de descobrir arquiteturas ainda melhores do que a melhor feita à mão.