Otimização Meta-Heurística para Regularização de Modelos de Aprendizado em Profundidade

• Ano de defesa: 2018
• Autor(a) principal: de Rosa, Gustavo Henrique [UNESP]
• Orientador(a): Papa, João Paulo [UNESP]
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Universidade Estadual Paulista (Unesp)
• Palavras-chave em Português: Aprendizado de máquina; Aprendizado em profundidade; Técnicas de regularização; Otimização meta-heurística
• Palavras-chave em Inglês: Machine learning; Deep learning; Regularization methods; Meta-heurstic optimization
• Link de acesso: http://hdl.handle.net/11449/155842

Arquiteturas de aprendizado em profundidade têm sido amplamente estudadas nos últimos anos, principalmente pelo seu alto poder discriminativo em muitos problemas considerados essenciais na área de visão computacional. Entretanto, um problema destes modelos diz res- peito ao grande número de parâmetros a serem ajustados, que podem chegar a milhares. Um outro ponto crítico está relacionado à necessidade de grandes bases de dados para treinar essas técnicas de aprendizado em profundidade, bem como a sua alta propensão ao chamado super-ajuste dos dados. Recentemente, a simplista ideia de desconectar neurônios ou conexões de uma rede, técnicas denominadas de Dropout e Dropconnect, respectivamente, tem se demonstrado muito eficazes e primordiais ao processo de aprendizado, embora ainda necessitem de uma escolha adequada de parâmetros. O presente projeto pretende identificar possíveis soluções para o problema mencionado por meio de técnicas de otimização meta-heurística, objetivando encontrar o número adequado do limiar de desligamento dos neurônios e conexões. Diferentes abordagens de aprendizado em profundidade, tais como, Máquinas de Boltzmann Restritas, Máquinas de Boltzmann em Profundidade, Redes de Crença em Profundidade, Redes Neurais Convolucionais; e diferentes meta-heurísticas, tais como, Algoritmo do Morcego, Algoritmo do Vagalume, Busca do Cuckoo, Otimização por Enxame de Partículas, foram utilizadas a fim de tentar solucionar este problema. Os resultados apresentados indicam uma possível tendência em utilizar a otimização meta-heurística para encontrar parâmetros mais adequados, os quais, consequentemente, auxiliam no processo de aprendizado e melhoria da arquitetura neural.