Otimização de hiperparâmetros de modelos machine learning com BarySearch. - Pellicer, Lucas Francisco Amaral Orosco (2020)
Obter bons desempenhos de modelos de aprendizado de máquina geralmente requer que os hiperparâmetros sejam ajustados. Entretanto, é complicado encontrar uma função matemática bem definida entre os valores do hiperparâmetro e o desempenho do modelo. A coleta de valores de desempenho do modelo é cara e ainda o comportamento das funções de desempenho tende a ser imprevisível, com muitas regiões de oscilação ou mesmo regiões descontínuas. Além disso os hiperparâmetros podem ser contínuos, discretos, categóricos ou condicionais, o que torna o problema de ajuste de hiperparâmetros complexo. Muitas técnicas foram desenvolvidas para solucionar esse problema. Neste trabalho, é apresentada a técnica BarySearch: um método livre de derivação com baixo custo computacional. Essa técnica apresenta um bom compromisso entre resultado e esforço de execução. O BarySearch utiliza do método do baricentro já utilizado em sintonização de controladores. O método apresenta características de convergências interessantes e pode comportar similar a um gradiente descendente ou métodos evolucionários sob suposições razoáveis.