Testes de hipóteses para a seleção de modelos de aprendizado de máquina

• Ano de defesa: 2025
• Autor(a) principal: Giordani, Luiz Guilherme
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Biblioteca Digitais de Teses e Dissertações da USP
• Palavras-chave em Português: Aprendizado de máquina; Bootstrap; Estatística; Hypothesis Tests; Machine Learning; Permutação; Permutation; Statistics; Teste de hipóteses
• Link de acesso: https://www.teses.usp.br/teses/disponiveis/55/55137/tde-28052025-150709/

O processo de criação de um modelo de aprendizado de máquina é um estudo estatístico por natureza. As diferentes etapas do processo como o teste de diferentes modelos, a seleção de hiperparâmetros e de caractéristicas (traduzido do inglês features) produzem medidas de avaliação que quantificam a qualidade dos modelos auxiliando o cientista de dados a tomar decisões sobre o desenvolvimento do seu projeto. Embora esse processo esteja ligado à estatística, o que se observa tanto na indústria como na academia é esses experimentos utilizarem pouco das ferramentas dessa área da ciência. Isso é especialmente relevante considerando que a estatística, sendo a ciência da tomada de decisão sob incerteza, oferece métodos que incorporam a incerteza das medidas utilizadas na tomada de decisão, essa geralmente medida pela variância. Um exemplo desses métodos é o teste de hipóteses que no contexto de aprendizado de máquina visam aplicar a incerteza ao redor dos dados e dos próprios modelos no processo de seleção dos mesmos. Dito isso, o trabalho tem o objetivo de revisitar os principais testes de hipóteses já apresentados na literatura que possuem o objetivo de selecionar modelos de aprendizado de máquina, assim como explorar abordagens mais modernas, baseadas em Bootstrap e permutação. Após apresentados os testes, realizamos estudos de simulação para aferir a qualidade dos testes em retornar a decisão correta, ou seja, a de evitar erros do tipo I e do tipo II respectivamente.