Compressão de redes neurais profundas e estratégia de destilação de dados no contexto de representações tempo-frequenciais.

• Ano de defesa: 2024
• Autor(a) principal: Pereira, Pedro Henrique
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Biblioteca Digitais de Teses e Dissertacoes da USP; Universidade de São Paulo; Escola Politécnica
• Palavras-chave em Português: Aprendizado computacional; Aprendizagem profunda; Quantização; Destilação de dados; Poda; Pruning; Machine learning; Deep learning; Data distillation; Quantization
• Link de acesso: https://teses.usp.br/teses/disponiveis/3/3142/tde-29042026-080427/

O reconhecimento de palavras-chave (Keyword Spotting System - KWS), ou palavras isoladas, tem sido objeto de pesquisa nos últimos anos, dada a crescente popularidade de sistemas embarcados para o reconhecimento de comandos de voz, como o Alexa da Amazon, Google Home, Siri da Apple, entre outros. O desempenho e o tempo de processamento são considerações cruciais nessas aplicações, especialmente em dispositivos com recursos limitados. Neste contexto, este trabalho propõe uma abordagem para o reconhecimento de palavras-chave utilizando modelos de aprendizagem profunda, explorando dois escopos distintos. A primeira etapa deste estudo concentra-se na avaliação de redes neurais profundas para classificar áudios em ambientes ruidosos, explorando as técnicas de poda e quantização em arquiteturas de redes neurais já treinadas. Essas técnicas visam aprimorar o desempenho computacional, reduzindo tanto o tempo de inferência quanto o tamanho dos modelos, sem comprometer a qualidade das previsões. Demonstrou-se a eficácia dessas abordagens ao alcançar uma acurácia de 94,6% com 80% dos pesos podados na arquitetura SquezeeNet. Além disso, a quantização dos pesos resultou em uma melhoria de 66% no tempo de inferência. Esses resultados indicam avanços significativos, com métricas de desempenho comparáveis aos modelos originais, ressaltando a viabilidade dessa estratégia para implementações em sistemas embarcados. Na segunda etapa, a pesquisa explora a técnica de destilação de dados (dataset distillation) com o método de trajetória de gradientes. Essa abordagem tem como objetivo reduzir o conjunto original de treinamento para um subconjunto menor, buscando simplificar o processo de treinamento de novos modelos. O conjunto de dados destilado retém informações-chave, ajudando o modelo a generalizar de forma eficaz, ao mesmo tempo em que pode reduzir a complexidade computacional e o tempo de treinamento. Os resultados apresentam evidências promissoras quanto à utilização de conjuntos de dados menores, no entanto, observaram-se desafios significativos em termos de generalização. Foi possível obter um conjunto de dados destilados de 30 exemplos por classe com a rede ConvNet, os quais atingiram 78% de acurácia ao serem treinados com a arquitetura AlexNet, representando um aumento de 18% em relação ao treinamento de 30 amostras aleatórias do conjunto original de dados nas mesmas condições das redes neurais. Entretanto, esse comportamento não convergiu para arquiteturas mais complexas, como é o caso da arquitetura DenseNet. Os resultados sugerem que a técnica de dataset distillation, embora apresente potencial para facilitar o treinamento em conjuntos de dados reduzidos, demanda uma análise mais aprofundada para superar as dificuldades de generalização.