Improving rare chord recognition through self-learning techniques and weak label generation

Detalhes bibliográficos
Ano de defesa: 2022
Autor(a) principal: Bortolozzo, Marcelo Cardoso
Orientador(a): Jung, Claudio Rosito
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: eng
Instituição de defesa: Não Informado pela instituição
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Reconhecimento automático de acordes
Focal loss
Auto-aprendizagem
Palavras-chave em Inglês:
Automatic chord recognition
Data imbalance
Weak labels
Sequential data
Cloud
Link de acesso: http://hdl.handle.net/10183/254363
Resumo: No contexto de Reconhecimento Automático de Acordes (ACR), o principal objetivo é o de extrair e classificar acordes musicais a partir de um dado sequencial (trechos de áudio). Essa é uma tarefa desafiadora, não somente quando desenvolvendo um classificador para ela, mas também quando rotulando seus dados, já que é necessária uma expertise em seu domínio para poder definí-lo, diferentemente de outras áreas, como reconhecimento de imagem. Isso resulta em um número limitado de conjuntos de dados disponíveis publicamente, e um número ainda mais limitado de amostras de acordes raros, gerando resultados enviesados em classificadores. Neste trabalho, al gumas técnicas para mitigar esse problema serão exploradas. Primeiro, uma função de loss modificada, conhecida como Focal Loss, será aplicada, buscando uma melhoria nessas classes mais raras. Em seguida, uma técnica de auto-aprendizagem do domínio de reconhecimento de imagem, conhecida como Noisy Student, será extendida ao domínio de áudio e aplicada ao problema de ACR. Além disso, uma extensão para essa mesma, utilizando um conjunto de dados com rótulos fracos e gerados automáticamente para aumentar a confiança do algoritmo de auto-aprendizagem, será proposta e aplicada. O algorítmo utilizado para a geração desse conjunto de da dos, com base em dados extraídos de comunidades online para acordes musicais, também será apresentado. Os experimentos realizados trouxeram ganhos significa tivos de performance para os acordes raros, também gerando um pequeno ganho na performance de acordes em geral.
id URGS_52620bdbc8660ed3853b3efdfeadd3c0
oai_identifier_str oai:www.lume.ufrgs.br:10183/254363
network_acronym_str URGS
network_name_str Biblioteca Digital de Teses e Dissertações da UFRGS
repository_id_str
spelling Bortolozzo, Marcelo CardosoJung, Claudio RositoSchramm, Rodrigo2023-02-08T05:01:17Z2022http://hdl.handle.net/10183/254363001161671No contexto de Reconhecimento Automático de Acordes (ACR), o principal objetivo é o de extrair e classificar acordes musicais a partir de um dado sequencial (trechos de áudio). Essa é uma tarefa desafiadora, não somente quando desenvolvendo um classificador para ela, mas também quando rotulando seus dados, já que é necessária uma expertise em seu domínio para poder definí-lo, diferentemente de outras áreas, como reconhecimento de imagem. Isso resulta em um número limitado de conjuntos de dados disponíveis publicamente, e um número ainda mais limitado de amostras de acordes raros, gerando resultados enviesados em classificadores. Neste trabalho, al gumas técnicas para mitigar esse problema serão exploradas. Primeiro, uma função de loss modificada, conhecida como Focal Loss, será aplicada, buscando uma melhoria nessas classes mais raras. Em seguida, uma técnica de auto-aprendizagem do domínio de reconhecimento de imagem, conhecida como Noisy Student, será extendida ao domínio de áudio e aplicada ao problema de ACR. Além disso, uma extensão para essa mesma, utilizando um conjunto de dados com rótulos fracos e gerados automáticamente para aumentar a confiança do algoritmo de auto-aprendizagem, será proposta e aplicada. O algorítmo utilizado para a geração desse conjunto de da dos, com base em dados extraídos de comunidades online para acordes musicais, também será apresentado. Os experimentos realizados trouxeram ganhos significa tivos de performance para os acordes raros, também gerando um pequeno ganho na performance de acordes em geral.In the context of Automatic Chord Recognition (ACR), the main goal is to extract and classify musical chords from sequential information (audio excerpts). It is a challenging task, not only when developing a classifier for it, but also when labelling its data. It requires a certain expertise in the domain when defining the ground truth for the data, unlike other tasks, such as object recognition. This results in a limited number of publicly available datasets and even more limited number of rare chord samples in general, resulting in a very biased performance by classifiers. In this work, some techniques to mitigate this issue will be explored. First, a modified loss function, known as focal loss will be applied, attempting to improve the performance of these rarer classes. Next, an image recognition training technique known as Noisy Student, which applies an iterative self-learning process to improve performance, will be modified for the audio domain and applied to the problem of ACR. Furthermore, an extension for this last technique using a weakly labeled generated ACR dataset for confidence boosting in the self-learning process will be proposed and applied. The dataset generation algorithm, based on data extracted from online musical chord communities will also be presented. The experiments performed showed significant improvements on the prediction accuracy of rare chords, while also slightly improving the overall accuracy for all chords in general. Keywords: Automatic chord recognition, data imbalance, self-learning, focal loss, weak labels, sequential data.application/pdfengReconhecimento automático de acordesFocal lossAuto-aprendizagemAutomatic chord recognitionData imbalanceWeak labelsSequential dataCloudImproving rare chord recognition through self-learning techniques and weak label generationMelhorando o reconhecimento de acordes raros através de técnicas de auto-aprendizagem e geração de rótulos fracos info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisUniversidade Federal do Rio Grande do SulInstituto de InformáticaPrograma de Pós-Graduação em ComputaçãoPorto Alegre, BR-RS2022mestradoinfo:eu-repo/semantics/openAccessreponame:Biblioteca Digital de Teses e Dissertações da UFRGSinstname:Universidade Federal do Rio Grande do Sul (UFRGS)instacron:UFRGSTEXT001161671.pdf.txt001161671.pdf.txtExtracted Texttext/plain130583http://www.lume.ufrgs.br/bitstream/10183/254363/2/001161671.pdf.txt2c0f16d99021095350839ca983695ffeMD52ORIGINAL001161671.pdfTexto completo (inglês)application/pdf1279215http://www.lume.ufrgs.br/bitstream/10183/254363/1/001161671.pdf43c11227dff499293adb22b8aec2f56bMD5110183/2543632023-03-05 03:23:07.548933oai:www.lume.ufrgs.br:10183/254363Biblioteca Digital de Teses e Dissertaçõeshttps://lume.ufrgs.br/handle/10183/2PUBhttps://lume.ufrgs.br/oai/requestlume@ufrgs.br||lume@ufrgs.bropendoar:18532023-03-05T06:23:07Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)false
dc.title.pt_BR.fl_str_mv Improving rare chord recognition through self-learning techniques and weak label generation
dc.title.alternative.pt.fl_str_mv Melhorando o reconhecimento de acordes raros através de técnicas de auto-aprendizagem e geração de rótulos fracos
title Improving rare chord recognition through self-learning techniques and weak label generation
spellingShingle Improving rare chord recognition through self-learning techniques and weak label generation
Bortolozzo, Marcelo Cardoso
Reconhecimento automático de acordes
Focal loss
Auto-aprendizagem
Automatic chord recognition
Data imbalance
Weak labels
Sequential data
Cloud
title_short Improving rare chord recognition through self-learning techniques and weak label generation
title_full Improving rare chord recognition through self-learning techniques and weak label generation
title_fullStr Improving rare chord recognition through self-learning techniques and weak label generation
title_full_unstemmed Improving rare chord recognition through self-learning techniques and weak label generation
title_sort Improving rare chord recognition through self-learning techniques and weak label generation
author Bortolozzo, Marcelo Cardoso
author_facet Bortolozzo, Marcelo Cardoso
author_role author
dc.contributor.author.fl_str_mv Bortolozzo, Marcelo Cardoso
dc.contributor.advisor1.fl_str_mv Jung, Claudio Rosito
dc.contributor.advisor-co1.fl_str_mv Schramm, Rodrigo
contributor_str_mv Jung, Claudio Rosito
Schramm, Rodrigo
dc.subject.por.fl_str_mv Reconhecimento automático de acordes
Focal loss
Auto-aprendizagem
topic Reconhecimento automático de acordes
Focal loss
Auto-aprendizagem
Automatic chord recognition
Data imbalance
Weak labels
Sequential data
Cloud
dc.subject.eng.fl_str_mv Automatic chord recognition
Data imbalance
Weak labels
Sequential data
Cloud
description No contexto de Reconhecimento Automático de Acordes (ACR), o principal objetivo é o de extrair e classificar acordes musicais a partir de um dado sequencial (trechos de áudio). Essa é uma tarefa desafiadora, não somente quando desenvolvendo um classificador para ela, mas também quando rotulando seus dados, já que é necessária uma expertise em seu domínio para poder definí-lo, diferentemente de outras áreas, como reconhecimento de imagem. Isso resulta em um número limitado de conjuntos de dados disponíveis publicamente, e um número ainda mais limitado de amostras de acordes raros, gerando resultados enviesados em classificadores. Neste trabalho, al gumas técnicas para mitigar esse problema serão exploradas. Primeiro, uma função de loss modificada, conhecida como Focal Loss, será aplicada, buscando uma melhoria nessas classes mais raras. Em seguida, uma técnica de auto-aprendizagem do domínio de reconhecimento de imagem, conhecida como Noisy Student, será extendida ao domínio de áudio e aplicada ao problema de ACR. Além disso, uma extensão para essa mesma, utilizando um conjunto de dados com rótulos fracos e gerados automáticamente para aumentar a confiança do algoritmo de auto-aprendizagem, será proposta e aplicada. O algorítmo utilizado para a geração desse conjunto de da dos, com base em dados extraídos de comunidades online para acordes musicais, também será apresentado. Os experimentos realizados trouxeram ganhos significa tivos de performance para os acordes raros, também gerando um pequeno ganho na performance de acordes em geral.
publishDate 2022
dc.date.issued.fl_str_mv 2022
dc.date.accessioned.fl_str_mv 2023-02-08T05:01:17Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://hdl.handle.net/10183/254363
dc.identifier.nrb.pt_BR.fl_str_mv 001161671
url http://hdl.handle.net/10183/254363
identifier_str_mv 001161671
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.source.none.fl_str_mv reponame:Biblioteca Digital de Teses e Dissertações da UFRGS
instname:Universidade Federal do Rio Grande do Sul (UFRGS)
instacron:UFRGS
instname_str Universidade Federal do Rio Grande do Sul (UFRGS)
instacron_str UFRGS
institution UFRGS
reponame_str Biblioteca Digital de Teses e Dissertações da UFRGS
collection Biblioteca Digital de Teses e Dissertações da UFRGS
bitstream.url.fl_str_mv http://www.lume.ufrgs.br/bitstream/10183/254363/2/001161671.pdf.txt
http://www.lume.ufrgs.br/bitstream/10183/254363/1/001161671.pdf
bitstream.checksum.fl_str_mv 2c0f16d99021095350839ca983695ffe
43c11227dff499293adb22b8aec2f56b
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Biblioteca Digital de Teses e Dissertações da UFRGS - Universidade Federal do Rio Grande do Sul (UFRGS)
repository.mail.fl_str_mv lume@ufrgs.br||lume@ufrgs.br
_version_ 1831316149715861504

Registros relacionados