Cyclic co-teaching and optimized baselines for robust deep learning with noisy labels

Detalhes bibliográficos
Ano de defesa: 2025
Autor(a) principal: Kamassury, Jorge Kysnney Santos
Orientador(a): Silva, Danilo
Banca de defesa: Não Informado pela instituição
Tipo de documento: Tese
Tipo de acesso: Acesso aberto
Idioma: eng
Instituição de defesa: Não Informado pela instituição
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Link de acesso: https://repositorio.ufsc.br/handle/123456789/270466
Resumo: Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia Elétrica, Florianópolis, 2025.
id UFSC_effb8470e5e618c3ddd88800b23c7b50
oai_identifier_str oai:repositorio.ufsc.br:123456789/270466
network_acronym_str UFSC
network_name_str Repositório Institucional da UFSC
repository_id_str
spelling Universidade Federal de Santa CatarinaKamassury, Jorge Kysnney SantosSilva, Danilo2025-12-03T23:32:01Z2025-12-03T23:32:01Z2025394887https://repositorio.ufsc.br/handle/123456789/270466Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia Elétrica, Florianópolis, 2025.Redes neurais profundas exibem notável capacidade de aprendizado e generalização em tarefas complexas, mas são particularmente suscetíveis à memorização de rótulos incorretos, o que compromete seu desempenho. Conjuntos de dados em larga escala frequentemente contêm anotações imprecisas, devido à qualidade dos dados brutos, à complexidade da rotulação ou às variações no julgamento dos anotadores, tornando o aprendizado com rótulos ruidosos um desafio central em aprendizado profundo. Entre os métodos existentes para mitigar o efeito do ruído de rótulo, o Co-Teaching se destaca por treinar dois modelos em paralelo, permitindo a identificação mútua de amostras potencialmente ruidosas por meio da seleção cruzada. No entanto, o método ainda apresenta risco de acúmulo de erros, e certas estratégias de retenção e de decaimento da taxa de aprendizado podem reforçar esse problema, favorecendo o overfitting. Para abordar essas limitações, desenvolvemos o Cyclic Co-Teaching (CCT), que reduz o risco de overfitting por meio de modulações cíclicas na taxa de aprendizado e na retenção de amostras: variações periódicas que estabelecem uma dinâmica alternante entre fases de especialização (aprendizado intensivo) e consolidação (estabilização do conhecimento). Inicialmente, analisamos como diferentes valores da taxa de aprendizado (baixos, intermediários e altos) afetam a robustez de modelos vanilla (treinados sem mecanismos específicos para mitigação do ruído) frente a rótulos ruidosos, revelando que taxas intermediárias favorecem a discriminação entre amostras limpas e ruidosas, enquanto taxas muito baixas resultam em discriminação insuficiente e taxas muito altas geram instabilidade. Em seguida, usando o framework Co-Teaching, investigamos os efeitos das modulações cíclicas de aprendizado e retenção sobre métricas de generalização e consistência entre modelos, consolidando o framework CCT para aproveitar essas variações de robustez. Por fim, propomos uma abordagem de otimização univariada em duas etapas para o ajuste eficiente dos hiperparâmetros do método. Os resultados demonstram que o CCT supera consistentemente métodos do estado da arte em conjuntos sintéticos (CIFAR-10, CIFAR-100, Tiny-ImageNet) e reais (Animal-10N, Food-101N, Clothing1M), com ganhos expressivos, especialmente em cenários de alta taxa de ruído. Além disso, verificou-se que a otimização adequada dos modelos vanilla não apenas superou consistentemente os resultados previamente reportados na literatura para esses mesmos modelos, mas, em vários casos, alcançou desempenho superior até mesmo a métodos específicos de aprendizado com rótulos ruidosos. Esses achados reforçam a importância de estabelecer linhas de base robustas e sugerem que parte das melhorias frequentemente atribuídas a técnicas especializadas pode, na realidade, decorrer de diferenças metodológicas e de configurações de treinamento subótimas.Abstract: Deep neural networks exhibit remarkable learning and generalization capabilities in complex tasks but are particularly susceptible to memorizing incorrect labels, which compromises their performance. Large-scale datasets often contain inaccurate annotations due to raw data quality, labeling complexity, or variations in annotators? judgment, making learning with noisy labels a central challenge in deep learning. Among existing methods to mitigate the effect of label noise, Co-Teaching stands out by training two models in parallel, enabling the mutual identification of potentially noisy samples through cross-selection. However, the method still presents a risk of error accumulation, and certain retention strategies and learning rate decay schedules can reinforce this problem, favoring overfitting. To address these limitations, we developed Cyclic Co-Teaching (CCT), which reduces the risk of overfitting through cyclic modulations of the learning rate and sample retention ? periodic variations that establish an alternating dynamic between specialization phases (intensive learning) and consolidation phases (knowledge stabilization). Initially, we analyzed how different learning rate values (low, intermediate, and high) affect the robustness of vanilla models (trained without specific noise-mitigation mechanisms) under noisy labels, revealing that intermediate rates favor discrimination between clean and noisy samples, while very low rates lead to insufficient discrimination and very high rates cause instability. Next, within the Co-Teaching framework, we investigated the effects of cyclic modulations of learning and retention on generalization and inter-model consistency metrics, consolidating the CCT framework to leverage these robustness variations. Finally, we propose a two-step univariate optimization approach for efficient hyperparameter tuning. The results demonstrate that CCT consistently outperforms state-of-the-art methods on synthetic datasets (CIFAR-10, CIFAR-100, Tiny-ImageNet) and real-world datasets (Animal-10N, Food-101N, Clothing1M), with significant gains, particularly in high-noise scenarios. Moreover, proper optimization of vanilla models not only consistently surpassed previously reported results for the same models in the literature but, in several cases, achieved superior performance even compared to specialized noisy-label learning methods. These findings reinforce the importance of establishing strong baselines and suggest that part of the improvements often attributed to specialized techniques may, in fact, stem from methodological differences and suboptimal training configurations.118 p.| il., gráfs.engEngenharia elétricaRedes neurais (Computação)Aprendizado profundo (aprendizado do computador)Cyclic co-teaching and optimized baselines for robust deep learning with noisy labelsinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisreponame:Repositório Institucional da UFSCinstname:Universidade Federal de Santa Catarina (UFSC)instacron:UFSCinfo:eu-repo/semantics/openAccessORIGINALPEEL2264-T.pdfPEEL2264-T.pdfapplication/pdf5179290https://repositorio.ufsc.br/bitstream/123456789/270466/-1/PEEL2264-T.pdf14e315b37b26e228d23e8a614ad3257fMD5-1123456789/2704662025-12-03 20:32:02.07oai:repositorio.ufsc.br:123456789/270466Repositório InstitucionalPUBhttp://150.162.242.35/oai/requestsandra.sobrera@ufsc.bropendoar:23732025-12-03T23:32:02Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)false
dc.title.none.fl_str_mv Cyclic co-teaching and optimized baselines for robust deep learning with noisy labels
title Cyclic co-teaching and optimized baselines for robust deep learning with noisy labels
spellingShingle Cyclic co-teaching and optimized baselines for robust deep learning with noisy labels
Kamassury, Jorge Kysnney Santos
Engenharia elétrica
Redes neurais (Computação)
Aprendizado profundo (aprendizado do computador)
title_short Cyclic co-teaching and optimized baselines for robust deep learning with noisy labels
title_full Cyclic co-teaching and optimized baselines for robust deep learning with noisy labels
title_fullStr Cyclic co-teaching and optimized baselines for robust deep learning with noisy labels
title_full_unstemmed Cyclic co-teaching and optimized baselines for robust deep learning with noisy labels
title_sort Cyclic co-teaching and optimized baselines for robust deep learning with noisy labels
author Kamassury, Jorge Kysnney Santos
author_facet Kamassury, Jorge Kysnney Santos
author_role author
dc.contributor.none.fl_str_mv Universidade Federal de Santa Catarina
dc.contributor.author.fl_str_mv Kamassury, Jorge Kysnney Santos
dc.contributor.advisor1.fl_str_mv Silva, Danilo
contributor_str_mv Silva, Danilo
dc.subject.classification.none.fl_str_mv Engenharia elétrica
Redes neurais (Computação)
Aprendizado profundo (aprendizado do computador)
topic Engenharia elétrica
Redes neurais (Computação)
Aprendizado profundo (aprendizado do computador)
description Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia Elétrica, Florianópolis, 2025.
publishDate 2025
dc.date.accessioned.fl_str_mv 2025-12-03T23:32:01Z
dc.date.available.fl_str_mv 2025-12-03T23:32:01Z
dc.date.issued.fl_str_mv 2025
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://repositorio.ufsc.br/handle/123456789/270466
dc.identifier.other.none.fl_str_mv 394887
identifier_str_mv 394887
url https://repositorio.ufsc.br/handle/123456789/270466
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 118 p.| il., gráfs.
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFSC
instname:Universidade Federal de Santa Catarina (UFSC)
instacron:UFSC
instname_str Universidade Federal de Santa Catarina (UFSC)
instacron_str UFSC
institution UFSC
reponame_str Repositório Institucional da UFSC
collection Repositório Institucional da UFSC
bitstream.url.fl_str_mv https://repositorio.ufsc.br/bitstream/123456789/270466/-1/PEEL2264-T.pdf
bitstream.checksum.fl_str_mv 14e315b37b26e228d23e8a614ad3257f
bitstream.checksumAlgorithm.fl_str_mv MD5
repository.name.fl_str_mv Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)
repository.mail.fl_str_mv sandra.sobrera@ufsc.br
_version_ 1851759031142580224

Registros relacionados