RRPN Data-Centric: Potencializando a fusão radar-câmera com supervisão 2D de alta fidelidade

Detalhes bibliográficos
Ano de defesa: 2026
Autor(a) principal: MELO, Émerson Guilherme Lourenço de
Orientador(a): SILVA FILHO, Abel Guilhermino da
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Federal de Pernambuco
Programa de Pós-Graduação: Programa de Pos Graduacao em Ciencia da Computacao
Departamento: Não Informado pela instituição
País: Brasil
Palavras-chave em Português:
Link de acesso: https://repositorio.ufpe.br/handle/123456789/71250
Resumo: A percepção robusta do ambiente é um requisito fundamental para sistemas de direção autô- noma. Nesse contexto, a fusão entre sensores de radar e câmera destaca-se por combinar a riqueza de informações visuais das imagens com a capacidade do radar de operar de forma con- fiável em condições climáticas adversas. Entretanto, métodos de detecção multimodal ainda apresentam limitações relacionadas à qualidade dos dados utilizados durante o treinamento. Um exemplo é a Radar Region Proposal Network (RRPN), método de detecção em duas eta- pas treinado com o dataset nuScenes, uma das principais bases públicas para pesquisa em direção autônoma. Nesse conjunto de dados, as anotações bidimensionais são obtidas pela projeção de caixas delimitadoras tridimensionais sobre o plano da imagem, processo que pode introduzir desalinhamentos e ruídos capazes de comprometer o aprendizado do modelo. Para superar essa limitação, este trabalho adota uma abordagem centrada em dados (data-centric), priorizando a melhoria da qualidade da supervisão em vez de modificações na arquitetura da rede. A principal contribuição consiste na substituição dessas projeções geométricas por anota- ções bidimensionais de alta fidelidade geradas automaticamente pelo detector RF-DETR. Além disso, a arquitetura original da RRPN foi modernizada por meio da migração de frameworks deprecados para realizar a integração de backbones convolucionais modernos, como ResNeXt, WideResNet e EfficientNet. Os experimentos realizados no dataset nuScenes demonstraram ganhos expressivos em todas as configurações avaliadas. O melhor modelo, combinando o back- bone ResNeXt-152 às anotações produzidas pelo RF-DETR-Large, alcançou 58,28 de Average Precision (AP), representando um aumento relativo de 64,2% em relação ao resultado original da RRPN. Melhorias significativas também foram observadas nas métricas AP50 e AP75 para diferentes classes de objetos, indicando maior precisão na localização dos alvos. Esses resulta- dos demonstram que o aprimoramento da qualidade dos dados de treinamento constitui uma estratégia eficaz para elevar o desempenho de sistemas de percepção multimodal.
id UFPE_af35f046cd24ad55a8fac785aa2aa437
oai_identifier_str oai:attena.ufpe.br:123456789/71250
network_acronym_str UFPE
network_name_str Repositório Institucional da UFPE
repository_id_str
spelling MELO, Émerson Guilherme Lourenço dehttp://lattes.cnpq.br/4436912455433236http://lattes.cnpq.br/8983932189780223https://orcid.org/0009-0008-4240-7518https://orcid.org/0000-0002-7876-2756REN, Tsang Ing RenCORDEIRO, Filipe Rolimhttp://lattes.cnpq.br/3084134533707587http://lattes.cnpq.br/4807739914511076https://orcid.org/0000-0002-3677-0264https://orcid.org/0000-0001-5582-8436SILVA FILHO, Abel Guilhermino da2026-10-05T12:30:41Z2026-10-05T12:30:41Z2026-07-22MELO, Emerson Guilherme Lourenco de. RRPN Data-Centric: Potencializando a fusão radar-câmera com supervisão 2D de alta fidelidade. 2026. Dissertação (Mestrado em Ciências da Computação) – Universidade Federal de Pernambuco, Recife, 2026.https://repositorio.ufpe.br/handle/123456789/71250A percepção robusta do ambiente é um requisito fundamental para sistemas de direção autô- noma. Nesse contexto, a fusão entre sensores de radar e câmera destaca-se por combinar a riqueza de informações visuais das imagens com a capacidade do radar de operar de forma con- fiável em condições climáticas adversas. Entretanto, métodos de detecção multimodal ainda apresentam limitações relacionadas à qualidade dos dados utilizados durante o treinamento. Um exemplo é a Radar Region Proposal Network (RRPN), método de detecção em duas eta- pas treinado com o dataset nuScenes, uma das principais bases públicas para pesquisa em direção autônoma. Nesse conjunto de dados, as anotações bidimensionais são obtidas pela projeção de caixas delimitadoras tridimensionais sobre o plano da imagem, processo que pode introduzir desalinhamentos e ruídos capazes de comprometer o aprendizado do modelo. Para superar essa limitação, este trabalho adota uma abordagem centrada em dados (data-centric), priorizando a melhoria da qualidade da supervisão em vez de modificações na arquitetura da rede. A principal contribuição consiste na substituição dessas projeções geométricas por anota- ções bidimensionais de alta fidelidade geradas automaticamente pelo detector RF-DETR. Além disso, a arquitetura original da RRPN foi modernizada por meio da migração de frameworks deprecados para realizar a integração de backbones convolucionais modernos, como ResNeXt, WideResNet e EfficientNet. Os experimentos realizados no dataset nuScenes demonstraram ganhos expressivos em todas as configurações avaliadas. O melhor modelo, combinando o back- bone ResNeXt-152 às anotações produzidas pelo RF-DETR-Large, alcançou 58,28 de Average Precision (AP), representando um aumento relativo de 64,2% em relação ao resultado original da RRPN. Melhorias significativas também foram observadas nas métricas AP50 e AP75 para diferentes classes de objetos, indicando maior precisão na localização dos alvos. Esses resulta- dos demonstram que o aprimoramento da qualidade dos dados de treinamento constitui uma estratégia eficaz para elevar o desempenho de sistemas de percepção multimodal.Robust environmental perception is a fundamental requirement for autonomous driving sys- tems. In this context, radar-camera sensor fusion has emerged as a promising approach by combining the rich semantic information provided by camera images with the robustness of radar under adverse weather conditions. However, multimodal object detection methods still face limitations related to the quality of the training data. One example is the Radar Region Proposal Network (RRPN), a two-stage object detection method trained on the nuScenes dataset, one of the leading public benchmarks for autonomous driving research. In this dataset, two-dimensional annotations are obtained by projecting three-dimensional bounding boxes onto the image plane, a process that may introduce misalignments and noise capable of impair- ing the model’s learning process. To overcome this limitation, this work adopts a data-centric approach, prioritizing improvements in supervision quality rather than modifications to the net- work architecture. The main contribution consists of replacing these geometric projections with high-fidelity two-dimensional annotations automatically generated by the RF-DETR detector. In addition, the original RRPN architecture was modernized by migrating from deprecated frameworks to enable the integration of modern convolutional backbones, including ResNeXt, WideResNet, and EfficientNet. Experiments conducted on the nuScenes dataset demonstrated substantial improvements across all evaluated configurations. The best-performing model, combining the ResNeXt-152 backbone with the annotations generated by RF-DETR-Large, achieved an Average Precision (AP) of 58.28, representing a relative improvement of 64.2% over the original RRPN. Significant improvements were also observed in the AP50 and AP75 metrics across different object classes, indicating higher localization accuracy. These results demonstrate that improving the quality of training data is an effective strategy for enhancing the performance of multimodal perception systems.porUniversidade Federal de PernambucoPrograma de Pos Graduacao em Ciencia da ComputacaoUFPEBrasilhttps://creativecommons.org/licenses/by-nc-nd/4.0/info:eu-repo/semantics/openAccessFusão de SensoresPercepção veicularDeep learningVisão computacionalFunções ADASRRPN Data-Centric: Potencializando a fusão radar-câmera com supervisão 2D de alta fidelidadeinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesismestradoreponame:Repositório Institucional da UFPEinstname:Universidade Federal de Pernambuco (UFPE)instacron:UFPEORIGINALDISSERTAÇÃO Emerson Guilherme Lourenco de Melo.pdfDISSERTAÇÃO Emerson Guilherme Lourenco de Melo.pdfapplication/pdf21018229https://attena.ufpe.br/bitstream/123456789/71250/1/DISSERTA%c3%87%c3%83O%20Emerson%20Guilherme%20Lourenco%20de%20Melo.pdf45a2ac19149cf39649db7ab51b32eaceMD51LICENSElicense.txtlicense.txttext/plain; charset=utf-82379https://attena.ufpe.br/bitstream/123456789/71250/2/license.txtb7489d4e327029c4d04d213294bf53f2MD52123456789/712502026-10-05 09:30:52.745oai:attena.ufpe.br:123456789/71250VGVybW8gZGUgRGVww7NzaXRvIExlZ2FsIGUgQXV0b3JpemHDp8OjbyBwYXJhIFB1YmxpY2l6YcOnw6NvIGRlIERvY3VtZW50b3Mgbm8gUmVwb3NpdMOzcmlvIERpZ2l0YWwgZGEgVUZQRQoKCkRlY2xhcm8gZXN0YXIgY2llbnRlIGRlIHF1ZSBlc3RlIFRlcm1vIGRlIERlcMOzc2l0byBMZWdhbCBlIEF1dG9yaXphw6fDo28gdGVtIG8gb2JqZXRpdm8gZGUgZGl2dWxnYcOnw6NvIGRvcyBkb2N1bWVudG9zIGRlcG9zaXRhZG9zIG5vIFJlcG9zaXTDs3JpbyBEaWdpdGFsIGRhIFVGUEUgZSBkZWNsYXJvIHF1ZToKCkkgLSBvcyBkYWRvcyBwcmVlbmNoaWRvcyBubyBmb3JtdWzDoXJpbyBkZSBkZXDDs3NpdG8gc8OjbyB2ZXJkYWRlaXJvcyBlIGF1dMOqbnRpY29zOwoKSUkgLSAgbyBjb250ZcO6ZG8gZGlzcG9uaWJpbGl6YWRvIMOpIGRlIHJlc3BvbnNhYmlsaWRhZGUgZGUgc3VhIGF1dG9yaWE7CgpJSUkgLSBvIGNvbnRlw7pkbyDDqSBvcmlnaW5hbCwgZSBzZSBvIHRyYWJhbGhvIGUvb3UgcGFsYXZyYXMgZGUgb3V0cmFzIHBlc3NvYXMgZm9yYW0gdXRpbGl6YWRvcywgZXN0YXMgZm9yYW0gZGV2aWRhbWVudGUgcmVjb25oZWNpZGFzOwoKSVYgLSBxdWFuZG8gdHJhdGFyLXNlIGRlIG9icmEgY29sZXRpdmEgKG1haXMgZGUgdW0gYXV0b3IpOiB0b2RvcyBvcyBhdXRvcmVzIGVzdMOjbyBjaWVudGVzIGRvIGRlcMOzc2l0byBlIGRlIGFjb3JkbyBjb20gZXN0ZSB0ZXJtbzsKClYgLSBxdWFuZG8gdHJhdGFyLXNlIGRlIFRyYWJhbGhvIGRlIENvbmNsdXPDo28gZGUgQ3Vyc28sIGRlIEVzcGVjaWFsaXphw6fDo28vUmVzaWTDqm5jaWEsIERpc3NlcnRhw6fDo28gb3UgVGVzZTogbyBhcnF1aXZvIGRlcG9zaXRhZG8gY29ycmVzcG9uZGUgw6AgdmVyc8OjbyBmaW5hbCBkbyB0cmFiYWxobzsKClZJIC0gcXVhbmRvIHRyYXRhci1zZSBkZSBUcmFiYWxobyBkZSBDb25jbHVzw6NvIGRlIEN1cnNvLCBEaXNzZXJ0YcOnw6NvIG91IFRlc2U6IGVzdG91IGNpZW50ZSBkZSBxdWUgYSBhbHRlcmHDp8OjbyBkYSBtb2RhbGlkYWRlIGRlIGFjZXNzbyBhbyBkb2N1bWVudG8gYXDDs3MgbyBkZXDDs3NpdG8gZSBhbnRlcyBkZSBmaW5kYXIgbyBwZXLDrW9kbyBkZSBlbWJhcmdvLCBxdWFuZG8gZm9yIGVzY29saGlkbyBhY2Vzc28gcmVzdHJpdG8sIHNlcsOhIHBlcm1pdGlkYSBtZWRpYW50ZSBzb2xpY2l0YcOnw6NvIGRvIChhKSBhdXRvciAoYSkgYW8gU2lzdGVtYSBJbnRlZ3JhZG8gZGUgQmlibGlvdGVjYXMgZGEgVUZQRSAoU0lCL1VGUEUpLgoKIApQYXJhIHRyYWJhbGhvcyBlbSBBY2Vzc28gQWJlcnRvOgoKTmEgcXVhbGlkYWRlIGRlIHRpdHVsYXIgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIGRlIGF1dG9yIHF1ZSByZWNhZW0gc29icmUgZXN0ZSBkb2N1bWVudG8sIGZ1bmRhbWVudGFkbyBuYSBMZWkgZGUgRGlyZWl0byBBdXRvcmFsIG5vIDkuNjEwLCBkZSAxOSBkZSBmZXZlcmVpcm8gZGUgMTk5OCwgYXJ0LiAyOSwgaW5jaXNvIElJSSwgYXV0b3Jpem8gYSBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBQZXJuYW1idWNvIGEgZGlzcG9uaWJpbGl6YXIgZ3JhdHVpdGFtZW50ZSwgc2VtIHJlc3NhcmNpbWVudG8gZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCBwYXJhIGZpbnMgZGUgbGVpdHVyYSwgaW1wcmVzc8OjbyBlL291IGRvd25sb2FkIChhcXVpc2nDp8OjbykgYXRyYXbDqXMgZG8gc2l0ZSBkbyBSZXBvc2l0w7NyaW8gRGlnaXRhbCBkYSBVRlBFIG5vIGVuZGVyZcOnbyBodHRwczovL2F0dGVuYS51ZnBlLmJyLCBhIHBhcnRpciBkYSBkYXRhIGRlIGRlcMOzc2l0by4KCiAKUGFyYSB0cmFiYWxob3MgZW0gQWNlc3NvIFJlc3RyaXRvOgoKTmEgcXVhbGlkYWRlIGRlIHRpdHVsYXIgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIGRlIGF1dG9yIHF1ZSByZWNhZW0gc29icmUgZXN0ZSBkb2N1bWVudG8sIGZ1bmRhbWVudGFkbyBuYSBMZWkgZGUgRGlyZWl0byBBdXRvcmFsIG5vIDkuNjEwIGRlIDE5IGRlIGZldmVyZWlybyBkZSAxOTk4LCBhcnQuIDI5LCBpbmNpc28gSUlJLCBhdXRvcml6byBhIFVuaXZlcnNpZGFkZSBGZWRlcmFsIGRlIFBlcm5hbWJ1Y28gYSBkaXNwb25pYmlsaXphciBncmF0dWl0YW1lbnRlLCBzZW0gcmVzc2FyY2ltZW50byBkb3MgZGlyZWl0b3MgYXV0b3JhaXMsIHBhcmEgZmlucyBkZSBsZWl0dXJhLCBpbXByZXNzw6NvIGUvb3UgZG93bmxvYWQgKGFxdWlzacOnw6NvKSBhdHJhdsOpcyBkbyBzaXRlIGRvIFJlcG9zaXTDs3JpbyBEaWdpdGFsIGRhIFVGUEUgbm8gZW5kZXJlw6dvIGh0dHBzOi8vYXR0ZW5hLnVmcGUuYnIsIHF1YW5kbyBmaW5kYXIgbyBwZXLDrW9kbyBkZSBlbWJhcmdvIGNvbmRpemVudGUgYW8gdGlwbyBkZSBkb2N1bWVudG8sIGNvbmZvcm1lIGluZGljYWRvIG5vIGNhbXBvIERhdGEgZGUgRW1iYXJnby4KRepositório InstitucionalPUBhttps://repositorio.ufpe.br/oai/requestattena@ufpe.bropendoar:22212026-10-05T12:30:52Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)false
dc.title.por.fl_str_mv RRPN Data-Centric: Potencializando a fusão radar-câmera com supervisão 2D de alta fidelidade
title RRPN Data-Centric: Potencializando a fusão radar-câmera com supervisão 2D de alta fidelidade
spellingShingle RRPN Data-Centric: Potencializando a fusão radar-câmera com supervisão 2D de alta fidelidade
MELO, Émerson Guilherme Lourenço de
Fusão de Sensores
Percepção veicular
Deep learning
Visão computacional
Funções ADAS
title_short RRPN Data-Centric: Potencializando a fusão radar-câmera com supervisão 2D de alta fidelidade
title_full RRPN Data-Centric: Potencializando a fusão radar-câmera com supervisão 2D de alta fidelidade
title_fullStr RRPN Data-Centric: Potencializando a fusão radar-câmera com supervisão 2D de alta fidelidade
title_full_unstemmed RRPN Data-Centric: Potencializando a fusão radar-câmera com supervisão 2D de alta fidelidade
title_sort RRPN Data-Centric: Potencializando a fusão radar-câmera com supervisão 2D de alta fidelidade
author MELO, Émerson Guilherme Lourenço de
author_facet MELO, Émerson Guilherme Lourenço de
author_role author
dc.contributor.authorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/4436912455433236
dc.contributor.advisorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/8983932189780223
dc.contributor.authorORCID.pt_BR.fl_str_mv https://orcid.org/0009-0008-4240-7518
dc.contributor.advisorORCID.pt_BR.fl_str_mv https://orcid.org/0000-0002-7876-2756
dc.contributor.referee.none.fl_str_mv REN, Tsang Ing Ren
CORDEIRO, Filipe Rolim
dc.contributor.refereeLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/3084134533707587
http://lattes.cnpq.br/4807739914511076
dc.contributor.refereeORCID.pt_BR.fl_str_mv https://orcid.org/0000-0002-3677-0264
https://orcid.org/0000-0001-5582-8436
dc.contributor.author.fl_str_mv MELO, Émerson Guilherme Lourenço de
dc.contributor.advisor1.fl_str_mv SILVA FILHO, Abel Guilhermino da
contributor_str_mv SILVA FILHO, Abel Guilhermino da
dc.subject.por.fl_str_mv Fusão de Sensores
Percepção veicular
Deep learning
Visão computacional
Funções ADAS
topic Fusão de Sensores
Percepção veicular
Deep learning
Visão computacional
Funções ADAS
description A percepção robusta do ambiente é um requisito fundamental para sistemas de direção autô- noma. Nesse contexto, a fusão entre sensores de radar e câmera destaca-se por combinar a riqueza de informações visuais das imagens com a capacidade do radar de operar de forma con- fiável em condições climáticas adversas. Entretanto, métodos de detecção multimodal ainda apresentam limitações relacionadas à qualidade dos dados utilizados durante o treinamento. Um exemplo é a Radar Region Proposal Network (RRPN), método de detecção em duas eta- pas treinado com o dataset nuScenes, uma das principais bases públicas para pesquisa em direção autônoma. Nesse conjunto de dados, as anotações bidimensionais são obtidas pela projeção de caixas delimitadoras tridimensionais sobre o plano da imagem, processo que pode introduzir desalinhamentos e ruídos capazes de comprometer o aprendizado do modelo. Para superar essa limitação, este trabalho adota uma abordagem centrada em dados (data-centric), priorizando a melhoria da qualidade da supervisão em vez de modificações na arquitetura da rede. A principal contribuição consiste na substituição dessas projeções geométricas por anota- ções bidimensionais de alta fidelidade geradas automaticamente pelo detector RF-DETR. Além disso, a arquitetura original da RRPN foi modernizada por meio da migração de frameworks deprecados para realizar a integração de backbones convolucionais modernos, como ResNeXt, WideResNet e EfficientNet. Os experimentos realizados no dataset nuScenes demonstraram ganhos expressivos em todas as configurações avaliadas. O melhor modelo, combinando o back- bone ResNeXt-152 às anotações produzidas pelo RF-DETR-Large, alcançou 58,28 de Average Precision (AP), representando um aumento relativo de 64,2% em relação ao resultado original da RRPN. Melhorias significativas também foram observadas nas métricas AP50 e AP75 para diferentes classes de objetos, indicando maior precisão na localização dos alvos. Esses resulta- dos demonstram que o aprimoramento da qualidade dos dados de treinamento constitui uma estratégia eficaz para elevar o desempenho de sistemas de percepção multimodal.
publishDate 2026
dc.date.accessioned.fl_str_mv 2026-10-05T12:30:41Z
dc.date.available.fl_str_mv 2026-10-05T12:30:41Z
dc.date.issued.fl_str_mv 2026-07-22
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv MELO, Emerson Guilherme Lourenco de. RRPN Data-Centric: Potencializando a fusão radar-câmera com supervisão 2D de alta fidelidade. 2026. Dissertação (Mestrado em Ciências da Computação) – Universidade Federal de Pernambuco, Recife, 2026.
dc.identifier.uri.fl_str_mv https://repositorio.ufpe.br/handle/123456789/71250
identifier_str_mv MELO, Emerson Guilherme Lourenco de. RRPN Data-Centric: Potencializando a fusão radar-câmera com supervisão 2D de alta fidelidade. 2026. Dissertação (Mestrado em Ciências da Computação) – Universidade Federal de Pernambuco, Recife, 2026.
url https://repositorio.ufpe.br/handle/123456789/71250
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv https://creativecommons.org/licenses/by-nc-nd/4.0/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv https://creativecommons.org/licenses/by-nc-nd/4.0/
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de Pernambuco
dc.publisher.program.fl_str_mv Programa de Pos Graduacao em Ciencia da Computacao
dc.publisher.initials.fl_str_mv UFPE
dc.publisher.country.fl_str_mv Brasil
publisher.none.fl_str_mv Universidade Federal de Pernambuco
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFPE
instname:Universidade Federal de Pernambuco (UFPE)
instacron:UFPE
instname_str Universidade Federal de Pernambuco (UFPE)
instacron_str UFPE
institution UFPE
reponame_str Repositório Institucional da UFPE
collection Repositório Institucional da UFPE
bitstream.url.fl_str_mv https://attena.ufpe.br/bitstream/123456789/71250/1/DISSERTA%c3%87%c3%83O%20Emerson%20Guilherme%20Lourenco%20de%20Melo.pdf
https://attena.ufpe.br/bitstream/123456789/71250/2/license.txt
bitstream.checksum.fl_str_mv 45a2ac19149cf39649db7ab51b32eace
b7489d4e327029c4d04d213294bf53f2
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)
repository.mail.fl_str_mv attena@ufpe.br
_version_ 1881120997309939712