RRPN Data-Centric: Potencializando a fusão radar-câmera com supervisão 2D de alta fidelidade
| Ano de defesa: | 2026 |
|---|---|
| Autor(a) principal: | |
| Orientador(a): | |
| Banca de defesa: | |
| Tipo de documento: | Dissertação |
| Tipo de acesso: | Acesso aberto |
| Idioma: | por |
| Instituição de defesa: |
Universidade Federal de Pernambuco
|
| Programa de Pós-Graduação: |
Programa de Pos Graduacao em Ciencia da Computacao
|
| Departamento: |
Não Informado pela instituição
|
| País: |
Brasil
|
| Palavras-chave em Português: | |
| Link de acesso: | https://repositorio.ufpe.br/handle/123456789/71250 |
Resumo: | A percepção robusta do ambiente é um requisito fundamental para sistemas de direção autô- noma. Nesse contexto, a fusão entre sensores de radar e câmera destaca-se por combinar a riqueza de informações visuais das imagens com a capacidade do radar de operar de forma con- fiável em condições climáticas adversas. Entretanto, métodos de detecção multimodal ainda apresentam limitações relacionadas à qualidade dos dados utilizados durante o treinamento. Um exemplo é a Radar Region Proposal Network (RRPN), método de detecção em duas eta- pas treinado com o dataset nuScenes, uma das principais bases públicas para pesquisa em direção autônoma. Nesse conjunto de dados, as anotações bidimensionais são obtidas pela projeção de caixas delimitadoras tridimensionais sobre o plano da imagem, processo que pode introduzir desalinhamentos e ruídos capazes de comprometer o aprendizado do modelo. Para superar essa limitação, este trabalho adota uma abordagem centrada em dados (data-centric), priorizando a melhoria da qualidade da supervisão em vez de modificações na arquitetura da rede. A principal contribuição consiste na substituição dessas projeções geométricas por anota- ções bidimensionais de alta fidelidade geradas automaticamente pelo detector RF-DETR. Além disso, a arquitetura original da RRPN foi modernizada por meio da migração de frameworks deprecados para realizar a integração de backbones convolucionais modernos, como ResNeXt, WideResNet e EfficientNet. Os experimentos realizados no dataset nuScenes demonstraram ganhos expressivos em todas as configurações avaliadas. O melhor modelo, combinando o back- bone ResNeXt-152 às anotações produzidas pelo RF-DETR-Large, alcançou 58,28 de Average Precision (AP), representando um aumento relativo de 64,2% em relação ao resultado original da RRPN. Melhorias significativas também foram observadas nas métricas AP50 e AP75 para diferentes classes de objetos, indicando maior precisão na localização dos alvos. Esses resulta- dos demonstram que o aprimoramento da qualidade dos dados de treinamento constitui uma estratégia eficaz para elevar o desempenho de sistemas de percepção multimodal. |
| id |
UFPE_af35f046cd24ad55a8fac785aa2aa437 |
|---|---|
| oai_identifier_str |
oai:attena.ufpe.br:123456789/71250 |
| network_acronym_str |
UFPE |
| network_name_str |
Repositório Institucional da UFPE |
| repository_id_str |
|
| spelling |
MELO, Émerson Guilherme Lourenço dehttp://lattes.cnpq.br/4436912455433236http://lattes.cnpq.br/8983932189780223https://orcid.org/0009-0008-4240-7518https://orcid.org/0000-0002-7876-2756REN, Tsang Ing RenCORDEIRO, Filipe Rolimhttp://lattes.cnpq.br/3084134533707587http://lattes.cnpq.br/4807739914511076https://orcid.org/0000-0002-3677-0264https://orcid.org/0000-0001-5582-8436SILVA FILHO, Abel Guilhermino da2026-10-05T12:30:41Z2026-10-05T12:30:41Z2026-07-22MELO, Emerson Guilherme Lourenco de. RRPN Data-Centric: Potencializando a fusão radar-câmera com supervisão 2D de alta fidelidade. 2026. Dissertação (Mestrado em Ciências da Computação) – Universidade Federal de Pernambuco, Recife, 2026.https://repositorio.ufpe.br/handle/123456789/71250A percepção robusta do ambiente é um requisito fundamental para sistemas de direção autô- noma. Nesse contexto, a fusão entre sensores de radar e câmera destaca-se por combinar a riqueza de informações visuais das imagens com a capacidade do radar de operar de forma con- fiável em condições climáticas adversas. Entretanto, métodos de detecção multimodal ainda apresentam limitações relacionadas à qualidade dos dados utilizados durante o treinamento. Um exemplo é a Radar Region Proposal Network (RRPN), método de detecção em duas eta- pas treinado com o dataset nuScenes, uma das principais bases públicas para pesquisa em direção autônoma. Nesse conjunto de dados, as anotações bidimensionais são obtidas pela projeção de caixas delimitadoras tridimensionais sobre o plano da imagem, processo que pode introduzir desalinhamentos e ruídos capazes de comprometer o aprendizado do modelo. Para superar essa limitação, este trabalho adota uma abordagem centrada em dados (data-centric), priorizando a melhoria da qualidade da supervisão em vez de modificações na arquitetura da rede. A principal contribuição consiste na substituição dessas projeções geométricas por anota- ções bidimensionais de alta fidelidade geradas automaticamente pelo detector RF-DETR. Além disso, a arquitetura original da RRPN foi modernizada por meio da migração de frameworks deprecados para realizar a integração de backbones convolucionais modernos, como ResNeXt, WideResNet e EfficientNet. Os experimentos realizados no dataset nuScenes demonstraram ganhos expressivos em todas as configurações avaliadas. O melhor modelo, combinando o back- bone ResNeXt-152 às anotações produzidas pelo RF-DETR-Large, alcançou 58,28 de Average Precision (AP), representando um aumento relativo de 64,2% em relação ao resultado original da RRPN. Melhorias significativas também foram observadas nas métricas AP50 e AP75 para diferentes classes de objetos, indicando maior precisão na localização dos alvos. Esses resulta- dos demonstram que o aprimoramento da qualidade dos dados de treinamento constitui uma estratégia eficaz para elevar o desempenho de sistemas de percepção multimodal.Robust environmental perception is a fundamental requirement for autonomous driving sys- tems. In this context, radar-camera sensor fusion has emerged as a promising approach by combining the rich semantic information provided by camera images with the robustness of radar under adverse weather conditions. However, multimodal object detection methods still face limitations related to the quality of the training data. One example is the Radar Region Proposal Network (RRPN), a two-stage object detection method trained on the nuScenes dataset, one of the leading public benchmarks for autonomous driving research. In this dataset, two-dimensional annotations are obtained by projecting three-dimensional bounding boxes onto the image plane, a process that may introduce misalignments and noise capable of impair- ing the model’s learning process. To overcome this limitation, this work adopts a data-centric approach, prioritizing improvements in supervision quality rather than modifications to the net- work architecture. The main contribution consists of replacing these geometric projections with high-fidelity two-dimensional annotations automatically generated by the RF-DETR detector. In addition, the original RRPN architecture was modernized by migrating from deprecated frameworks to enable the integration of modern convolutional backbones, including ResNeXt, WideResNet, and EfficientNet. Experiments conducted on the nuScenes dataset demonstrated substantial improvements across all evaluated configurations. The best-performing model, combining the ResNeXt-152 backbone with the annotations generated by RF-DETR-Large, achieved an Average Precision (AP) of 58.28, representing a relative improvement of 64.2% over the original RRPN. Significant improvements were also observed in the AP50 and AP75 metrics across different object classes, indicating higher localization accuracy. These results demonstrate that improving the quality of training data is an effective strategy for enhancing the performance of multimodal perception systems.porUniversidade Federal de PernambucoPrograma de Pos Graduacao em Ciencia da ComputacaoUFPEBrasilhttps://creativecommons.org/licenses/by-nc-nd/4.0/info:eu-repo/semantics/openAccessFusão de SensoresPercepção veicularDeep learningVisão computacionalFunções ADASRRPN Data-Centric: Potencializando a fusão radar-câmera com supervisão 2D de alta fidelidadeinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesismestradoreponame:Repositório Institucional da UFPEinstname:Universidade Federal de Pernambuco (UFPE)instacron:UFPEORIGINALDISSERTAÇÃO Emerson Guilherme Lourenco de Melo.pdfDISSERTAÇÃO Emerson Guilherme Lourenco de Melo.pdfapplication/pdf21018229https://attena.ufpe.br/bitstream/123456789/71250/1/DISSERTA%c3%87%c3%83O%20Emerson%20Guilherme%20Lourenco%20de%20Melo.pdf45a2ac19149cf39649db7ab51b32eaceMD51LICENSElicense.txtlicense.txttext/plain; charset=utf-82379https://attena.ufpe.br/bitstream/123456789/71250/2/license.txtb7489d4e327029c4d04d213294bf53f2MD52123456789/712502026-10-05 09:30:52.745oai:attena.ufpe.br:123456789/71250VGVybW8gZGUgRGVww7NzaXRvIExlZ2FsIGUgQXV0b3JpemHDp8OjbyBwYXJhIFB1YmxpY2l6YcOnw6NvIGRlIERvY3VtZW50b3Mgbm8gUmVwb3NpdMOzcmlvIERpZ2l0YWwgZGEgVUZQRQoKCkRlY2xhcm8gZXN0YXIgY2llbnRlIGRlIHF1ZSBlc3RlIFRlcm1vIGRlIERlcMOzc2l0byBMZWdhbCBlIEF1dG9yaXphw6fDo28gdGVtIG8gb2JqZXRpdm8gZGUgZGl2dWxnYcOnw6NvIGRvcyBkb2N1bWVudG9zIGRlcG9zaXRhZG9zIG5vIFJlcG9zaXTDs3JpbyBEaWdpdGFsIGRhIFVGUEUgZSBkZWNsYXJvIHF1ZToKCkkgLSBvcyBkYWRvcyBwcmVlbmNoaWRvcyBubyBmb3JtdWzDoXJpbyBkZSBkZXDDs3NpdG8gc8OjbyB2ZXJkYWRlaXJvcyBlIGF1dMOqbnRpY29zOwoKSUkgLSAgbyBjb250ZcO6ZG8gZGlzcG9uaWJpbGl6YWRvIMOpIGRlIHJlc3BvbnNhYmlsaWRhZGUgZGUgc3VhIGF1dG9yaWE7CgpJSUkgLSBvIGNvbnRlw7pkbyDDqSBvcmlnaW5hbCwgZSBzZSBvIHRyYWJhbGhvIGUvb3UgcGFsYXZyYXMgZGUgb3V0cmFzIHBlc3NvYXMgZm9yYW0gdXRpbGl6YWRvcywgZXN0YXMgZm9yYW0gZGV2aWRhbWVudGUgcmVjb25oZWNpZGFzOwoKSVYgLSBxdWFuZG8gdHJhdGFyLXNlIGRlIG9icmEgY29sZXRpdmEgKG1haXMgZGUgdW0gYXV0b3IpOiB0b2RvcyBvcyBhdXRvcmVzIGVzdMOjbyBjaWVudGVzIGRvIGRlcMOzc2l0byBlIGRlIGFjb3JkbyBjb20gZXN0ZSB0ZXJtbzsKClYgLSBxdWFuZG8gdHJhdGFyLXNlIGRlIFRyYWJhbGhvIGRlIENvbmNsdXPDo28gZGUgQ3Vyc28sIGRlIEVzcGVjaWFsaXphw6fDo28vUmVzaWTDqm5jaWEsIERpc3NlcnRhw6fDo28gb3UgVGVzZTogbyBhcnF1aXZvIGRlcG9zaXRhZG8gY29ycmVzcG9uZGUgw6AgdmVyc8OjbyBmaW5hbCBkbyB0cmFiYWxobzsKClZJIC0gcXVhbmRvIHRyYXRhci1zZSBkZSBUcmFiYWxobyBkZSBDb25jbHVzw6NvIGRlIEN1cnNvLCBEaXNzZXJ0YcOnw6NvIG91IFRlc2U6IGVzdG91IGNpZW50ZSBkZSBxdWUgYSBhbHRlcmHDp8OjbyBkYSBtb2RhbGlkYWRlIGRlIGFjZXNzbyBhbyBkb2N1bWVudG8gYXDDs3MgbyBkZXDDs3NpdG8gZSBhbnRlcyBkZSBmaW5kYXIgbyBwZXLDrW9kbyBkZSBlbWJhcmdvLCBxdWFuZG8gZm9yIGVzY29saGlkbyBhY2Vzc28gcmVzdHJpdG8sIHNlcsOhIHBlcm1pdGlkYSBtZWRpYW50ZSBzb2xpY2l0YcOnw6NvIGRvIChhKSBhdXRvciAoYSkgYW8gU2lzdGVtYSBJbnRlZ3JhZG8gZGUgQmlibGlvdGVjYXMgZGEgVUZQRSAoU0lCL1VGUEUpLgoKIApQYXJhIHRyYWJhbGhvcyBlbSBBY2Vzc28gQWJlcnRvOgoKTmEgcXVhbGlkYWRlIGRlIHRpdHVsYXIgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIGRlIGF1dG9yIHF1ZSByZWNhZW0gc29icmUgZXN0ZSBkb2N1bWVudG8sIGZ1bmRhbWVudGFkbyBuYSBMZWkgZGUgRGlyZWl0byBBdXRvcmFsIG5vIDkuNjEwLCBkZSAxOSBkZSBmZXZlcmVpcm8gZGUgMTk5OCwgYXJ0LiAyOSwgaW5jaXNvIElJSSwgYXV0b3Jpem8gYSBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBQZXJuYW1idWNvIGEgZGlzcG9uaWJpbGl6YXIgZ3JhdHVpdGFtZW50ZSwgc2VtIHJlc3NhcmNpbWVudG8gZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCBwYXJhIGZpbnMgZGUgbGVpdHVyYSwgaW1wcmVzc8OjbyBlL291IGRvd25sb2FkIChhcXVpc2nDp8OjbykgYXRyYXbDqXMgZG8gc2l0ZSBkbyBSZXBvc2l0w7NyaW8gRGlnaXRhbCBkYSBVRlBFIG5vIGVuZGVyZcOnbyBodHRwczovL2F0dGVuYS51ZnBlLmJyLCBhIHBhcnRpciBkYSBkYXRhIGRlIGRlcMOzc2l0by4KCiAKUGFyYSB0cmFiYWxob3MgZW0gQWNlc3NvIFJlc3RyaXRvOgoKTmEgcXVhbGlkYWRlIGRlIHRpdHVsYXIgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIGRlIGF1dG9yIHF1ZSByZWNhZW0gc29icmUgZXN0ZSBkb2N1bWVudG8sIGZ1bmRhbWVudGFkbyBuYSBMZWkgZGUgRGlyZWl0byBBdXRvcmFsIG5vIDkuNjEwIGRlIDE5IGRlIGZldmVyZWlybyBkZSAxOTk4LCBhcnQuIDI5LCBpbmNpc28gSUlJLCBhdXRvcml6byBhIFVuaXZlcnNpZGFkZSBGZWRlcmFsIGRlIFBlcm5hbWJ1Y28gYSBkaXNwb25pYmlsaXphciBncmF0dWl0YW1lbnRlLCBzZW0gcmVzc2FyY2ltZW50byBkb3MgZGlyZWl0b3MgYXV0b3JhaXMsIHBhcmEgZmlucyBkZSBsZWl0dXJhLCBpbXByZXNzw6NvIGUvb3UgZG93bmxvYWQgKGFxdWlzacOnw6NvKSBhdHJhdsOpcyBkbyBzaXRlIGRvIFJlcG9zaXTDs3JpbyBEaWdpdGFsIGRhIFVGUEUgbm8gZW5kZXJlw6dvIGh0dHBzOi8vYXR0ZW5hLnVmcGUuYnIsIHF1YW5kbyBmaW5kYXIgbyBwZXLDrW9kbyBkZSBlbWJhcmdvIGNvbmRpemVudGUgYW8gdGlwbyBkZSBkb2N1bWVudG8sIGNvbmZvcm1lIGluZGljYWRvIG5vIGNhbXBvIERhdGEgZGUgRW1iYXJnby4KRepositório InstitucionalPUBhttps://repositorio.ufpe.br/oai/requestattena@ufpe.bropendoar:22212026-10-05T12:30:52Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)false |
| dc.title.por.fl_str_mv |
RRPN Data-Centric: Potencializando a fusão radar-câmera com supervisão 2D de alta fidelidade |
| title |
RRPN Data-Centric: Potencializando a fusão radar-câmera com supervisão 2D de alta fidelidade |
| spellingShingle |
RRPN Data-Centric: Potencializando a fusão radar-câmera com supervisão 2D de alta fidelidade MELO, Émerson Guilherme Lourenço de Fusão de Sensores Percepção veicular Deep learning Visão computacional Funções ADAS |
| title_short |
RRPN Data-Centric: Potencializando a fusão radar-câmera com supervisão 2D de alta fidelidade |
| title_full |
RRPN Data-Centric: Potencializando a fusão radar-câmera com supervisão 2D de alta fidelidade |
| title_fullStr |
RRPN Data-Centric: Potencializando a fusão radar-câmera com supervisão 2D de alta fidelidade |
| title_full_unstemmed |
RRPN Data-Centric: Potencializando a fusão radar-câmera com supervisão 2D de alta fidelidade |
| title_sort |
RRPN Data-Centric: Potencializando a fusão radar-câmera com supervisão 2D de alta fidelidade |
| author |
MELO, Émerson Guilherme Lourenço de |
| author_facet |
MELO, Émerson Guilherme Lourenço de |
| author_role |
author |
| dc.contributor.authorLattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/4436912455433236 |
| dc.contributor.advisorLattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/8983932189780223 |
| dc.contributor.authorORCID.pt_BR.fl_str_mv |
https://orcid.org/0009-0008-4240-7518 |
| dc.contributor.advisorORCID.pt_BR.fl_str_mv |
https://orcid.org/0000-0002-7876-2756 |
| dc.contributor.referee.none.fl_str_mv |
REN, Tsang Ing Ren CORDEIRO, Filipe Rolim |
| dc.contributor.refereeLattes.pt_BR.fl_str_mv |
http://lattes.cnpq.br/3084134533707587 http://lattes.cnpq.br/4807739914511076 |
| dc.contributor.refereeORCID.pt_BR.fl_str_mv |
https://orcid.org/0000-0002-3677-0264 https://orcid.org/0000-0001-5582-8436 |
| dc.contributor.author.fl_str_mv |
MELO, Émerson Guilherme Lourenço de |
| dc.contributor.advisor1.fl_str_mv |
SILVA FILHO, Abel Guilhermino da |
| contributor_str_mv |
SILVA FILHO, Abel Guilhermino da |
| dc.subject.por.fl_str_mv |
Fusão de Sensores Percepção veicular Deep learning Visão computacional Funções ADAS |
| topic |
Fusão de Sensores Percepção veicular Deep learning Visão computacional Funções ADAS |
| description |
A percepção robusta do ambiente é um requisito fundamental para sistemas de direção autô- noma. Nesse contexto, a fusão entre sensores de radar e câmera destaca-se por combinar a riqueza de informações visuais das imagens com a capacidade do radar de operar de forma con- fiável em condições climáticas adversas. Entretanto, métodos de detecção multimodal ainda apresentam limitações relacionadas à qualidade dos dados utilizados durante o treinamento. Um exemplo é a Radar Region Proposal Network (RRPN), método de detecção em duas eta- pas treinado com o dataset nuScenes, uma das principais bases públicas para pesquisa em direção autônoma. Nesse conjunto de dados, as anotações bidimensionais são obtidas pela projeção de caixas delimitadoras tridimensionais sobre o plano da imagem, processo que pode introduzir desalinhamentos e ruídos capazes de comprometer o aprendizado do modelo. Para superar essa limitação, este trabalho adota uma abordagem centrada em dados (data-centric), priorizando a melhoria da qualidade da supervisão em vez de modificações na arquitetura da rede. A principal contribuição consiste na substituição dessas projeções geométricas por anota- ções bidimensionais de alta fidelidade geradas automaticamente pelo detector RF-DETR. Além disso, a arquitetura original da RRPN foi modernizada por meio da migração de frameworks deprecados para realizar a integração de backbones convolucionais modernos, como ResNeXt, WideResNet e EfficientNet. Os experimentos realizados no dataset nuScenes demonstraram ganhos expressivos em todas as configurações avaliadas. O melhor modelo, combinando o back- bone ResNeXt-152 às anotações produzidas pelo RF-DETR-Large, alcançou 58,28 de Average Precision (AP), representando um aumento relativo de 64,2% em relação ao resultado original da RRPN. Melhorias significativas também foram observadas nas métricas AP50 e AP75 para diferentes classes de objetos, indicando maior precisão na localização dos alvos. Esses resulta- dos demonstram que o aprimoramento da qualidade dos dados de treinamento constitui uma estratégia eficaz para elevar o desempenho de sistemas de percepção multimodal. |
| publishDate |
2026 |
| dc.date.accessioned.fl_str_mv |
2026-10-05T12:30:41Z |
| dc.date.available.fl_str_mv |
2026-10-05T12:30:41Z |
| dc.date.issued.fl_str_mv |
2026-07-22 |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/masterThesis |
| format |
masterThesis |
| status_str |
publishedVersion |
| dc.identifier.citation.fl_str_mv |
MELO, Emerson Guilherme Lourenco de. RRPN Data-Centric: Potencializando a fusão radar-câmera com supervisão 2D de alta fidelidade. 2026. Dissertação (Mestrado em Ciências da Computação) – Universidade Federal de Pernambuco, Recife, 2026. |
| dc.identifier.uri.fl_str_mv |
https://repositorio.ufpe.br/handle/123456789/71250 |
| identifier_str_mv |
MELO, Emerson Guilherme Lourenco de. RRPN Data-Centric: Potencializando a fusão radar-câmera com supervisão 2D de alta fidelidade. 2026. Dissertação (Mestrado em Ciências da Computação) – Universidade Federal de Pernambuco, Recife, 2026. |
| url |
https://repositorio.ufpe.br/handle/123456789/71250 |
| dc.language.iso.fl_str_mv |
por |
| language |
por |
| dc.rights.driver.fl_str_mv |
https://creativecommons.org/licenses/by-nc-nd/4.0/ info:eu-repo/semantics/openAccess |
| rights_invalid_str_mv |
https://creativecommons.org/licenses/by-nc-nd/4.0/ |
| eu_rights_str_mv |
openAccess |
| dc.publisher.none.fl_str_mv |
Universidade Federal de Pernambuco |
| dc.publisher.program.fl_str_mv |
Programa de Pos Graduacao em Ciencia da Computacao |
| dc.publisher.initials.fl_str_mv |
UFPE |
| dc.publisher.country.fl_str_mv |
Brasil |
| publisher.none.fl_str_mv |
Universidade Federal de Pernambuco |
| dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UFPE instname:Universidade Federal de Pernambuco (UFPE) instacron:UFPE |
| instname_str |
Universidade Federal de Pernambuco (UFPE) |
| instacron_str |
UFPE |
| institution |
UFPE |
| reponame_str |
Repositório Institucional da UFPE |
| collection |
Repositório Institucional da UFPE |
| bitstream.url.fl_str_mv |
https://attena.ufpe.br/bitstream/123456789/71250/1/DISSERTA%c3%87%c3%83O%20Emerson%20Guilherme%20Lourenco%20de%20Melo.pdf https://attena.ufpe.br/bitstream/123456789/71250/2/license.txt |
| bitstream.checksum.fl_str_mv |
45a2ac19149cf39649db7ab51b32eace b7489d4e327029c4d04d213294bf53f2 |
| bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 |
| repository.name.fl_str_mv |
Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE) |
| repository.mail.fl_str_mv |
attena@ufpe.br |
| _version_ |
1881120997309939712 |