Detecção e estimação de distância de marcos visuais por um veículo autônomo a partir de segmentação de imagens com aprendizado profundo e processos Gaussianos

Detalhes bibliográficos
Ano de defesa: 2024
Autor(a) principal: Bernardes, Danilo Serenini lattes
Orientador(a): Barbosa, Bruno Henrique Groenner
Banca de defesa: Lima, Danilo Alves de, Ferreira, Danton Diego, Vitor, Giovani Bernardes
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Federal de Lavras
Programa de Pós-Graduação: Departamento de Engenharia
Departamento: Programa de Pós-Graduação em Engenharia de Sistemas e Automação
País: brasil
Palavras-chave em Português:
Área do conhecimento CNPq:
Link de acesso: https://repositorio.ufla.br/handle/1/59313
Resumo: No cenário de evolução constante das tecnologias para a implementação de veículos autônomos, a precisão na localização do veículo emerge como um desafio significativo. O objetivo deste trabalho é propor um algoritmo que aplique técnicas de predição de distâncias para estimar a distância entre o veículo posicionado com uma câmera e marcos no ambiente ao qual ele será submetido. Para isso, foram empregadas técnicas de visão computacional para detecção dos marcos e em seguida foi feita a segmentação dos objetos de forma a incrementar a percepção do algoritmo quanto ao ambiente. Para o desenvolvimento do algoritmo de predição foi escolhida a linguagem Python e foi considerado um banco de dados real com aproximadamente 8000 amostras coletadas em campo na Universidade de Waterloo, por meio de um veículo autônomo instrumentado. A utilização da rede YOLO-v8 nos modelos de Detecção e de Segmentação de objetos, a rede DeTr (Detection Transformers) e a rede SAM (Segment Anything Model) foram avaliadas para fornecer os dados de entrada que foram relacionados a estimação da distância a partir de técnicas de aprendizado de máquinas com o modelo GPR (Gaussian Process Regression). Ao final do projeto, foi observada superioridade da rede YOLO-v8 no modelo de segmentação para a tarefa de detecção de objetos, com um Recall Médio de 0,76 e maP@0,5 de 0,891, evidenciando o benefício do uso das máscaras de segmentação também para detecção de objetos. A análise mostrou que a combinação das redes YOLO-v8 Segmentação e SAM aprimora a percepção do ambiente com um coeficiente DICE de 71,039% e reduz significativamente o erro na predição de distâncias, alcançando um MAE de 0,65 metros. No entanto, essa combinação resultou em um aumento do tempo de processamento, destacando-se como um desafio para a aplicação em tempo real a partir do hardware utilizado. A partir dos resultados, é possível notar que a incorporação de características de segmentação aos dados de entrada melhora substancialmente o desempenho do modelo GPR na predição de distâncias, ressaltando o potencial das técnicas de visão computacional na melhoria da localização e decisão em veículos autônomos.
id UFLA_c97c7bed79dfd0ec423c31b16a20b65f
oai_identifier_str oai:repositorio.ufla.br:1/59313
network_acronym_str UFLA
network_name_str Repositório Institucional da UFLA
repository_id_str
spelling 2024-09-03T14:01:51Z2024-09-032024-09-03T14:01:51Z2024-09-032024-03-26BERNARDES, Danilo Serenini. Detecção e estimação de distância de marcos visuais por um veículo autônomo a partir de segmentação de imagens com aprendizado profundo e processos Gaussianos. 2024. 66p. Dissertação (Mestrado em Engenharia de Sistemas e Automação)–Universidade Federal de Lavras, Lavras, 2024.https://repositorio.ufla.br/handle/1/59313No cenário de evolução constante das tecnologias para a implementação de veículos autônomos, a precisão na localização do veículo emerge como um desafio significativo. O objetivo deste trabalho é propor um algoritmo que aplique técnicas de predição de distâncias para estimar a distância entre o veículo posicionado com uma câmera e marcos no ambiente ao qual ele será submetido. Para isso, foram empregadas técnicas de visão computacional para detecção dos marcos e em seguida foi feita a segmentação dos objetos de forma a incrementar a percepção do algoritmo quanto ao ambiente. Para o desenvolvimento do algoritmo de predição foi escolhida a linguagem Python e foi considerado um banco de dados real com aproximadamente 8000 amostras coletadas em campo na Universidade de Waterloo, por meio de um veículo autônomo instrumentado. A utilização da rede YOLO-v8 nos modelos de Detecção e de Segmentação de objetos, a rede DeTr (Detection Transformers) e a rede SAM (Segment Anything Model) foram avaliadas para fornecer os dados de entrada que foram relacionados a estimação da distância a partir de técnicas de aprendizado de máquinas com o modelo GPR (Gaussian Process Regression). Ao final do projeto, foi observada superioridade da rede YOLO-v8 no modelo de segmentação para a tarefa de detecção de objetos, com um Recall Médio de 0,76 e maP@0,5 de 0,891, evidenciando o benefício do uso das máscaras de segmentação também para detecção de objetos. A análise mostrou que a combinação das redes YOLO-v8 Segmentação e SAM aprimora a percepção do ambiente com um coeficiente DICE de 71,039% e reduz significativamente o erro na predição de distâncias, alcançando um MAE de 0,65 metros. No entanto, essa combinação resultou em um aumento do tempo de processamento, destacando-se como um desafio para a aplicação em tempo real a partir do hardware utilizado. A partir dos resultados, é possível notar que a incorporação de características de segmentação aos dados de entrada melhora substancialmente o desempenho do modelo GPR na predição de distâncias, ressaltando o potencial das técnicas de visão computacional na melhoria da localização e decisão em veículos autônomos.In the constantly evolving scenario of technologies for autonomous vehicles implementation, precision in vehicle localization emerges as a significant challenge. The objective of this work is to propose an algorithm that applies distance prediction techniques to estimate the distance between a vehicle equipped with a camera and landmarks in the environment it will be exposed to. For this purpose, computer vision techniques were employed for landmark detection, followed by object segmentation to enhance the algorithm's perception of the environment. For the development of the prediction algorithm, the Python language was chosen, and a real database with approximately 8000 samples collected in the field at the University of Waterloo, through an instrumented autonomous vehicle, was considered. The use of YOLO-v8 network with Object Detection and Segmentation models, DeTr (Detection Transformers) network, and SAM (Segment Anything Model) network were evaluated to provide the input data that were related to distance estimation from deep learning techniques with a GPR (Gaussian Process Regression) model. At the end of the project, the superiority of YOLO-v8 network in the segmentation model when applied to object detection task was observed, with an average Recall of 0.76 and a maP@0.5 of 0.891, highlighting the benefit of using segmentation masks also for object detection. The analysis showed that the combination of YOLO-v8 Segmentation and SAM networks enhances the environment perception with a DICE coefficient of 71.039% and significantly reduces the error in distance prediction, achieving a MAE (Mean Absolute Error) of 0.65 meters. However, this combination resulted in an increase in processing time, standing out as a challenge for real-time application from the perspective of the hardware used. From the results, it is possible to note that the incorporation of segmentation characteristics to the input data substantially improves the performance of the GPR model in distance prediction, highlighting the potential of computer vision techniques in improving the localization and decision-making in autonomous vehicles.TecnológicoTecnologia e produçãoODS 9: Indústria, inovação e infraestruturaUniversidade Federal de LavrasDepartamento de EngenhariaUFLAbrasilPrograma de Pós-Graduação em Engenharia de Sistemas e AutomaçãoAttribution 4.0 Internationalhttp://creativecommons.org/licenses/by/4.0/info:eu-repo/semantics/openAccessEngenhariaVeículos autônomosVisão computacionalDeep learningDetecção de imagensSegmentação de imagensRegressão por processos GaussianosEstimação de distânciaAprendizado de máquinaAutonomous vehiclesComputer visionImage detectionImage segmentationGaussian process regressionDistance estimationMachine learningDetecção e estimação de distância de marcos visuais por um veículo autônomo a partir de segmentação de imagens com aprendizado profundo e processos GaussianosDetection and distance estimation of visual landmarks by an autonomous vehicle using image segmentation with deep learning and Gaussian processesinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisBarbosa, Bruno Henrique GroennerLima, Danilo Alves deFerreira, Danton DiegoVitor, Giovani Bernardeshttp://lattes.cnpq.br/5149773499588702Bernardes, Danilo Sereniniporreponame:Repositório Institucional da UFLAinstname:Universidade Federal de Lavras (UFLA)instacron:UFLAORIGINALDISSERTAÇÃO_detecção e estimação de distância de marcos visuais por um veículo autônomo.pdfDISSERTAÇÃO_detecção e estimação de distância de marcos visuais por um veículo autônomo.pdfapplication/pdf13623242https://repositorio.ufla.br/bitstreams/b5fcc89a-223a-4944-a8c9-d062a1474c58/download5448d370870050c4688a7b5aa35017feMD51trueAnonymousREADIMPACTOS DA PESQUISA_detecção e estimação de distância de marcos visuais por um veículo autônomo.pdfIMPACTOS DA PESQUISA_detecção e estimação de distância de marcos visuais por um veículo autônomo.pdfapplication/pdf237947https://repositorio.ufla.br/bitstreams/0f65be04-b84d-4c33-8202-31bc64130d0c/download026630660c593aad1323b39719abeb40MD52falseAnonymousREADCC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-8907https://repositorio.ufla.br/bitstreams/2cf7a66d-6613-4c1e-88e9-ae0531a62543/downloadc07b6daef3dbee864bf87e6aa836cde2MD53falseAnonymousREADLICENSElicense.txtlicense.txttext/plain; charset=utf-8956https://repositorio.ufla.br/bitstreams/bfb8c607-a0fb-47d3-ab63-36972840d52a/download5ea4a165b7202cbf475be400d2e16893MD54falseAnonymousREADTEXTDISSERTAÇÃO_detecção e estimação de distância de marcos visuais por um veículo autônomo.pdf.txtDISSERTAÇÃO_detecção e estimação de distância de marcos visuais por um veículo autônomo.pdf.txtExtracted texttext/plain103080https://repositorio.ufla.br/bitstreams/b84d827d-623d-404d-a17c-7c1c8ffb19de/download8bfc12e0ca2d21ed12a470ccc84b10faMD55falseAnonymousREADIMPACTOS DA PESQUISA_detecção e estimação de distância de marcos visuais por um veículo autônomo.pdf.txtIMPACTOS DA PESQUISA_detecção e estimação de distância de marcos visuais por um veículo autônomo.pdf.txtExtracted texttext/plain5495https://repositorio.ufla.br/bitstreams/301b1452-915c-4812-8be7-e1db969876b9/download8dc28c6ea0ad77e58692c247dff4da12MD57falseAnonymousREADTHUMBNAILDISSERTAÇÃO_detecção e estimação de distância de marcos visuais por um veículo autônomo.pdf.jpgDISSERTAÇÃO_detecção e estimação de distância de marcos visuais por um veículo autônomo.pdf.jpgGenerated Thumbnailimage/jpeg3506https://repositorio.ufla.br/bitstreams/17d8bdce-6b42-4e0e-b265-7340afb62f1d/download406f5ec06ed223454b68f04b76830fa2MD56falseAnonymousREADIMPACTOS DA PESQUISA_detecção e estimação de distância de marcos visuais por um veículo autônomo.pdf.jpgIMPACTOS DA PESQUISA_detecção e estimação de distância de marcos visuais por um veículo autônomo.pdf.jpgGenerated Thumbnailimage/jpeg5348https://repositorio.ufla.br/bitstreams/f3351c3f-377f-4845-bdb5-f50f612647b5/download1e499220997e6bd4e7bff95b1ecd8ebcMD58falseAnonymousREAD1/593132025-10-02 12:47:25.903http://creativecommons.org/licenses/by/4.0/Attribution 4.0 Internationalopen.accessoai:repositorio.ufla.br:1/59313https://repositorio.ufla.brRepositório InstitucionalPUBhttps://repositorio.ufla.br/server/oai/requestnivaldo@ufla.br || repositorio.biblioteca@ufla.bropendoar:2025-10-02T15:47:25Repositório Institucional da UFLA - Universidade Federal de Lavras (UFLA)falseREVDTEFSQcOHw4NPIERFIERJU1RSSUJVScOHw4NPIE7Dg08tRVhDTFVTSVZBCk8gcmVmZXJpZG8gYXV0b3I6CgphKSBEZWNsYXJhIHF1ZSBvIGRvY3VtZW50byBlbnRyZWd1ZSDDqSBzZXUgdHJhYmFsaG8gb3JpZ2luYWwsIGUgcXVlIGRldMOpbSBvIGRpcmVpdG8gZGUgY29uY2VkZXIgb3MgZGlyZWl0b3MgY29udGlkb3MgbmVzdGEgbGljZW7Dp2EuIERlY2xhcmEgdGFtYsOpbSBxdWUgYSBlbnRyZWdhIGRvIGRvY3VtZW50byBuw6NvIGluZnJpbmdlLCB0YW50byBxdWFudG8gbGhlIMOpIHBvc3PDrXZlbCBzYWJlciwgb3MgZGlyZWl0b3MgZGUgcXVhbHF1ZXIgb3V0cmEgcGVzc29hIG91ICBlbnRpZGFkZS4KCmIpIFNlIG8gZG9jdW1lbnRvIGVudHJlZ3VlIGNvbnTDqW0gbWF0ZXJpYWwgZG8gcXVhbCBuw6NvIGRldMOpbSBvcyBkaXJlaXRvcyBkZSBhdXRvciwgZGVjbGFyYSBxdWUgb2J0ZXZlIGF1dG9yaXphw6fDo28gZG8gZGV0ZW50b3IgZG9zIGRpcmVpdG9zIGRlIGF1dG9yIHBhcmEgY29uY2VkZXIgw6AgVW5pdmVyc2lkYWRlIEZlZGVyYWwgZGUgTGF2cmFzIG9zIGRpcmVpdG9zIHJlcXVlcmlkb3MgcG9yIGVzdGEgbGljZW7Dp2EsIGUgcXVlIGVzc2UgbWF0ZXJpYWwgY3Vqb3MgZGlyZWl0b3Mgc8OjbyBkZSB0ZXJjZWlyb3MgZXN0w6EgY2xhcmFtZW50ZSBpZGVudGlmaWNhZG8gZSByZWNvbmhlY2lkbwpubyB0ZXh0byBvdSBjb250ZcO6ZG8gZG8gZG9jdW1lbnRvIGVudHJlZ3VlLiBTZSBvIGRvY3VtZW50byBlbnRyZWd1ZSDDqSBiYXNlYWRvIGVtIHRyYWJhbGhvIGZpbmFuY2lhZG8gb3UgYXBvaWFkbyBwb3Igb3V0cmEgaW5zdGl0dWnDp8OjbyBxdWUgbsOjbyBhIFVuaXZlcnNpZGFkZSBGZWRlcmFsIGRlIExhdnJhcywgZGVjbGFyYSBxdWUgY3VtcHJpdSBxdWFpc3F1ZXIgb2JyaWdhw6fDtWVzIGV4aWdpZGFzIHBlbG8gcmVzcGVjdGl2byBjb250cmF0byBvdSBhY29yZG8uCgo=
dc.title.pt_BR.fl_str_mv Detecção e estimação de distância de marcos visuais por um veículo autônomo a partir de segmentação de imagens com aprendizado profundo e processos Gaussianos
dc.title.alternative.pt_BR.fl_str_mv Detection and distance estimation of visual landmarks by an autonomous vehicle using image segmentation with deep learning and Gaussian processes
title Detecção e estimação de distância de marcos visuais por um veículo autônomo a partir de segmentação de imagens com aprendizado profundo e processos Gaussianos
spellingShingle Detecção e estimação de distância de marcos visuais por um veículo autônomo a partir de segmentação de imagens com aprendizado profundo e processos Gaussianos
Bernardes, Danilo Serenini
Engenharia
Veículos autônomos
Visão computacional
Deep learning
Detecção de imagens
Segmentação de imagens
Regressão por processos Gaussianos
Estimação de distância
Aprendizado de máquina
Autonomous vehicles
Computer vision
Image detection
Image segmentation
Gaussian process regression
Distance estimation
Machine learning
title_short Detecção e estimação de distância de marcos visuais por um veículo autônomo a partir de segmentação de imagens com aprendizado profundo e processos Gaussianos
title_full Detecção e estimação de distância de marcos visuais por um veículo autônomo a partir de segmentação de imagens com aprendizado profundo e processos Gaussianos
title_fullStr Detecção e estimação de distância de marcos visuais por um veículo autônomo a partir de segmentação de imagens com aprendizado profundo e processos Gaussianos
title_full_unstemmed Detecção e estimação de distância de marcos visuais por um veículo autônomo a partir de segmentação de imagens com aprendizado profundo e processos Gaussianos
title_sort Detecção e estimação de distância de marcos visuais por um veículo autônomo a partir de segmentação de imagens com aprendizado profundo e processos Gaussianos
author Bernardes, Danilo Serenini
author_facet Bernardes, Danilo Serenini
author_role author
dc.contributor.advisor1.fl_str_mv Barbosa, Bruno Henrique Groenner
dc.contributor.referee1.fl_str_mv Lima, Danilo Alves de
dc.contributor.referee2.fl_str_mv Ferreira, Danton Diego
dc.contributor.referee3.fl_str_mv Vitor, Giovani Bernardes
dc.contributor.authorLattes.fl_str_mv http://lattes.cnpq.br/5149773499588702
dc.contributor.author.fl_str_mv Bernardes, Danilo Serenini
contributor_str_mv Barbosa, Bruno Henrique Groenner
Lima, Danilo Alves de
Ferreira, Danton Diego
Vitor, Giovani Bernardes
dc.subject.cnpq.fl_str_mv Engenharia
topic Engenharia
Veículos autônomos
Visão computacional
Deep learning
Detecção de imagens
Segmentação de imagens
Regressão por processos Gaussianos
Estimação de distância
Aprendizado de máquina
Autonomous vehicles
Computer vision
Image detection
Image segmentation
Gaussian process regression
Distance estimation
Machine learning
dc.subject.por.fl_str_mv Veículos autônomos
Visão computacional
Deep learning
Detecção de imagens
Segmentação de imagens
Regressão por processos Gaussianos
Estimação de distância
Aprendizado de máquina
Autonomous vehicles
Computer vision
Image detection
Image segmentation
Gaussian process regression
Distance estimation
Machine learning
description No cenário de evolução constante das tecnologias para a implementação de veículos autônomos, a precisão na localização do veículo emerge como um desafio significativo. O objetivo deste trabalho é propor um algoritmo que aplique técnicas de predição de distâncias para estimar a distância entre o veículo posicionado com uma câmera e marcos no ambiente ao qual ele será submetido. Para isso, foram empregadas técnicas de visão computacional para detecção dos marcos e em seguida foi feita a segmentação dos objetos de forma a incrementar a percepção do algoritmo quanto ao ambiente. Para o desenvolvimento do algoritmo de predição foi escolhida a linguagem Python e foi considerado um banco de dados real com aproximadamente 8000 amostras coletadas em campo na Universidade de Waterloo, por meio de um veículo autônomo instrumentado. A utilização da rede YOLO-v8 nos modelos de Detecção e de Segmentação de objetos, a rede DeTr (Detection Transformers) e a rede SAM (Segment Anything Model) foram avaliadas para fornecer os dados de entrada que foram relacionados a estimação da distância a partir de técnicas de aprendizado de máquinas com o modelo GPR (Gaussian Process Regression). Ao final do projeto, foi observada superioridade da rede YOLO-v8 no modelo de segmentação para a tarefa de detecção de objetos, com um Recall Médio de 0,76 e maP@0,5 de 0,891, evidenciando o benefício do uso das máscaras de segmentação também para detecção de objetos. A análise mostrou que a combinação das redes YOLO-v8 Segmentação e SAM aprimora a percepção do ambiente com um coeficiente DICE de 71,039% e reduz significativamente o erro na predição de distâncias, alcançando um MAE de 0,65 metros. No entanto, essa combinação resultou em um aumento do tempo de processamento, destacando-se como um desafio para a aplicação em tempo real a partir do hardware utilizado. A partir dos resultados, é possível notar que a incorporação de características de segmentação aos dados de entrada melhora substancialmente o desempenho do modelo GPR na predição de distâncias, ressaltando o potencial das técnicas de visão computacional na melhoria da localização e decisão em veículos autônomos.
publishDate 2024
dc.date.submitted.none.fl_str_mv 2024-03-26
dc.date.accessioned.fl_str_mv 2024-09-03T14:01:51Z
dc.date.available.fl_str_mv 2024-09-03
2024-09-03T14:01:51Z
dc.date.issued.fl_str_mv 2024-09-03
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv BERNARDES, Danilo Serenini. Detecção e estimação de distância de marcos visuais por um veículo autônomo a partir de segmentação de imagens com aprendizado profundo e processos Gaussianos. 2024. 66p. Dissertação (Mestrado em Engenharia de Sistemas e Automação)–Universidade Federal de Lavras, Lavras, 2024.
dc.identifier.uri.fl_str_mv https://repositorio.ufla.br/handle/1/59313
identifier_str_mv BERNARDES, Danilo Serenini. Detecção e estimação de distância de marcos visuais por um veículo autônomo a partir de segmentação de imagens com aprendizado profundo e processos Gaussianos. 2024. 66p. Dissertação (Mestrado em Engenharia de Sistemas e Automação)–Universidade Federal de Lavras, Lavras, 2024.
url https://repositorio.ufla.br/handle/1/59313
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv Attribution 4.0 International
http://creativecommons.org/licenses/by/4.0/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv Attribution 4.0 International
http://creativecommons.org/licenses/by/4.0/
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de Lavras
dc.publisher.program.fl_str_mv Departamento de Engenharia
dc.publisher.initials.fl_str_mv UFLA
dc.publisher.country.fl_str_mv brasil
dc.publisher.department.fl_str_mv Programa de Pós-Graduação em Engenharia de Sistemas e Automação
publisher.none.fl_str_mv Universidade Federal de Lavras
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFLA
instname:Universidade Federal de Lavras (UFLA)
instacron:UFLA
instname_str Universidade Federal de Lavras (UFLA)
instacron_str UFLA
institution UFLA
reponame_str Repositório Institucional da UFLA
collection Repositório Institucional da UFLA
bitstream.url.fl_str_mv https://repositorio.ufla.br/bitstreams/b5fcc89a-223a-4944-a8c9-d062a1474c58/download
https://repositorio.ufla.br/bitstreams/0f65be04-b84d-4c33-8202-31bc64130d0c/download
https://repositorio.ufla.br/bitstreams/2cf7a66d-6613-4c1e-88e9-ae0531a62543/download
https://repositorio.ufla.br/bitstreams/bfb8c607-a0fb-47d3-ab63-36972840d52a/download
https://repositorio.ufla.br/bitstreams/b84d827d-623d-404d-a17c-7c1c8ffb19de/download
https://repositorio.ufla.br/bitstreams/301b1452-915c-4812-8be7-e1db969876b9/download
https://repositorio.ufla.br/bitstreams/17d8bdce-6b42-4e0e-b265-7340afb62f1d/download
https://repositorio.ufla.br/bitstreams/f3351c3f-377f-4845-bdb5-f50f612647b5/download
bitstream.checksum.fl_str_mv 5448d370870050c4688a7b5aa35017fe
026630660c593aad1323b39719abeb40
c07b6daef3dbee864bf87e6aa836cde2
5ea4a165b7202cbf475be400d2e16893
8bfc12e0ca2d21ed12a470ccc84b10fa
8dc28c6ea0ad77e58692c247dff4da12
406f5ec06ed223454b68f04b76830fa2
1e499220997e6bd4e7bff95b1ecd8ebc
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFLA - Universidade Federal de Lavras (UFLA)
repository.mail.fl_str_mv nivaldo@ufla.br || repositorio.biblioteca@ufla.br
_version_ 1854947675023081472