Combinando métodos de detecção de objetos com sistema de localização e mapeamento simultâneos

Detalhes bibliográficos
Ano de defesa: 2024
Autor(a) principal: RODRIGO DE ALMEIDA SILVA
Orientador(a): Wesley Nunes Goncalves
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Fundação Universidade Federal de Mato Grosso do Sul
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Brasil
Palavras-chave em Português:
Link de acesso: https://repositorio.ufms.br/handle/123456789/8679
Resumo: This work explored the combination of Deep Learning (DL) and Simultaneous Localization and Mapping (SLAM) to enhance precision agriculture, with a focus on detecting and estimating the distance to apples in orchards. A thorough literature review was conducted, analyzing approaches that integrate deep neural networks with traditional SLAM methods, identifying promising applications in various fields, including agriculture. Data collection was performed using a stereoscopic camera, capturing images with depth information. Bounding boxes were manually annotated around visible apples, and the MinneApple dataset was added to enhance model generalization. We trained 12 variations of the YOLO architecture, with YOLOv5x achieving the best performance, reaching 0.861 in F1-Score on the validation set. An algorithm was developed to estimate the distance to each detected apple, integrating it into the YOLO detection pipeline. The results demonstrated the accuracy and real-time viability of the system, allowing efficient detection and distance estimation of apples. This work contributes to the evolution of the combination of DL and SLAM, opening new research prospects for automation and robotics, particularly in fruit orchard monitoring and harvesting applications.
id UFMS_65ba9d2fec46f4df2a8f1dd117190d98
oai_identifier_str oai:repositorio.ufms.br:123456789/8679
network_acronym_str UFMS
network_name_str Repositório Institucional da UFMS
repository_id_str
spelling 2024-04-18T23:36:44Z2024-04-18T23:36:44Z2024https://repositorio.ufms.br/handle/123456789/8679This work explored the combination of Deep Learning (DL) and Simultaneous Localization and Mapping (SLAM) to enhance precision agriculture, with a focus on detecting and estimating the distance to apples in orchards. A thorough literature review was conducted, analyzing approaches that integrate deep neural networks with traditional SLAM methods, identifying promising applications in various fields, including agriculture. Data collection was performed using a stereoscopic camera, capturing images with depth information. Bounding boxes were manually annotated around visible apples, and the MinneApple dataset was added to enhance model generalization. We trained 12 variations of the YOLO architecture, with YOLOv5x achieving the best performance, reaching 0.861 in F1-Score on the validation set. An algorithm was developed to estimate the distance to each detected apple, integrating it into the YOLO detection pipeline. The results demonstrated the accuracy and real-time viability of the system, allowing efficient detection and distance estimation of apples. This work contributes to the evolution of the combination of DL and SLAM, opening new research prospects for automation and robotics, particularly in fruit orchard monitoring and harvesting applications.Este trabalho explorou a combinação entre Deep Learning (DL) e Simultaneous Localization and Mapping (SLAM) para melhorar a agricultura de precisão, com ênfase na detecção e estimativa de distância de maçãs em pomares. Realizamos uma revisão detalhada da literatura, analisando abordagens que unem redes neurais profundas com métodos tradicionais de SLAM, identificando aplicações promissoras em várias áreas, incluindo a agricultura. A coleta de dados foi feita usando a câmera estereoscópica, que captura imagens com informações de profundidade. Anotamos manualmente bounding boxes nas maçãs visíveis e adicionamos o conjunto MinneApple ao nosso dataset para aprimorar a generalização dos modelos. Treinamos 12 variações da arquitetura YOLO e a YOLOv5x alcançou o melhor desempenho, atingindo 0.861 em F1-Score no conjunto de validação. Desenvolvemos um algoritmo para estimar a distância até cada maçã detectada, integrando-o ao fluxo de detecção da YOLO. Os resultados demonstraram a precisão e viabilidade do sistema em tempo real, permitindo a detecção e estimativa de distância das maçãs de maneira eficiente. O trabalho contribui para a evolução da combinação entre DL e SLAM, abrindo novas perspectivas de pesquisa para a automação e robótica, especialmente em aplicações de monitoramento e colheita de frutas em pomares.Fundação Universidade Federal de Mato Grosso do SulUFMSBrasilMapeamento, Aprendizado Profundo, Detecção de ObjetosCombinando métodos de detecção de objetos com sistema de localização e mapeamento simultâneosinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisWesley Nunes GoncalvesRODRIGO DE ALMEIDA SILVAinfo:eu-repo/semantics/openAccessporreponame:Repositório Institucional da UFMSinstname:Universidade Federal de Mato Grosso do Sul (UFMS)instacron:UFMSORIGINALDissertação_Rodrigo_FINAL.pdfDissertação_Rodrigo_FINAL.pdfapplication/pdf15354030https://repositorio.ufms.br/bitstream/123456789/8679/-1/Disserta%c3%a7%c3%a3o_Rodrigo_FINAL.pdf9fc94f049d3580d649080120f649beaeMD5-1123456789/86792024-04-18 19:36:46.536oai:repositorio.ufms.br:123456789/8679Repositório InstitucionalPUBhttps://repositorio.ufms.br/oai/requestri.prograd@ufms.bropendoar:21242024-04-18T23:36:46Repositório Institucional da UFMS - Universidade Federal de Mato Grosso do Sul (UFMS)false
dc.title.pt_BR.fl_str_mv Combinando métodos de detecção de objetos com sistema de localização e mapeamento simultâneos
title Combinando métodos de detecção de objetos com sistema de localização e mapeamento simultâneos
spellingShingle Combinando métodos de detecção de objetos com sistema de localização e mapeamento simultâneos
RODRIGO DE ALMEIDA SILVA
Mapeamento, Aprendizado Profundo, Detecção de Objetos
title_short Combinando métodos de detecção de objetos com sistema de localização e mapeamento simultâneos
title_full Combinando métodos de detecção de objetos com sistema de localização e mapeamento simultâneos
title_fullStr Combinando métodos de detecção de objetos com sistema de localização e mapeamento simultâneos
title_full_unstemmed Combinando métodos de detecção de objetos com sistema de localização e mapeamento simultâneos
title_sort Combinando métodos de detecção de objetos com sistema de localização e mapeamento simultâneos
author RODRIGO DE ALMEIDA SILVA
author_facet RODRIGO DE ALMEIDA SILVA
author_role author
dc.contributor.advisor1.fl_str_mv Wesley Nunes Goncalves
dc.contributor.author.fl_str_mv RODRIGO DE ALMEIDA SILVA
contributor_str_mv Wesley Nunes Goncalves
dc.subject.por.fl_str_mv Mapeamento, Aprendizado Profundo, Detecção de Objetos
topic Mapeamento, Aprendizado Profundo, Detecção de Objetos
description This work explored the combination of Deep Learning (DL) and Simultaneous Localization and Mapping (SLAM) to enhance precision agriculture, with a focus on detecting and estimating the distance to apples in orchards. A thorough literature review was conducted, analyzing approaches that integrate deep neural networks with traditional SLAM methods, identifying promising applications in various fields, including agriculture. Data collection was performed using a stereoscopic camera, capturing images with depth information. Bounding boxes were manually annotated around visible apples, and the MinneApple dataset was added to enhance model generalization. We trained 12 variations of the YOLO architecture, with YOLOv5x achieving the best performance, reaching 0.861 in F1-Score on the validation set. An algorithm was developed to estimate the distance to each detected apple, integrating it into the YOLO detection pipeline. The results demonstrated the accuracy and real-time viability of the system, allowing efficient detection and distance estimation of apples. This work contributes to the evolution of the combination of DL and SLAM, opening new research prospects for automation and robotics, particularly in fruit orchard monitoring and harvesting applications.
publishDate 2024
dc.date.accessioned.fl_str_mv 2024-04-18T23:36:44Z
dc.date.available.fl_str_mv 2024-04-18T23:36:44Z
dc.date.issued.fl_str_mv 2024
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://repositorio.ufms.br/handle/123456789/8679
url https://repositorio.ufms.br/handle/123456789/8679
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Fundação Universidade Federal de Mato Grosso do Sul
dc.publisher.initials.fl_str_mv UFMS
dc.publisher.country.fl_str_mv Brasil
publisher.none.fl_str_mv Fundação Universidade Federal de Mato Grosso do Sul
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFMS
instname:Universidade Federal de Mato Grosso do Sul (UFMS)
instacron:UFMS
instname_str Universidade Federal de Mato Grosso do Sul (UFMS)
instacron_str UFMS
institution UFMS
reponame_str Repositório Institucional da UFMS
collection Repositório Institucional da UFMS
bitstream.url.fl_str_mv https://repositorio.ufms.br/bitstream/123456789/8679/-1/Disserta%c3%a7%c3%a3o_Rodrigo_FINAL.pdf
bitstream.checksum.fl_str_mv 9fc94f049d3580d649080120f649beae
bitstream.checksumAlgorithm.fl_str_mv MD5
repository.name.fl_str_mv Repositório Institucional da UFMS - Universidade Federal de Mato Grosso do Sul (UFMS)
repository.mail.fl_str_mv ri.prograd@ufms.br
_version_ 1801678682276757504