Q-learning-based unmanned ground vehicle navigation in warehouse-like environments

Detalhes bibliográficos
Ano de defesa: 2025
Autor(a) principal: Batista, Hiago de Oliveira Braga
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: eng
Instituição de defesa: Universidade Federal de Viçosa
Ciência da Computação
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Aprendizado do computador
Robótica
Bibliotecas - Automação
Armazens gerais - Automação
Ciência da Computação
Link de acesso: https://locus.ufv.br/handle/123456789/34825
https://doi.org/10.47328/ufvbbt.2025.488
Resumo: This dissertation investigates robot navigation in logistics environments, focusing on libraries and warehouses, using the Q-learning method. To this end, three studies are presented, each applying reinforcement learning to optimize task performance and navigation efficiency. The first study employs Q-learning to enhance book organization in the library of the Federal University of Viçosa, reducing planning time and movements by 20% compared to a greedy method while achieving a 100% success rate in task completion. Meanwhile, the second study proposes an offline Q- learning approach for unmanned ground vehicles in warehouses, outperforming traditional algorithms such as Dijkstra, A-star, and Breadth-First Search, with planning speeds up to seven times faster and a reduction in turns of up to 41%. Finally, the third study extends Q-learning to multi-agent navigation in libraries, integrating transfer learning and curriculum learning. As a result, simulations indicated a 94% success rate with nine agents, along with a 73.36% reduction in task steps compared to scenarios with only one agent. Thus, this dissertation highlights the significant potential of reinforcement learning, particularly Q-learning, to enhance robotic navigation efficiency, reduce operational complexity, and optimize logistics processes in dynamic and complex environments. Keywords: path Planning; reinforcement Learning; unmanned Ground Vehicles
id UFV_50c2f43015fe4aa7d0285e297e4e94b8
oai_identifier_str oai:locus.ufv.br:123456789/34825
network_acronym_str UFV
network_name_str LOCUS Repositório Institucional da UFV
repository_id_str
spelling Q-learning-based unmanned ground vehicle navigation in warehouse-like environmentsNavegação de veículos terrestres não tripulados com base em Q- learning em ambientes semelhantes a armazénsAprendizado do computadorRobóticaBibliotecas - AutomaçãoArmazens gerais - AutomaçãoCiência da ComputaçãoThis dissertation investigates robot navigation in logistics environments, focusing on libraries and warehouses, using the Q-learning method. To this end, three studies are presented, each applying reinforcement learning to optimize task performance and navigation efficiency. The first study employs Q-learning to enhance book organization in the library of the Federal University of Viçosa, reducing planning time and movements by 20% compared to a greedy method while achieving a 100% success rate in task completion. Meanwhile, the second study proposes an offline Q- learning approach for unmanned ground vehicles in warehouses, outperforming traditional algorithms such as Dijkstra, A-star, and Breadth-First Search, with planning speeds up to seven times faster and a reduction in turns of up to 41%. Finally, the third study extends Q-learning to multi-agent navigation in libraries, integrating transfer learning and curriculum learning. As a result, simulations indicated a 94% success rate with nine agents, along with a 73.36% reduction in task steps compared to scenarios with only one agent. Thus, this dissertation highlights the significant potential of reinforcement learning, particularly Q-learning, to enhance robotic navigation efficiency, reduce operational complexity, and optimize logistics processes in dynamic and complex environments. Keywords: path Planning; reinforcement Learning; unmanned Ground VehiclesEsta dissertação investiga a navegação de robôs em ambientes logísticos, com foco em bibliotecas e armazéns, utilizando o método de Q-learning. Para isso, são apresentados três estudos que aplicam aprendizado por reforço visando otimizar o desempenho das tarefas e a eficiência na navegação. O primeiro utiliza Q-learning para aprimorar a organização de livros na biblioteca da Universidade Federal de Viçosa, reduzindo o tempo de planejamento e os movimentos em 20% em comparação a um método guloso, além de alcançar uma taxa de sucesso de 100% na conclusão das tarefas. Já o segundo estudo propõe uma abordagem offline de Q- learning para veículos terrestres não tripulados em armazéns, superando algoritmos tradicionais como Dijkstra, A-star e Busca em Largura, com velocidades de planejamento até sete vezes superiores e uma redução nas curvas de até 41%. Por fim, o terceiro estudo expande o Q-learning para a navegação multiagente em bibliotecas, integrando aprendizado por transferência e aprendizado curricular. Como resultado, as simulações indicaram uma taxa de sucesso de 94% com nove agentes, além de uma redução de 73,36% nas etapas das tarefas em relação a cenários com apenas um agente. Dessa forma, esta dissertação evidencia o potencial significativo do aprendizado por reforço, especialmente do Q-learning, para aumentar a eficiência da navegação robótica, reduzir a complexidade operacional e otimizar processos logísticos em ambientes dinâmicos e complexos. Palavras-chave: planejamento de caminho; aprendizado por reforço; robótica terrestreCoordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)Fundação de Amparo à Pesquisa do Estado de Minas Gerais (FAPEMIG)Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq)Universidade Federal de ViçosaCiência da ComputaçãoBrandão, Alexandre Santoshttp://lattes.cnpq.br/0988173500996544Batista, Hiago de Oliveira Braga2025-11-10T11:12:40Z2025-03-28info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisapplication/pdfBATISTA, Hiago de Oliveira Braga. Q-learning-based unmanned ground vehicle navigation in warehouse-like environments. 2025. 60 f. Dissertação (Mestrado em Ciência da Computação) - Universidade Federal de Viçosa, Viçosa. 2025.https://locus.ufv.br/handle/123456789/34825https://doi.org/10.47328/ufvbbt.2025.488enginfo:eu-repo/semantics/openAccessreponame:LOCUS Repositório Institucional da UFVinstname:Universidade Federal de Viçosa (UFV)instacron:UFV2025-11-11T06:02:54Zoai:locus.ufv.br:123456789/34825Repositório InstitucionalPUBhttps://www.locus.ufv.br/oai/requestfabiojreis@ufv.bropendoar:21452025-11-11T06:02:54LOCUS Repositório Institucional da UFV - Universidade Federal de Viçosa (UFV)false
dc.title.none.fl_str_mv Q-learning-based unmanned ground vehicle navigation in warehouse-like environments
Navegação de veículos terrestres não tripulados com base em Q- learning em ambientes semelhantes a armazéns
title Q-learning-based unmanned ground vehicle navigation in warehouse-like environments
spellingShingle Q-learning-based unmanned ground vehicle navigation in warehouse-like environments
Batista, Hiago de Oliveira Braga
Aprendizado do computador
Robótica
Bibliotecas - Automação
Armazens gerais - Automação
Ciência da Computação
title_short Q-learning-based unmanned ground vehicle navigation in warehouse-like environments
title_full Q-learning-based unmanned ground vehicle navigation in warehouse-like environments
title_fullStr Q-learning-based unmanned ground vehicle navigation in warehouse-like environments
title_full_unstemmed Q-learning-based unmanned ground vehicle navigation in warehouse-like environments
title_sort Q-learning-based unmanned ground vehicle navigation in warehouse-like environments
author Batista, Hiago de Oliveira Braga
author_facet Batista, Hiago de Oliveira Braga
author_role author
dc.contributor.none.fl_str_mv Brandão, Alexandre Santos
http://lattes.cnpq.br/0988173500996544
dc.contributor.author.fl_str_mv Batista, Hiago de Oliveira Braga
dc.subject.por.fl_str_mv Aprendizado do computador
Robótica
Bibliotecas - Automação
Armazens gerais - Automação
Ciência da Computação
topic Aprendizado do computador
Robótica
Bibliotecas - Automação
Armazens gerais - Automação
Ciência da Computação
description This dissertation investigates robot navigation in logistics environments, focusing on libraries and warehouses, using the Q-learning method. To this end, three studies are presented, each applying reinforcement learning to optimize task performance and navigation efficiency. The first study employs Q-learning to enhance book organization in the library of the Federal University of Viçosa, reducing planning time and movements by 20% compared to a greedy method while achieving a 100% success rate in task completion. Meanwhile, the second study proposes an offline Q- learning approach for unmanned ground vehicles in warehouses, outperforming traditional algorithms such as Dijkstra, A-star, and Breadth-First Search, with planning speeds up to seven times faster and a reduction in turns of up to 41%. Finally, the third study extends Q-learning to multi-agent navigation in libraries, integrating transfer learning and curriculum learning. As a result, simulations indicated a 94% success rate with nine agents, along with a 73.36% reduction in task steps compared to scenarios with only one agent. Thus, this dissertation highlights the significant potential of reinforcement learning, particularly Q-learning, to enhance robotic navigation efficiency, reduce operational complexity, and optimize logistics processes in dynamic and complex environments. Keywords: path Planning; reinforcement Learning; unmanned Ground Vehicles
publishDate 2025
dc.date.none.fl_str_mv 2025-11-10T11:12:40Z
2025-03-28
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv BATISTA, Hiago de Oliveira Braga. Q-learning-based unmanned ground vehicle navigation in warehouse-like environments. 2025. 60 f. Dissertação (Mestrado em Ciência da Computação) - Universidade Federal de Viçosa, Viçosa. 2025.
https://locus.ufv.br/handle/123456789/34825
https://doi.org/10.47328/ufvbbt.2025.488
identifier_str_mv BATISTA, Hiago de Oliveira Braga. Q-learning-based unmanned ground vehicle navigation in warehouse-like environments. 2025. 60 f. Dissertação (Mestrado em Ciência da Computação) - Universidade Federal de Viçosa, Viçosa. 2025.
url https://locus.ufv.br/handle/123456789/34825
https://doi.org/10.47328/ufvbbt.2025.488
dc.language.iso.fl_str_mv eng
language eng
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Federal de Viçosa
Ciência da Computação
publisher.none.fl_str_mv Universidade Federal de Viçosa
Ciência da Computação
dc.source.none.fl_str_mv reponame:LOCUS Repositório Institucional da UFV
instname:Universidade Federal de Viçosa (UFV)
instacron:UFV
instname_str Universidade Federal de Viçosa (UFV)
instacron_str UFV
institution UFV
reponame_str LOCUS Repositório Institucional da UFV
collection LOCUS Repositório Institucional da UFV
repository.name.fl_str_mv LOCUS Repositório Institucional da UFV - Universidade Federal de Viçosa (UFV)
repository.mail.fl_str_mv fabiojreis@ufv.br
_version_ 1855045552046080000

Registros relacionados