Aprendizagem por reforço na adaptação a obstáculos em navegação robótica autônoma não-estruturada baseada em imagens

• Ano de defesa: 2006
• Autor(a) principal: Leandro Toss Hoffmann
• Orientador(a): José Demisio Simões da Silva
• Banca de defesa: Rafael Duarte Coelho dos Santos, Fernando Santos Osório
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Instituto Nacional de Pesquisas Espaciais (INPE)
• Programa de Pós-Graduação: Programa de Pós-Graduação do INPE em Computação Aplicada
• País: BR
• Resumo em Inglês: In the last decades, robotic has become an important role for society, specially in the manufacturing industry. In recent times, applications of mobile robots, from simple toys to planets explorations, has shown how promising will be the use of these tools in a close future. Though, the cost and complexity in developing mobile robots nowadays, which should be suciently flexible and still helpful, has been a diculty for its broad deployment. Hence, Artificial Intelligence techniques has been studied frequently, aiming for introducing a learnable, flexible, and autonomous behavior to robotic systems. This work presents a machine learning study, applied to autonomous navigation in mobile robotic. The main goal is to analyze reinforcement learning techniques performance, when using low cost and low accuracy mobile robots, with on-board computer vision sensors. Thus, a robot was modeled as a learning agent architecture, which is able to learn to navigate autonomously in indoor non-structured environments, using images taken by a Charge-Coupled Device (CCD) camera. Computer vision operators are made with Artificial Neural Networks and image labeling algorithms, to recognize objects by its spectral features. Relative positions from images objects are used to define the agent state, which experiments actions, and learn to optimize its decision making process. The learning agent architecture implementation is supported by a prototype system, called Cool Autonomous Navigation Enterprise with Learning Agents (Canela), which holds the CCDs sensors connections and manages the experiments. Using the Q-learning algorithm, two reinforcement learning based models were developed. The first model aims to build a simple obstacle avoidance navigation system, and the second an environments homogeneous exploration navigation system. To evaluate the first model, a series of experiments were conducted in a real environment. The results has shown agents learning capabilities on obstacle avoidance and navigation in an unknown environment. The second model was evaluated by simulation experiments whose brought good results on applying a more complex and multi-goal oriented navigation system. The results encourage to use reinforcement learning based models in mobile robots navigation systems, bringing an interesting choice to traditional programming methods.
• Link de acesso: http://urlib.net/sid.inpe.br/MTC-m13@80/2006/05.04.18.27

Nas últimas décadas, a robótica tem desempenhado um papel importante na sociedade, com participação de destaque na indústria de manufatura de bens. Mais recentemente, aplicações de robôs móveis, desde simples brinquedos até a exploração de outros planetas, tem demonstrado o quão promissor o uso dessas ferramentas será num futuro próximo. Contudo, atualmente o custo e a complexidade de construção de robôs móveis, que sejam suficientemente flexíveis e ao mesmo tempo úteis, tem sido uma barreira para sua ampla disseminação. Neste sentido, técnicas de Inteligência Artificial vem sendo frequentemente estudadas, a fim de dotar os sistemas robóticos com capacidades de aprendizado, adaptação e autonomia. Este trabalho apresenta um estudo de aprendizagem de máquina, aplicado a navegação autônoma em robótica móvel. O objetivo principal é avaliar o desempenho de técnicas de aprendizagem por reforço, no uso de robôs móveis de baixo custo e baixa precisão, equipados com sensores de visão computacional. Para tanto, um robô foi modelado à luz de uma arquitetura de agente de aprendizagem, para através de imagens obtidas por uma câmera Charge-Coupled Device (CCD), ser capaz de aprender a navegar de forma autônoma, em ambientes internos não-estruturados. Os operadores de visão computacional são construídos com Redes Neurais Artificiais e algoritmos de rotulação de imagem, que identificam objetos diferenciados por suas características radiométricas. As posições relativas dos objetos na imagem são utilizadas para definir o estado do agente, que através da experimentação de ações, aprende a otimizar o seu processo de tomada de decisão. A implementação da arquitetura do agente de aprendizagem é suportada pelo protótipo de sistema Cool Autonomous Navigation Enterprise with Learning Agents (Canela), que viabilizou principalmente a conexão de sensores CCDs e a condução dos experimentos. Duas modelagens com aprendizado por reforço foram desenvolvidas, utilizando o algoritmo Q-learning, sendo o intuito da primeira prover uma navegação simples, evitando-se obstáculos e da segunda a exploração homogênea do ambiente. Uma série de ensaios foram realizados em um ambiente real, para validar a primeira modelagem. Os resultados obtidos demonstraram a capacidade de aprendizagem do agente, que navegou por um ambiente inicialmente desconhecido. Com a segunda modelagem, validada em experimentos de simulação, foi possível avaliar o bom desempenho de um sistema de navegação mais complexo, orientado a multi-objetivos. Os resultados encorajam o uso da modelagem de sistemas de navegação de robôs móveis, baseados em técnicas de aprendizado por reforço, proporcionando uma alternativa interessante aos métodos de programação tradicionais.