A fast selective grasping algorithm with deep learning and autonomous dataset creation on point cloud

• Ano de defesa: 2024
• Autor(a) principal: Oliveira, Daniel Moura de
• Orientador(a): Conceição, André Gustavo Scolari
• Banca de defesa: Conceição, André Gustavo Scolari, Ribeiro, Tiago Trindade, Farias, Paulo César Machado de Abreu, Braga, Rodrigo de Antônio Marques, Alsina, Pablo Javier
• Tipo de documento: Tese
• Tipo de acesso: Acesso aberto
• Idioma: eng
• Instituição de defesa: Universidade Federal da Bahia
• Programa de Pós-Graduação: Programa de Pós-Graduação em Engenharia Elétrica (PPGEE)
• Departamento: Escola Politécnica
• País: Brasil
• Palavras-chave em Português: Manipulador Robotico; Nuvem de Pontos; Aprendizado Profundo; Preensão; Visão computacional
• Área do conhecimento CNPq: CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA::ELETRONICA INDUSTRIAL, SISTEMAS E CONTROLES ELETRONICOS::AUTOMACAO ELETRONICA DE PROCESSOS ELETRICOS E INDUSTRIAIS
• Link de acesso: https://repositorio.ufba.br/handle/ri/39437

Preensão de objetos apresenta desafio de diversos tipos, devido a variação de forma, perspectiva, material, rugosidade e a condições do ambiente, fazendo da preensão uma tarefa complexa. Esse trabalho apresenta um algoritmo feito para lidar com esses problemas utilizando nuvem de pontos devido a sua melhor noção de profundidade e geometria do objeto em comparação a imagens RGB. O algoritmo proposto utiliza primitivas geométricas e curvaturas laterais para identificar o melhor local para se pegar um objeto de forma rápida e eficiente, onde somente a geometria do objeto é considerada para fazer a análise. Para garantir a seleção de objetos de desejo para se realizar a preensão, uma rede neural de classificação, chamada de Point Encode Convolution (PEC), foi desenvolvida. A rede foi feita para ser utilizada em nuvem de pontos de sensor RGB-D e possui tempo baixo de execução e treinamento. Esse design flexível permite que a rede seja treinada e retreinada de forma eficiente, sendo facilmente adaptável para diversos grupos de objetos. Para auxiliar no processo de treinamento, um método de geração de datasets de forma autônoma foi proposto. Este método elimina a necessidade de anotação manual e é feito em um ambiente de simulação, como o Isaac Sim ou outro simulador que possua a opção de manipular objetos por script. A validação de ambos os algoritmos, de forma individual e em conjunto, foi conduzida em dois sistemas. O primeiro sistema integra o algoritmo de preensão com uma rede neural capaz de detectar objetos e estimar a pose em 6D. A validação inicial foi feita em ambiente simulado do Gazebo e Webots, onde o Gazebo foi utilizado para validação visual e o Webots para validar a preensão devido a sua melhor física sem a necessidade de plugins externos. Entretanto, devido a certas limitações das redes de detecção de objetos e estimação de pose em 6D, a rede foi excluída na execução da validação experimental. Já o segundo sistema, combina ambos os algoritmos para execução de tarefas em preensão seletiva. A validação experimental é conduzida usando um manipulador robótico UR5, o sensor visual RGB-D Intel Realsense D435 e uma garra Robotiq 2F-140. A rede neural proposta atingiu uma acurácia de 92.24% em um dataset de uso público, enquanto isso, o algoritmo de preensão atingiu uma média de 94% de sucesso em tarefas de preensão. O tempo de execução de ambos os algoritmos está por volta de 0.002 segundos cada.