Uma interface para geração de comandos em tempo real para um robô móvel com rodas baseada em fluxo ótico e reconhecimento de características faciais

Detalhes bibliográficos
Ano de defesa: 2015
Autor(a) principal: Oliveira, Pietro Martins de
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Estadual de Maringá
Brasil
Departamento de Informática
Programa de Pós-Graduação em Ciência da Computação
UEM
Maringá, PR
Centro de Tecnologia
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Link de acesso: http://repositorio.uem.br:8080/jspui/handle/1/2580
Resumo: Rehabilitation and improvement of living conditions of people with special motor needs offers many research possibilities. This study has the goal of developing a new interface based on optical flow and facial expressions recognition, aiming to enable people who are able to move muscles above the neck to command an electric wheelchair. This interface uses a webcam directed to the face of the user, in order to capture a sequence of images, which are processed aiming to recognize facial patterns that serve as commands for the system to perform some action in real time. This action is sent to a robot that represents the wheelchair. The system is divided into two modules, the first named Computer Vision Module MVC and the other is the Robotic Module MR. The first module applies computer vision techniques to recognize facial expressions and head movements, interpreting the intentions of moving from the user, and thus, sending commands to the robot. The second module is a wheeled mobile robot RMR which has its degree of maneuverability equal to (2,0), which are the same degrees of an wheelchair. This robot receives the commands generated by the MVC by means of a bluetooth communication interface, and then performs the movements that a wheelchair would do in a real situation. Tests were conducted involving various types of environment lighting, and also people with different skin tones. The experimental results show that it is possible to control the movements of an RMR by means of the analysis of images that captures the head movements and facial expressions. Indoor environments showed high rates in the correct recognition, and also very low false command recognition rates.
id UEM-10_a1bfdbdff94ce66d461253e760ff4686
oai_identifier_str oai:localhost:1/2580
network_acronym_str UEM-10
network_name_str Repositório Institucional da Universidade Estadual de Maringá (RI-UEM)
repository_id_str
spelling Uma interface para geração de comandos em tempo real para um robô móvel com rodas baseada em fluxo ótico e reconhecimento de características faciaisInteração humano-computadorRobô móvelCadeiras de rodas inteligentesBrasil.Intelligent wheelchairWheeled mobile robotHuman-machine interfaceBrazil.Ciências Exatas e da TerraCiência da ComputaçãoRehabilitation and improvement of living conditions of people with special motor needs offers many research possibilities. This study has the goal of developing a new interface based on optical flow and facial expressions recognition, aiming to enable people who are able to move muscles above the neck to command an electric wheelchair. This interface uses a webcam directed to the face of the user, in order to capture a sequence of images, which are processed aiming to recognize facial patterns that serve as commands for the system to perform some action in real time. This action is sent to a robot that represents the wheelchair. The system is divided into two modules, the first named Computer Vision Module MVC and the other is the Robotic Module MR. The first module applies computer vision techniques to recognize facial expressions and head movements, interpreting the intentions of moving from the user, and thus, sending commands to the robot. The second module is a wheeled mobile robot RMR which has its degree of maneuverability equal to (2,0), which are the same degrees of an wheelchair. This robot receives the commands generated by the MVC by means of a bluetooth communication interface, and then performs the movements that a wheelchair would do in a real situation. Tests were conducted involving various types of environment lighting, and also people with different skin tones. The experimental results show that it is possible to control the movements of an RMR by means of the analysis of images that captures the head movements and facial expressions. Indoor environments showed high rates in the correct recognition, and also very low false command recognition rates.A reabilitação e melhoria das condições de vida de portadores de necessidades motoras especiais oferecem muitas possibilidades de pesquisa. O presente trabalho tem o objetivo de desenvolver uma nova interface baseada em fluxo ótico e reconhecimento de expressões faciais, com o intuíto de permitir que uma pessoa, que possua os movimentos do pescoço para cima, comande uma cadeira de rodas elétrica. Essa interface faz uso de uma webcam voltada para o rosto do usuário, para capturar uma sequência de imagens as quais são processadas com a finalidade de reconhecer padrões faciais que sirvam como comandos para que o sistema realize alguma ação em tempo real. Essa ação é enviada a um robô que representa a cadeira de rodas. O projeto é dividido em duas partes, a primeira denominada Módulo de Visão Computacional (MVC) e a outra é o Módulo Robótico (MR). O primeiro módulo aplica técnicas de visão computacional para reconhecer as expressões do rosto, e movimentos da cabeça, interpretando as intenções de se locomover do usuário, e assim, enviando comandos para o robô. O segundo módulo é um Robô Móvel com Rodas (RMR) que possui grau de manobrabilidade igual a (2,0), o qual é o mesmo grau que possui uma cadeira de rodas. Esse robô recebe os comandos gerados pelo MVC por meio de uma interface de comunicação bluetooth, e então realiza os movimentos que uma cadeira de rodas faria em uma situação real. Foram realizados testes envolvendo diferentes tipos de iluminação ambiente, e também pessoas com tons de pele variados. Os resultados experimentais mostram que é possível comandar o movimento de um RMR pela analise de imagens que capturam os movimentos da cabeça e expressões do rosto. Ambientes internos apresentaram altas taxas no reconhecimento correto, e também baixíssimas taxas de falso reconhecimento de comandos.76 fUniversidade Estadual de MaringáBrasilDepartamento de InformáticaPrograma de Pós-Graduação em Ciência da ComputaçãoUEMMaringá, PRCentro de TecnologiaFranklin César FloresYandre Maldonado e Gomes da Costa - UEMLeticia Rittner - UNICAMPOliveira, Pietro Martins de2018-04-10T20:12:28Z2018-04-10T20:12:28Z2015info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesishttp://repositorio.uem.br:8080/jspui/handle/1/2580porinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da Universidade Estadual de Maringá (RI-UEM)instname:Universidade Estadual de Maringá (UEM)instacron:UEM2018-10-18T19:23:15Zoai:localhost:1/2580Repositório InstitucionalPUBhttp://repositorio.uem.br:8080/oai/requestopendoar:2024-04-23T14:55:38.739646Repositório Institucional da Universidade Estadual de Maringá (RI-UEM) - Universidade Estadual de Maringá (UEM)false
dc.title.none.fl_str_mv Uma interface para geração de comandos em tempo real para um robô móvel com rodas baseada em fluxo ótico e reconhecimento de características faciais
title Uma interface para geração de comandos em tempo real para um robô móvel com rodas baseada em fluxo ótico e reconhecimento de características faciais
spellingShingle Uma interface para geração de comandos em tempo real para um robô móvel com rodas baseada em fluxo ótico e reconhecimento de características faciais
Oliveira, Pietro Martins de
Interação humano-computador
Robô móvel
Cadeiras de rodas inteligentes
Brasil.
Intelligent wheelchair
Wheeled mobile robot
Human-machine interface
Brazil.
Ciências Exatas e da Terra
Ciência da Computação
title_short Uma interface para geração de comandos em tempo real para um robô móvel com rodas baseada em fluxo ótico e reconhecimento de características faciais
title_full Uma interface para geração de comandos em tempo real para um robô móvel com rodas baseada em fluxo ótico e reconhecimento de características faciais
title_fullStr Uma interface para geração de comandos em tempo real para um robô móvel com rodas baseada em fluxo ótico e reconhecimento de características faciais
title_full_unstemmed Uma interface para geração de comandos em tempo real para um robô móvel com rodas baseada em fluxo ótico e reconhecimento de características faciais
title_sort Uma interface para geração de comandos em tempo real para um robô móvel com rodas baseada em fluxo ótico e reconhecimento de características faciais
author Oliveira, Pietro Martins de
author_facet Oliveira, Pietro Martins de
author_role author
dc.contributor.none.fl_str_mv Franklin César Flores
Yandre Maldonado e Gomes da Costa - UEM
Leticia Rittner - UNICAMP
dc.contributor.author.fl_str_mv Oliveira, Pietro Martins de
dc.subject.por.fl_str_mv Interação humano-computador
Robô móvel
Cadeiras de rodas inteligentes
Brasil.
Intelligent wheelchair
Wheeled mobile robot
Human-machine interface
Brazil.
Ciências Exatas e da Terra
Ciência da Computação
topic Interação humano-computador
Robô móvel
Cadeiras de rodas inteligentes
Brasil.
Intelligent wheelchair
Wheeled mobile robot
Human-machine interface
Brazil.
Ciências Exatas e da Terra
Ciência da Computação
description Rehabilitation and improvement of living conditions of people with special motor needs offers many research possibilities. This study has the goal of developing a new interface based on optical flow and facial expressions recognition, aiming to enable people who are able to move muscles above the neck to command an electric wheelchair. This interface uses a webcam directed to the face of the user, in order to capture a sequence of images, which are processed aiming to recognize facial patterns that serve as commands for the system to perform some action in real time. This action is sent to a robot that represents the wheelchair. The system is divided into two modules, the first named Computer Vision Module MVC and the other is the Robotic Module MR. The first module applies computer vision techniques to recognize facial expressions and head movements, interpreting the intentions of moving from the user, and thus, sending commands to the robot. The second module is a wheeled mobile robot RMR which has its degree of maneuverability equal to (2,0), which are the same degrees of an wheelchair. This robot receives the commands generated by the MVC by means of a bluetooth communication interface, and then performs the movements that a wheelchair would do in a real situation. Tests were conducted involving various types of environment lighting, and also people with different skin tones. The experimental results show that it is possible to control the movements of an RMR by means of the analysis of images that captures the head movements and facial expressions. Indoor environments showed high rates in the correct recognition, and also very low false command recognition rates.
publishDate 2015
dc.date.none.fl_str_mv 2015
2018-04-10T20:12:28Z
2018-04-10T20:12:28Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv http://repositorio.uem.br:8080/jspui/handle/1/2580
url http://repositorio.uem.br:8080/jspui/handle/1/2580
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Estadual de Maringá
Brasil
Departamento de Informática
Programa de Pós-Graduação em Ciência da Computação
UEM
Maringá, PR
Centro de Tecnologia
publisher.none.fl_str_mv Universidade Estadual de Maringá
Brasil
Departamento de Informática
Programa de Pós-Graduação em Ciência da Computação
UEM
Maringá, PR
Centro de Tecnologia
dc.source.none.fl_str_mv reponame:Repositório Institucional da Universidade Estadual de Maringá (RI-UEM)
instname:Universidade Estadual de Maringá (UEM)
instacron:UEM
instname_str Universidade Estadual de Maringá (UEM)
instacron_str UEM
institution UEM
reponame_str Repositório Institucional da Universidade Estadual de Maringá (RI-UEM)
collection Repositório Institucional da Universidade Estadual de Maringá (RI-UEM)
repository.name.fl_str_mv Repositório Institucional da Universidade Estadual de Maringá (RI-UEM) - Universidade Estadual de Maringá (UEM)
repository.mail.fl_str_mv
_version_ 1801841501697736704