Reconhecimento de gestos customizados da mão em tempo real usando aprendizado de métricas e grafos de ação

Detalhes bibliográficos
Ano de defesa: 2017
Autor(a) principal: Silva, Samuel Rocha lattes
Orientador(a): Vieira, Thales Miranda de Almeida lattes
Banca de defesa: Silva, Adelailson Peixoto da lattes, Morera, Dimas Martinez lattes, Vieira, Tiago Figueiredo lattes
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Federal de Alagoas
Programa de Pós-Graduação: Programa de Pós-Graduação em Matemática
Departamento: Não Informado pela instituição
País: Brasil
Palavras-chave em Português:
Língua Brasileira de Sinais (LIBRAS)
Leap motion
Aprendizagem de máquina
Reconhecimento de gestos
Aprendizagem de métrica
Brazilian sign language
Machine learning
Recognition of gestures
Metric learning
Área do conhecimento CNPq:
CNPQ::CIENCIAS EXATAS E DA TERRA::MATEMATICA
Link de acesso: http://www.repositorio.ufal.br/handle/riufal/2257
Resumo: Devido à recente popularização dos sensores de profundidade e de movimento, o reconhecimento eficiente de gestos humanos tem se apresentado como uma alternativa para interação homem-máquina. Nesta dissertação tratamos, em particular, do reconhecimento de gestos da mão em tempo real utilizando o sensor Leap Motion. Consideramos que um gesto dinâmico, em geral, pode ser representado por uma pequena sequência finita de poses estáticas, as quais são treinadas e reconhecidas por um novo classificador baseado em aprendizagem de métricas denominado Classificador de Distâncias Médias Mínimas (DMM). Para aprender métricas no espaço de poses, experimentamos o algoritmo Large Margin Nearest Neighbor (LMNN) nas versões linear e não-linear. Para reconhecer gestos dinâmicos, apresentamos um classificador baseado nos Modelos ocultos de Markov (HMM) e em grafos de ação. Com esta abordagem probabilística, mostramos que gestos dinâmicos da mão podem ser reconhecidos em tempo real e online, ou seja, sem a necessidade de pausas ou segmentações extras por parte do usuário. Finalmente, experimentamos o método proposto em quatro aplicações, onde destacamos o reconhecimento de sinais da Língua Brasileira de Sinais (LIBRAS). Os resultados apresentados mostram a robustez de todas as variações do método proposto.
id UFAL_dd7a276abf9d36b722cce44173cc628b
oai_identifier_str oai:www.repositorio.ufal.br:riufal/2257
network_acronym_str UFAL
network_name_str Repositório Institucional da Universidade Federal de Alagoas (UFAL)
repository_id_str
spelling Vieira, Thales Miranda de Almeidahttp://lattes.cnpq.br/8181104476035846Silva, Adelailson Peixoto dahttp://lattes.cnpq.br/3899898023629349Morera, Dimas Martinezhttp://lattes.cnpq.br/9474423287192932Vieira, Tiago Figueiredohttp://lattes.cnpq.br/8601011832053651http://lattes.cnpq.br/2901800540357404Silva, Samuel Rocha2018-01-10T13:03:02Z2018-01-092018-01-10T13:03:02Z2017-09-13SILVA, Samuel Rocha. Reconhecimento de gestos customizados da mão em tempo real usando aprendizado de métricas e grafos de ação. 2017. 111 f. Dissertação (Mestrado em Matemática) - Instituto de Matemática, Programa de Pós-Graduação em Matemática, Universidade Federal de Alagoas, Maceió, 2017.http://www.repositorio.ufal.br/handle/riufal/2257Devido à recente popularização dos sensores de profundidade e de movimento, o reconhecimento eficiente de gestos humanos tem se apresentado como uma alternativa para interação homem-máquina. Nesta dissertação tratamos, em particular, do reconhecimento de gestos da mão em tempo real utilizando o sensor Leap Motion. Consideramos que um gesto dinâmico, em geral, pode ser representado por uma pequena sequência finita de poses estáticas, as quais são treinadas e reconhecidas por um novo classificador baseado em aprendizagem de métricas denominado Classificador de Distâncias Médias Mínimas (DMM). Para aprender métricas no espaço de poses, experimentamos o algoritmo Large Margin Nearest Neighbor (LMNN) nas versões linear e não-linear. Para reconhecer gestos dinâmicos, apresentamos um classificador baseado nos Modelos ocultos de Markov (HMM) e em grafos de ação. Com esta abordagem probabilística, mostramos que gestos dinâmicos da mão podem ser reconhecidos em tempo real e online, ou seja, sem a necessidade de pausas ou segmentações extras por parte do usuário. Finalmente, experimentamos o método proposto em quatro aplicações, onde destacamos o reconhecimento de sinais da Língua Brasileira de Sinais (LIBRAS). Os resultados apresentados mostram a robustez de todas as variações do método proposto.The recent popularization of depth and motion sensors, human gestures recognition has become an alternative for human-computer interaction. In this Masters dissertation we focus on hand gesture recognition in real time using the Leap Motion sensor. We consider that a dynamic gesture can be represented by a small finite sequence of static poses, which are trained and recognized by a novel classifier based on metric learning called Minimal Mean Distances Classifier (MMD). To learn metrics in the pose space, we experimented the Large Margin Nearest Neighbor (LMNN) algorithm in both linear and non-linear variants. To recognize dynamic gestures, we present a classifier based on the Hidden Markov Model (HMM) and action graphs. Using this probabilistic approach, we show that dynamic hand gestures can be recognized in real-time and online (not requiring pauses or segmentation information to the user). Finally, we experimented the proposed method in four applications, highlighting the recognition of signals of the Brazilian Sign Language (LIBRAS). The presented results show the robustness of all variations of the proposed method.Coordenação de Aperfeiçoamento de Pessoal de Nível SuperiorporUniversidade Federal de AlagoasPrograma de Pós-Graduação em MatemáticaUFALBrasilCNPQ::CIENCIAS EXATAS E DA TERRA::MATEMATICALíngua Brasileira de Sinais (LIBRAS)Leap motionAprendizagem de máquinaReconhecimento de gestosAprendizagem de métricaBrazilian sign languageMachine learningRecognition of gesturesMetric learningReconhecimento de gestos customizados da mão em tempo real usando aprendizado de métricas e grafos de açãoCustom hand gestures recognition in real time using metric learning and action graphsinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da Universidade Federal de Alagoas (UFAL)instname:Universidade Federal de Alagoas (UFAL)instacron:UFALORIGINALReconhecimento de gestos customizados da mão em tempo real usando aprendizado de métricas e grafos de ação.pdfReconhecimento de gestos customizados da mão em tempo real usando aprendizado de métricas e grafos de ação.pdfapplication/pdf6802307http://www.repositorio.ufal.br/jspui/bitstream/riufal/2257/1/Reconhecimento%20de%20gestos%20customizados%20da%20m%c3%a3o%20em%20tempo%20real%20usando%20aprendizado%20de%20m%c3%a9tricas%20e%20grafos%20de%20a%c3%a7%c3%a3o.pdf01acba6820fdad2a57b85974e6d0532fMD51LICENSElicense.txtlicense.txttext/plain; charset=utf-81866http://www.repositorio.ufal.br/jspui/bitstream/riufal/2257/2/license.txt43cd690d6a359e86c1fe3d5b7cba0c9bMD52riufal/22572019-01-11 17:13:26.042oai:www.repositorio.ufal.br:riufal/2257TElDRU7Dh0EgREUgRElTVFJJQlVJw4fDg08gTsODTy1FWENMVVNJVkEKCkNvbSBhIGFwcmVzZW50YcOnw6NvIGRlc3RhIGxpY2Vuw6dhLCB2b2PDqiAobyBhdXRvciAoZXMpIG91IG8gdGl0dWxhciBkb3MgZGlyZWl0b3MgZGUgYXV0b3IpIGNvbmNlZGUgYW8gUmVwb3NpdMOzcmlvIApJbnN0aXR1Y2lvbmFsIG8gZGlyZWl0byBuw6NvLWV4Y2x1c2l2byBkZSByZXByb2R1emlyLCAgdHJhZHV6aXIgKGNvbmZvcm1lIGRlZmluaWRvIGFiYWl4byksIGUvb3UgZGlzdHJpYnVpciBhIApzdWEgcHVibGljYcOnw6NvIChpbmNsdWluZG8gbyByZXN1bW8pIHBvciB0b2RvIG8gbXVuZG8gbm8gZm9ybWF0byBpbXByZXNzbyBlIGVsZXRyw7RuaWNvIGUgZW0gcXVhbHF1ZXIgbWVpbywgaW5jbHVpbmRvIG9zIApmb3JtYXRvcyDDoXVkaW8gb3UgdsOtZGVvLgoKVm9jw6ogY29uY29yZGEgcXVlIG8gRGVwb3NpdGEgcG9kZSwgc2VtIGFsdGVyYXIgbyBjb250ZcO6ZG8sIHRyYW5zcG9yIGEgc3VhIHB1YmxpY2HDp8OjbyBwYXJhIHF1YWxxdWVyIG1laW8gb3UgZm9ybWF0byAKcGFyYSBmaW5zIGRlIHByZXNlcnZhw6fDo28uCgpWb2PDqiB0YW1iw6ltIGNvbmNvcmRhIHF1ZSBvIERlcG9zaXRhIHBvZGUgbWFudGVyIG1haXMgZGUgdW1hIGPDs3BpYSBkZSBzdWEgcHVibGljYcOnw6NvIHBhcmEgZmlucyBkZSBzZWd1cmFuw6dhLCBiYWNrLXVwIAplIHByZXNlcnZhw6fDo28uCgpWb2PDqiBkZWNsYXJhIHF1ZSBhIHN1YSBwdWJsaWNhw6fDo28gw6kgb3JpZ2luYWwgZSBxdWUgdm9jw6ogdGVtIG8gcG9kZXIgZGUgY29uY2VkZXIgb3MgZGlyZWl0b3MgY29udGlkb3MgbmVzdGEgbGljZW7Dp2EuIApWb2PDqiB0YW1iw6ltIGRlY2xhcmEgcXVlIG8gZGVww7NzaXRvIGRhIHN1YSBwdWJsaWNhw6fDo28gbsOjbywgcXVlIHNlamEgZGUgc2V1IGNvbmhlY2ltZW50bywgaW5mcmluZ2UgZGlyZWl0b3MgYXV0b3JhaXMgCmRlIG5pbmd1w6ltLgoKQ2FzbyBhIHN1YSBwdWJsaWNhw6fDo28gY29udGVuaGEgbWF0ZXJpYWwgcXVlIHZvY8OqIG7Do28gcG9zc3VpIGEgdGl0dWxhcmlkYWRlIGRvcyBkaXJlaXRvcyBhdXRvcmFpcywgdm9jw6ogZGVjbGFyYSBxdWUgCm9idGV2ZSBhIHBlcm1pc3PDo28gaXJyZXN0cml0YSBkbyBkZXRlbnRvciBkb3MgZGlyZWl0b3MgYXV0b3JhaXMgcGFyYSBjb25jZWRlciBhbyBEZXBvc2l0YSBvcyBkaXJlaXRvcyBhcHJlc2VudGFkb3MgCm5lc3RhIGxpY2Vuw6dhLCBlIHF1ZSBlc3NlIG1hdGVyaWFsIGRlIHByb3ByaWVkYWRlIGRlIHRlcmNlaXJvcyBlc3TDoSBjbGFyYW1lbnRlIGlkZW50aWZpY2FkbyBlIHJlY29uaGVjaWRvIG5vIHRleHRvIApvdSBubyBjb250ZcO6ZG8gZGEgcHVibGljYcOnw6NvIG9yYSBkZXBvc2l0YWRhLgoKQ0FTTyBBIFBVQkxJQ0HDh8ODTyBPUkEgREVQT1NJVEFEQSBURU5IQSBTSURPIFJFU1VMVEFETyBERSBVTSBQQVRST0PDjU5JTyBPVSBBUE9JTyBERSBVTUEgQUfDik5DSUEgREUgRk9NRU5UTyBPVSBPVVRSTyAKT1JHQU5JU01PLCBWT0PDiiBERUNMQVJBIFFVRSBSRVNQRUlUT1UgVE9ET1MgRSBRVUFJU1FVRVIgRElSRUlUT1MgREUgUkVWSVPDg08gQ09NTyBUQU1Cw4lNIEFTIERFTUFJUyBPQlJJR0HDh8OVRVMgCkVYSUdJREFTIFBPUiBDT05UUkFUTyBPVSBBQ09SRE8uCgpPIERlcG9zaXRhIHNlIGNvbXByb21ldGUgYSBpZGVudGlmaWNhciBjbGFyYW1lbnRlIG8gc2V1IG5vbWUgKHMpIG91IG8ocykgbm9tZShzKSBkbyhzKSBkZXRlbnRvcihlcykgZG9zIGRpcmVpdG9zIAphdXRvcmFpcyBkYSBwdWJsaWNhw6fDo28sIGUgbsOjbyBmYXLDoSBxdWFscXVlciBhbHRlcmHDp8OjbywgYWzDqW0gZGFxdWVsYXMgY29uY2VkaWRhcyBwb3IgZXN0YSBsaWNlbsOnYS4KRepositório InstitucionalPUBhttp://www.repositorio.ufal.br/oai/requestri@sibi.ufal.bropendoar:46482019-01-11T17:13:26Repositório Institucional da Universidade Federal de Alagoas (UFAL) - Universidade Federal de Alagoas (UFAL)false
dc.title.pt_BR.fl_str_mv Reconhecimento de gestos customizados da mão em tempo real usando aprendizado de métricas e grafos de ação
dc.title.alternative.pt_BR.fl_str_mv Custom hand gestures recognition in real time using metric learning and action graphs
title Reconhecimento de gestos customizados da mão em tempo real usando aprendizado de métricas e grafos de ação
spellingShingle Reconhecimento de gestos customizados da mão em tempo real usando aprendizado de métricas e grafos de ação
Silva, Samuel Rocha
CNPQ::CIENCIAS EXATAS E DA TERRA::MATEMATICA
Língua Brasileira de Sinais (LIBRAS)
Leap motion
Aprendizagem de máquina
Reconhecimento de gestos
Aprendizagem de métrica
Brazilian sign language
Machine learning
Recognition of gestures
Metric learning
title_short Reconhecimento de gestos customizados da mão em tempo real usando aprendizado de métricas e grafos de ação
title_full Reconhecimento de gestos customizados da mão em tempo real usando aprendizado de métricas e grafos de ação
title_fullStr Reconhecimento de gestos customizados da mão em tempo real usando aprendizado de métricas e grafos de ação
title_full_unstemmed Reconhecimento de gestos customizados da mão em tempo real usando aprendizado de métricas e grafos de ação
title_sort Reconhecimento de gestos customizados da mão em tempo real usando aprendizado de métricas e grafos de ação
author Silva, Samuel Rocha
author_facet Silva, Samuel Rocha
author_role author
dc.contributor.advisor1.fl_str_mv Vieira, Thales Miranda de Almeida
dc.contributor.advisor1Lattes.fl_str_mv http://lattes.cnpq.br/8181104476035846
dc.contributor.referee1.fl_str_mv Silva, Adelailson Peixoto da
dc.contributor.referee1Lattes.fl_str_mv http://lattes.cnpq.br/3899898023629349
dc.contributor.referee2.fl_str_mv Morera, Dimas Martinez
dc.contributor.referee2Lattes.fl_str_mv http://lattes.cnpq.br/9474423287192932
dc.contributor.referee3.fl_str_mv Vieira, Tiago Figueiredo
dc.contributor.referee3Lattes.fl_str_mv http://lattes.cnpq.br/8601011832053651
dc.contributor.authorLattes.fl_str_mv http://lattes.cnpq.br/2901800540357404
dc.contributor.author.fl_str_mv Silva, Samuel Rocha
contributor_str_mv Vieira, Thales Miranda de Almeida
Silva, Adelailson Peixoto da
Morera, Dimas Martinez
Vieira, Tiago Figueiredo
dc.subject.cnpq.fl_str_mv CNPQ::CIENCIAS EXATAS E DA TERRA::MATEMATICA
topic CNPQ::CIENCIAS EXATAS E DA TERRA::MATEMATICA
Língua Brasileira de Sinais (LIBRAS)
Leap motion
Aprendizagem de máquina
Reconhecimento de gestos
Aprendizagem de métrica
Brazilian sign language
Machine learning
Recognition of gestures
Metric learning
dc.subject.por.fl_str_mv Língua Brasileira de Sinais (LIBRAS)
Leap motion
Aprendizagem de máquina
Reconhecimento de gestos
Aprendizagem de métrica
Brazilian sign language
Machine learning
Recognition of gestures
Metric learning
description Devido à recente popularização dos sensores de profundidade e de movimento, o reconhecimento eficiente de gestos humanos tem se apresentado como uma alternativa para interação homem-máquina. Nesta dissertação tratamos, em particular, do reconhecimento de gestos da mão em tempo real utilizando o sensor Leap Motion. Consideramos que um gesto dinâmico, em geral, pode ser representado por uma pequena sequência finita de poses estáticas, as quais são treinadas e reconhecidas por um novo classificador baseado em aprendizagem de métricas denominado Classificador de Distâncias Médias Mínimas (DMM). Para aprender métricas no espaço de poses, experimentamos o algoritmo Large Margin Nearest Neighbor (LMNN) nas versões linear e não-linear. Para reconhecer gestos dinâmicos, apresentamos um classificador baseado nos Modelos ocultos de Markov (HMM) e em grafos de ação. Com esta abordagem probabilística, mostramos que gestos dinâmicos da mão podem ser reconhecidos em tempo real e online, ou seja, sem a necessidade de pausas ou segmentações extras por parte do usuário. Finalmente, experimentamos o método proposto em quatro aplicações, onde destacamos o reconhecimento de sinais da Língua Brasileira de Sinais (LIBRAS). Os resultados apresentados mostram a robustez de todas as variações do método proposto.
publishDate 2017
dc.date.issued.fl_str_mv 2017-09-13
dc.date.accessioned.fl_str_mv 2018-01-10T13:03:02Z
dc.date.available.fl_str_mv 2018-01-09
2018-01-10T13:03:02Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv SILVA, Samuel Rocha. Reconhecimento de gestos customizados da mão em tempo real usando aprendizado de métricas e grafos de ação. 2017. 111 f. Dissertação (Mestrado em Matemática) - Instituto de Matemática, Programa de Pós-Graduação em Matemática, Universidade Federal de Alagoas, Maceió, 2017.
dc.identifier.uri.fl_str_mv http://www.repositorio.ufal.br/handle/riufal/2257
identifier_str_mv SILVA, Samuel Rocha. Reconhecimento de gestos customizados da mão em tempo real usando aprendizado de métricas e grafos de ação. 2017. 111 f. Dissertação (Mestrado em Matemática) - Instituto de Matemática, Programa de Pós-Graduação em Matemática, Universidade Federal de Alagoas, Maceió, 2017.
url http://www.repositorio.ufal.br/handle/riufal/2257
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de Alagoas
dc.publisher.program.fl_str_mv Programa de Pós-Graduação em Matemática
dc.publisher.initials.fl_str_mv UFAL
dc.publisher.country.fl_str_mv Brasil
publisher.none.fl_str_mv Universidade Federal de Alagoas
dc.source.none.fl_str_mv reponame:Repositório Institucional da Universidade Federal de Alagoas (UFAL)
instname:Universidade Federal de Alagoas (UFAL)
instacron:UFAL
instname_str Universidade Federal de Alagoas (UFAL)
instacron_str UFAL
institution UFAL
reponame_str Repositório Institucional da Universidade Federal de Alagoas (UFAL)
collection Repositório Institucional da Universidade Federal de Alagoas (UFAL)
bitstream.url.fl_str_mv http://www.repositorio.ufal.br/jspui/bitstream/riufal/2257/1/Reconhecimento%20de%20gestos%20customizados%20da%20m%c3%a3o%20em%20tempo%20real%20usando%20aprendizado%20de%20m%c3%a9tricas%20e%20grafos%20de%20a%c3%a7%c3%a3o.pdf
http://www.repositorio.ufal.br/jspui/bitstream/riufal/2257/2/license.txt
bitstream.checksum.fl_str_mv 01acba6820fdad2a57b85974e6d0532f
43cd690d6a359e86c1fe3d5b7cba0c9b
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
repository.name.fl_str_mv Repositório Institucional da Universidade Federal de Alagoas (UFAL) - Universidade Federal de Alagoas (UFAL)
repository.mail.fl_str_mv ri@sibi.ufal.br
_version_ 1785017000668430336

Registros relacionados