Reconhecimento de gestos em vídeos utilizando modelos ocultos de Markov e redes neurais convolucionais aplicado a libras

Detalhes bibliográficos
Ano de defesa: 2018
Autor(a) principal: Breda, Vinícius Morais
Orientador(a): Silva, Danilo
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Não Informado pela instituição
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Link de acesso: https://repositorio.ufsc.br/handle/123456789/205486
Resumo: Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia Elétrica, Florianópolis, 2018.
id UFSC_e27eae7d093458e94ab337e5d4fd6c9b
oai_identifier_str oai:repositorio.ufsc.br:123456789/205486
network_acronym_str UFSC
network_name_str Repositório Institucional da UFSC
repository_id_str
spelling Universidade Federal de Santa CatarinaBreda, Vinícius MoraisSilva, DaniloUchoa Filho, Bartolomeu Ferreira2020-03-31T13:44:48Z2020-03-31T13:44:48Z2018358734https://repositorio.ufsc.br/handle/123456789/205486Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia Elétrica, Florianópolis, 2018.A comunicação através de gestos é algo natural para os seres humanos, e por isso é muito importante que sistemas computacionais consigam reconhecer esses gestos, permitindo uma interação natural entre homem e máquina, seja para fins de acessibilidade, segurança, entretenimento, etc. Somando a importância dos gestos aos avanços tecnológicos, o interesse no reconhecimento de gestos utilizando visão computacional tem crescido cada vez mais, pois já se mostrou útil em diversas aplicações. Uma ferramenta que já conquistou o seu espaço no reconhecimento da fala são os modelos ocultos de Markov (Hidden Markov Models - HMMs), que também têm se mostrado úteis no reconhecimento de gestos. Outra ferramenta muito poderosa para o reconhecimento de imagens são as redes neurais convolucionais (convolutional neural networks - CNNs), que vêm sendo muito utilizadas nos últimos anos devido as modernas placas de processamento gráfico. Este trabalho propõe um sistema para reconhecimento de uma sequência de gestos dinâmicos em vídeo utilizando a combinação das duas ferramentas. São utilizados gestos da LIBRAS (Língua Brasileira de Sinais), que são modelados por HMMs, enquanto que uma CNN modela as formas da mão. As saídas da CNN são utilizadas como descritores para os HMMs em conjunto com descritores convencionais como a posição e inclinação das mãos. Em comparação com o uso exclusivo de descritores convencionais, o uso da CNN proporciona um aumento expressivo da acurácia da classificação no conjunto de teste.Abstract : Communication through gestures is natural for humans, and so it's very important that computer systems can recognize these gestures, allowing a natural interaction between humans and machine, whether for accessibility, security, entertainment, and so on. The importance of gestures added to the technological advances has led to a growing in the interest in gesture recognition using computer vision, since it has proved usefull in several applications. One tool that has already gained space in speech recognition is the Hidden Markov Models (HMMs), which have also proved useful in gesture recognition. Another very powerful tool for image recognition is the convolutional neural networks (CNNs), which have been widely used in the last years due to modern graphics processing boards. This work proposes a system for recognition of a sequence of dynamic gestures in videos using the combination of the two tools. LIBRAS's gestures (Brazilian Sign Language) are used, which are modeled by HMMs, while a CNN models the hand shapes. CNN's outputs are used as descriptors for the HMMs in conjunction with conventional descriptors such as the position and tilt of the hands. Compared with the exclusive use of conventional descriptors, the use of CNN has showed a significant increase in the accuracy of the classification in the test set.179 p.| il., gráfs.porEngenharia elétricaLíngua brasileira de sinaisRedes neurais (Computação)Reconhecimento de gestos em vídeos utilizando modelos ocultos de Markov e redes neurais convolucionais aplicado a librasinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesisreponame:Repositório Institucional da UFSCinstname:Universidade Federal de Santa Catarina (UFSC)instacron:UFSCinfo:eu-repo/semantics/openAccessORIGINALPEEL1838-D.pdfPEEL1838-D.pdfapplication/pdf6671857https://repositorio.ufsc.br/bitstream/123456789/205486/-1/PEEL1838-D.pdf51822a80eae3611d9d679439ba78c3baMD5-1123456789/2054862020-03-31 10:44:48.597oai:repositorio.ufsc.br:123456789/205486Repositório InstitucionalPUBhttp://150.162.242.35/oai/requestsandra.sobrera@ufsc.bropendoar:23732020-03-31T13:44:48Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)false
dc.title.none.fl_str_mv Reconhecimento de gestos em vídeos utilizando modelos ocultos de Markov e redes neurais convolucionais aplicado a libras
title Reconhecimento de gestos em vídeos utilizando modelos ocultos de Markov e redes neurais convolucionais aplicado a libras
spellingShingle Reconhecimento de gestos em vídeos utilizando modelos ocultos de Markov e redes neurais convolucionais aplicado a libras
Breda, Vinícius Morais
Engenharia elétrica
Língua brasileira de sinais
Redes neurais (Computação)
title_short Reconhecimento de gestos em vídeos utilizando modelos ocultos de Markov e redes neurais convolucionais aplicado a libras
title_full Reconhecimento de gestos em vídeos utilizando modelos ocultos de Markov e redes neurais convolucionais aplicado a libras
title_fullStr Reconhecimento de gestos em vídeos utilizando modelos ocultos de Markov e redes neurais convolucionais aplicado a libras
title_full_unstemmed Reconhecimento de gestos em vídeos utilizando modelos ocultos de Markov e redes neurais convolucionais aplicado a libras
title_sort Reconhecimento de gestos em vídeos utilizando modelos ocultos de Markov e redes neurais convolucionais aplicado a libras
author Breda, Vinícius Morais
author_facet Breda, Vinícius Morais
author_role author
dc.contributor.none.fl_str_mv Universidade Federal de Santa Catarina
dc.contributor.author.fl_str_mv Breda, Vinícius Morais
dc.contributor.advisor1.fl_str_mv Silva, Danilo
dc.contributor.advisor-co1.fl_str_mv Uchoa Filho, Bartolomeu Ferreira
contributor_str_mv Silva, Danilo
Uchoa Filho, Bartolomeu Ferreira
dc.subject.classification.none.fl_str_mv Engenharia elétrica
Língua brasileira de sinais
Redes neurais (Computação)
topic Engenharia elétrica
Língua brasileira de sinais
Redes neurais (Computação)
description Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia Elétrica, Florianópolis, 2018.
publishDate 2018
dc.date.issued.fl_str_mv 2018
dc.date.accessioned.fl_str_mv 2020-03-31T13:44:48Z
dc.date.available.fl_str_mv 2020-03-31T13:44:48Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv https://repositorio.ufsc.br/handle/123456789/205486
dc.identifier.other.none.fl_str_mv 358734
identifier_str_mv 358734
url https://repositorio.ufsc.br/handle/123456789/205486
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv info:eu-repo/semantics/openAccess
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv 179 p.| il., gráfs.
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFSC
instname:Universidade Federal de Santa Catarina (UFSC)
instacron:UFSC
instname_str Universidade Federal de Santa Catarina (UFSC)
instacron_str UFSC
institution UFSC
reponame_str Repositório Institucional da UFSC
collection Repositório Institucional da UFSC
bitstream.url.fl_str_mv https://repositorio.ufsc.br/bitstream/123456789/205486/-1/PEEL1838-D.pdf
bitstream.checksum.fl_str_mv 51822a80eae3611d9d679439ba78c3ba
bitstream.checksumAlgorithm.fl_str_mv MD5
repository.name.fl_str_mv Repositório Institucional da UFSC - Universidade Federal de Santa Catarina (UFSC)
repository.mail.fl_str_mv sandra.sobrera@ufsc.br
_version_ 1851759289397411840

Registros relacionados