Estudo da influência das etapas de segmentação, extração de características e classificação do alfabeto em linguagem brasileira de sinais a partir de sinais eletromiográficos de superfície

Detalhes bibliográficos
Ano de defesa: 2020
Autor(a) principal: Mendes Junior, Jose Jair Alves
Orientador(a): Não Informado pela instituição
Banca de defesa: Não Informado pela instituição
Tipo de documento: Tese
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Tecnológica Federal do Paraná
Curitiba
Brasil
Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial
UTFPR
Programa de Pós-Graduação: Não Informado pela instituição
Departamento: Não Informado pela instituição
País: Não Informado pela instituição
Palavras-chave em Português:
Link de acesso: http://repositorio.utfpr.edu.br/jspui/handle/1/25098
Resumo: Sign Language Recognition Systems are developed to ease the communication between deaf people and speakers, which identify and translate the signals to local language. Among the used techniques for this purpose, surface Electromyography (sEMG) signals have been highlighted.SEMG is the technique of acquisition of muscle signals and it has presented high accuracy and feasibility in applications for gesture recognition. This thesis presents the study of processing stages of sEMG to recognize the gesture for Brazilian Sign Language (Libras). Signs of 26 letters of alphabet in Libras were acquired for 12 volunteers using a commercial armband MyoTM. Posteriorly, it was evaluated the stages of segmentation, feature extraction, and classification in the process of pattern recognition. In segmentation, the window length and overlapping rate were parameters evaluated. In feature extraction stage, it was evaluated the contribution of each feature and for feature set (both presented in similar works and new proposed sets). It was evaluated different classifiers and their behavior for the data from all volunteers, for the contribution of each volunteer, and for the acquisition trials. Reduction dimensionality techniques were proposed to reduce the number of attributes in the classifier inputs. Accuracies above 90% were obtained, reaching to 99% with the following combinations: window length of 1.75 s, overlapping rate of 12.5% with the feature set of MFL, RMS, TTP, and MNP, classifier based in Random Forests and up to six dimensions obtained by t-SNE method and reduction of channels and features.
id UTFPR-12_c937fc972265fc054da5f3d2339787af
oai_identifier_str oai:repositorio.utfpr.edu.br:1/25098
network_acronym_str UTFPR-12
network_name_str Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
repository_id_str
spelling Estudo da influência das etapas de segmentação, extração de características e classificação do alfabeto em linguagem brasileira de sinais a partir de sinais eletromiográficos de superfícieStudy of influence of segmentation, feature extraction, and classification stages for recognition of brazilian sign language alphabet from surface electromyography signalLingua de sinais - BrasilProcessamento de sinaisSistemas de reconhecimento de padrõesEletromiografiaSurdos - Meios de comunicaçãoPercepção de padrõesSign language - BrasilSignal processingPattern recognition systemsElectromyographyDeaf - Means of communicationPattern perceptionCNPQ::ENGENHARIAS::ENGENHARIA BIOMEDICAEngenharia ElétricaSign Language Recognition Systems are developed to ease the communication between deaf people and speakers, which identify and translate the signals to local language. Among the used techniques for this purpose, surface Electromyography (sEMG) signals have been highlighted.SEMG is the technique of acquisition of muscle signals and it has presented high accuracy and feasibility in applications for gesture recognition. This thesis presents the study of processing stages of sEMG to recognize the gesture for Brazilian Sign Language (Libras). Signs of 26 letters of alphabet in Libras were acquired for 12 volunteers using a commercial armband MyoTM. Posteriorly, it was evaluated the stages of segmentation, feature extraction, and classification in the process of pattern recognition. In segmentation, the window length and overlapping rate were parameters evaluated. In feature extraction stage, it was evaluated the contribution of each feature and for feature set (both presented in similar works and new proposed sets). It was evaluated different classifiers and their behavior for the data from all volunteers, for the contribution of each volunteer, and for the acquisition trials. Reduction dimensionality techniques were proposed to reduce the number of attributes in the classifier inputs. Accuracies above 90% were obtained, reaching to 99% with the following combinations: window length of 1.75 s, overlapping rate of 12.5% with the feature set of MFL, RMS, TTP, and MNP, classifier based in Random Forests and up to six dimensions obtained by t-SNE method and reduction of channels and features.Conselho Nacional do Desenvolvimento Científico e Tecnológico (CNPq)Sistemas de Reconhecimento de Linguagem de Sinais são desenvolvidos para facilitar a comunicação entre pessoas com deficiência auditiva e falantes, identificando os sinais e traduzindo-os para linguagem local. Dentre as técnicas utilizadas para essa finalidade, destacase a Eletromiografia de superfície (sEMG). A sEMG consiste da aquisição de sinais provenientes das ações musculares e tem apresentado alta confiabilidade e robustez para aplicações de reconhecimento de gestos em geral. Nessa premissa, essa tese apresenta um estudo das influências das etapas de processamento de sinal de sEMG para o reconhecimento de gestos da Linguagem Brasileira de Sinais (Libras). Sinais das 26 letras do alfabeto de Libras foram adquiridos por 12 indivíduos utilizando uma armband comercial MyoTM. Posteriormente, foram avaliadas as etapas de segmentação, extração de características e classificação e as suas influências em cada um dos seus estágios do processo de reconhecimento de padrões. Na etapa de segmentação, o comprimento da janela e a taxa de sobreposição foram os parâmetros avaliados. No estágio de extração de características, foram avaliadas as contribuições de cada característica e de conjuntos de características (tanto da literatura quanto de novos conjuntos propostos). Foram avaliados diferentes classificadores e o comportamento destes na análise dos dados para todos os voluntários, para as contribuições dos voluntários individualmente e para as sequências de aquisição. Técnicas de redução de dimensionalidade foram propostas para diminuir a quantidade de atributos na entrada dos classificadores. Foram obtidas acurácia acima de 90%, chegando até 99% com as seguintes combinações: comprimento de segmento de 1,75 s, 12,5% de taxa de sobreposição com o conjunto de características composto por MFL, RMS, TTP e MNP, classificador baseado em Random Forests e até 6 dimensões obtidas pelo método t-SNE e por redução entre canais e características.Universidade Tecnológica Federal do ParanáCuritibaBrasilPrograma de Pós-Graduação em Engenharia Elétrica e Informática IndustrialUTFPRPichorim, Sergio Franciscohttps://orcid.org/0000-0003-4380-7499http://lattes.cnpq.br/5874071100916364Stevan Junior, Sergio Luizhttps://orcid.org/0000-0002-4783-5350http://lattes.cnpq.br/1661935150054196Britto Junior, Alceu de Souzahttps://orcid.org/0000-0002-3064-3563http://lattes.cnpq.br/4251936710939364Lazzaretti, Andre Eugeniohttps://orcid.org/0000-0003-1861-3369http://lattes.cnpq.br/7649611874688878Pacola, Edras Reilyhttps://orcid.org/0000-0002-5231-1615http://lattes.cnpq.br/5923090293164487Schneider, Fabio Kurthttps://orcid.org/0000-0001-6916-1361http://lattes.cnpq.br/1463591813823167Stevan Junior, Sergio Luizhttps://orcid.org/0000-0002-4783-5350http://lattes.cnpq.br/1661935150054196Mendes Junior, Jose Jair Alves2021-06-04T23:58:15Z2021-06-04T23:58:15Z2020-11-25info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisapplication/pdfMENDES JUNIOR, Jose Jair Alves. Estudo da influência das etapas de segmentação, extração de características e classificação do alfabeto em linguagem brasileira de sinais a partir de sinais eletromiográficos de superfície. 2020. Tese (Doutorado em Engenharia Elétrica e Informática Industrial) - Universidade Tecnológica Federal do Paraná, Curitiba, 2020.http://repositorio.utfpr.edu.br/jspui/handle/1/25098porhttp://creativecommons.org/licenses/by/4.0/info:eu-repo/semantics/openAccessreponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))instname:Universidade Tecnológica Federal do Paraná (UTFPR)instacron:UTFPR2021-06-05T06:11:38Zoai:repositorio.utfpr.edu.br:1/25098Repositório InstitucionalPUBhttp://repositorio.utfpr.edu.br:8080/oai/requestriut@utfpr.edu.br || sibi@utfpr.edu.bropendoar:2021-06-05T06:11:38Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)false
dc.title.none.fl_str_mv Estudo da influência das etapas de segmentação, extração de características e classificação do alfabeto em linguagem brasileira de sinais a partir de sinais eletromiográficos de superfície
Study of influence of segmentation, feature extraction, and classification stages for recognition of brazilian sign language alphabet from surface electromyography signal
title Estudo da influência das etapas de segmentação, extração de características e classificação do alfabeto em linguagem brasileira de sinais a partir de sinais eletromiográficos de superfície
spellingShingle Estudo da influência das etapas de segmentação, extração de características e classificação do alfabeto em linguagem brasileira de sinais a partir de sinais eletromiográficos de superfície
Mendes Junior, Jose Jair Alves
Lingua de sinais - Brasil
Processamento de sinais
Sistemas de reconhecimento de padrões
Eletromiografia
Surdos - Meios de comunicação
Percepção de padrões
Sign language - Brasil
Signal processing
Pattern recognition systems
Electromyography
Deaf - Means of communication
Pattern perception
CNPQ::ENGENHARIAS::ENGENHARIA BIOMEDICA
Engenharia Elétrica
title_short Estudo da influência das etapas de segmentação, extração de características e classificação do alfabeto em linguagem brasileira de sinais a partir de sinais eletromiográficos de superfície
title_full Estudo da influência das etapas de segmentação, extração de características e classificação do alfabeto em linguagem brasileira de sinais a partir de sinais eletromiográficos de superfície
title_fullStr Estudo da influência das etapas de segmentação, extração de características e classificação do alfabeto em linguagem brasileira de sinais a partir de sinais eletromiográficos de superfície
title_full_unstemmed Estudo da influência das etapas de segmentação, extração de características e classificação do alfabeto em linguagem brasileira de sinais a partir de sinais eletromiográficos de superfície
title_sort Estudo da influência das etapas de segmentação, extração de características e classificação do alfabeto em linguagem brasileira de sinais a partir de sinais eletromiográficos de superfície
author Mendes Junior, Jose Jair Alves
author_facet Mendes Junior, Jose Jair Alves
author_role author
dc.contributor.none.fl_str_mv Pichorim, Sergio Francisco
https://orcid.org/0000-0003-4380-7499
http://lattes.cnpq.br/5874071100916364
Stevan Junior, Sergio Luiz
https://orcid.org/0000-0002-4783-5350
http://lattes.cnpq.br/1661935150054196
Britto Junior, Alceu de Souza
https://orcid.org/0000-0002-3064-3563
http://lattes.cnpq.br/4251936710939364
Lazzaretti, Andre Eugenio
https://orcid.org/0000-0003-1861-3369
http://lattes.cnpq.br/7649611874688878
Pacola, Edras Reily
https://orcid.org/0000-0002-5231-1615
http://lattes.cnpq.br/5923090293164487
Schneider, Fabio Kurt
https://orcid.org/0000-0001-6916-1361
http://lattes.cnpq.br/1463591813823167
Stevan Junior, Sergio Luiz
https://orcid.org/0000-0002-4783-5350
http://lattes.cnpq.br/1661935150054196
dc.contributor.author.fl_str_mv Mendes Junior, Jose Jair Alves
dc.subject.por.fl_str_mv Lingua de sinais - Brasil
Processamento de sinais
Sistemas de reconhecimento de padrões
Eletromiografia
Surdos - Meios de comunicação
Percepção de padrões
Sign language - Brasil
Signal processing
Pattern recognition systems
Electromyography
Deaf - Means of communication
Pattern perception
CNPQ::ENGENHARIAS::ENGENHARIA BIOMEDICA
Engenharia Elétrica
topic Lingua de sinais - Brasil
Processamento de sinais
Sistemas de reconhecimento de padrões
Eletromiografia
Surdos - Meios de comunicação
Percepção de padrões
Sign language - Brasil
Signal processing
Pattern recognition systems
Electromyography
Deaf - Means of communication
Pattern perception
CNPQ::ENGENHARIAS::ENGENHARIA BIOMEDICA
Engenharia Elétrica
description Sign Language Recognition Systems are developed to ease the communication between deaf people and speakers, which identify and translate the signals to local language. Among the used techniques for this purpose, surface Electromyography (sEMG) signals have been highlighted.SEMG is the technique of acquisition of muscle signals and it has presented high accuracy and feasibility in applications for gesture recognition. This thesis presents the study of processing stages of sEMG to recognize the gesture for Brazilian Sign Language (Libras). Signs of 26 letters of alphabet in Libras were acquired for 12 volunteers using a commercial armband MyoTM. Posteriorly, it was evaluated the stages of segmentation, feature extraction, and classification in the process of pattern recognition. In segmentation, the window length and overlapping rate were parameters evaluated. In feature extraction stage, it was evaluated the contribution of each feature and for feature set (both presented in similar works and new proposed sets). It was evaluated different classifiers and their behavior for the data from all volunteers, for the contribution of each volunteer, and for the acquisition trials. Reduction dimensionality techniques were proposed to reduce the number of attributes in the classifier inputs. Accuracies above 90% were obtained, reaching to 99% with the following combinations: window length of 1.75 s, overlapping rate of 12.5% with the feature set of MFL, RMS, TTP, and MNP, classifier based in Random Forests and up to six dimensions obtained by t-SNE method and reduction of channels and features.
publishDate 2020
dc.date.none.fl_str_mv 2020-11-25
2021-06-04T23:58:15Z
2021-06-04T23:58:15Z
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
status_str publishedVersion
dc.identifier.uri.fl_str_mv MENDES JUNIOR, Jose Jair Alves. Estudo da influência das etapas de segmentação, extração de características e classificação do alfabeto em linguagem brasileira de sinais a partir de sinais eletromiográficos de superfície. 2020. Tese (Doutorado em Engenharia Elétrica e Informática Industrial) - Universidade Tecnológica Federal do Paraná, Curitiba, 2020.
http://repositorio.utfpr.edu.br/jspui/handle/1/25098
identifier_str_mv MENDES JUNIOR, Jose Jair Alves. Estudo da influência das etapas de segmentação, extração de características e classificação do alfabeto em linguagem brasileira de sinais a partir de sinais eletromiográficos de superfície. 2020. Tese (Doutorado em Engenharia Elétrica e Informática Industrial) - Universidade Tecnológica Federal do Paraná, Curitiba, 2020.
url http://repositorio.utfpr.edu.br/jspui/handle/1/25098
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv http://creativecommons.org/licenses/by/4.0/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv http://creativecommons.org/licenses/by/4.0/
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universidade Tecnológica Federal do Paraná
Curitiba
Brasil
Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial
UTFPR
publisher.none.fl_str_mv Universidade Tecnológica Federal do Paraná
Curitiba
Brasil
Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial
UTFPR
dc.source.none.fl_str_mv reponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
instname:Universidade Tecnológica Federal do Paraná (UTFPR)
instacron:UTFPR
instname_str Universidade Tecnológica Federal do Paraná (UTFPR)
instacron_str UTFPR
institution UTFPR
reponame_str Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
collection Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))
repository.name.fl_str_mv Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)
repository.mail.fl_str_mv riut@utfpr.edu.br || sibi@utfpr.edu.br
_version_ 1850498296497307648