Estudo da influência das etapas de segmentação, extração de características e classificação do alfabeto em linguagem brasileira de sinais a partir de sinais eletromiográficos de superfície
| Ano de defesa: | 2020 |
|---|---|
| Autor(a) principal: | |
| Orientador(a): | |
| Banca de defesa: | |
| Tipo de documento: | Tese |
| Tipo de acesso: | Acesso aberto |
| Idioma: | por |
| Instituição de defesa: |
Universidade Tecnológica Federal do Paraná
Curitiba Brasil Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial UTFPR |
| Programa de Pós-Graduação: |
Não Informado pela instituição
|
| Departamento: |
Não Informado pela instituição
|
| País: |
Não Informado pela instituição
|
| Palavras-chave em Português: | |
| Link de acesso: | http://repositorio.utfpr.edu.br/jspui/handle/1/25098 |
Resumo: | Sign Language Recognition Systems are developed to ease the communication between deaf people and speakers, which identify and translate the signals to local language. Among the used techniques for this purpose, surface Electromyography (sEMG) signals have been highlighted.SEMG is the technique of acquisition of muscle signals and it has presented high accuracy and feasibility in applications for gesture recognition. This thesis presents the study of processing stages of sEMG to recognize the gesture for Brazilian Sign Language (Libras). Signs of 26 letters of alphabet in Libras were acquired for 12 volunteers using a commercial armband MyoTM. Posteriorly, it was evaluated the stages of segmentation, feature extraction, and classification in the process of pattern recognition. In segmentation, the window length and overlapping rate were parameters evaluated. In feature extraction stage, it was evaluated the contribution of each feature and for feature set (both presented in similar works and new proposed sets). It was evaluated different classifiers and their behavior for the data from all volunteers, for the contribution of each volunteer, and for the acquisition trials. Reduction dimensionality techniques were proposed to reduce the number of attributes in the classifier inputs. Accuracies above 90% were obtained, reaching to 99% with the following combinations: window length of 1.75 s, overlapping rate of 12.5% with the feature set of MFL, RMS, TTP, and MNP, classifier based in Random Forests and up to six dimensions obtained by t-SNE method and reduction of channels and features. |
| id |
UTFPR-12_c937fc972265fc054da5f3d2339787af |
|---|---|
| oai_identifier_str |
oai:repositorio.utfpr.edu.br:1/25098 |
| network_acronym_str |
UTFPR-12 |
| network_name_str |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
| repository_id_str |
|
| spelling |
Estudo da influência das etapas de segmentação, extração de características e classificação do alfabeto em linguagem brasileira de sinais a partir de sinais eletromiográficos de superfícieStudy of influence of segmentation, feature extraction, and classification stages for recognition of brazilian sign language alphabet from surface electromyography signalLingua de sinais - BrasilProcessamento de sinaisSistemas de reconhecimento de padrõesEletromiografiaSurdos - Meios de comunicaçãoPercepção de padrõesSign language - BrasilSignal processingPattern recognition systemsElectromyographyDeaf - Means of communicationPattern perceptionCNPQ::ENGENHARIAS::ENGENHARIA BIOMEDICAEngenharia ElétricaSign Language Recognition Systems are developed to ease the communication between deaf people and speakers, which identify and translate the signals to local language. Among the used techniques for this purpose, surface Electromyography (sEMG) signals have been highlighted.SEMG is the technique of acquisition of muscle signals and it has presented high accuracy and feasibility in applications for gesture recognition. This thesis presents the study of processing stages of sEMG to recognize the gesture for Brazilian Sign Language (Libras). Signs of 26 letters of alphabet in Libras were acquired for 12 volunteers using a commercial armband MyoTM. Posteriorly, it was evaluated the stages of segmentation, feature extraction, and classification in the process of pattern recognition. In segmentation, the window length and overlapping rate were parameters evaluated. In feature extraction stage, it was evaluated the contribution of each feature and for feature set (both presented in similar works and new proposed sets). It was evaluated different classifiers and their behavior for the data from all volunteers, for the contribution of each volunteer, and for the acquisition trials. Reduction dimensionality techniques were proposed to reduce the number of attributes in the classifier inputs. Accuracies above 90% were obtained, reaching to 99% with the following combinations: window length of 1.75 s, overlapping rate of 12.5% with the feature set of MFL, RMS, TTP, and MNP, classifier based in Random Forests and up to six dimensions obtained by t-SNE method and reduction of channels and features.Conselho Nacional do Desenvolvimento Científico e Tecnológico (CNPq)Sistemas de Reconhecimento de Linguagem de Sinais são desenvolvidos para facilitar a comunicação entre pessoas com deficiência auditiva e falantes, identificando os sinais e traduzindo-os para linguagem local. Dentre as técnicas utilizadas para essa finalidade, destacase a Eletromiografia de superfície (sEMG). A sEMG consiste da aquisição de sinais provenientes das ações musculares e tem apresentado alta confiabilidade e robustez para aplicações de reconhecimento de gestos em geral. Nessa premissa, essa tese apresenta um estudo das influências das etapas de processamento de sinal de sEMG para o reconhecimento de gestos da Linguagem Brasileira de Sinais (Libras). Sinais das 26 letras do alfabeto de Libras foram adquiridos por 12 indivíduos utilizando uma armband comercial MyoTM. Posteriormente, foram avaliadas as etapas de segmentação, extração de características e classificação e as suas influências em cada um dos seus estágios do processo de reconhecimento de padrões. Na etapa de segmentação, o comprimento da janela e a taxa de sobreposição foram os parâmetros avaliados. No estágio de extração de características, foram avaliadas as contribuições de cada característica e de conjuntos de características (tanto da literatura quanto de novos conjuntos propostos). Foram avaliados diferentes classificadores e o comportamento destes na análise dos dados para todos os voluntários, para as contribuições dos voluntários individualmente e para as sequências de aquisição. Técnicas de redução de dimensionalidade foram propostas para diminuir a quantidade de atributos na entrada dos classificadores. Foram obtidas acurácia acima de 90%, chegando até 99% com as seguintes combinações: comprimento de segmento de 1,75 s, 12,5% de taxa de sobreposição com o conjunto de características composto por MFL, RMS, TTP e MNP, classificador baseado em Random Forests e até 6 dimensões obtidas pelo método t-SNE e por redução entre canais e características.Universidade Tecnológica Federal do ParanáCuritibaBrasilPrograma de Pós-Graduação em Engenharia Elétrica e Informática IndustrialUTFPRPichorim, Sergio Franciscohttps://orcid.org/0000-0003-4380-7499http://lattes.cnpq.br/5874071100916364Stevan Junior, Sergio Luizhttps://orcid.org/0000-0002-4783-5350http://lattes.cnpq.br/1661935150054196Britto Junior, Alceu de Souzahttps://orcid.org/0000-0002-3064-3563http://lattes.cnpq.br/4251936710939364Lazzaretti, Andre Eugeniohttps://orcid.org/0000-0003-1861-3369http://lattes.cnpq.br/7649611874688878Pacola, Edras Reilyhttps://orcid.org/0000-0002-5231-1615http://lattes.cnpq.br/5923090293164487Schneider, Fabio Kurthttps://orcid.org/0000-0001-6916-1361http://lattes.cnpq.br/1463591813823167Stevan Junior, Sergio Luizhttps://orcid.org/0000-0002-4783-5350http://lattes.cnpq.br/1661935150054196Mendes Junior, Jose Jair Alves2021-06-04T23:58:15Z2021-06-04T23:58:15Z2020-11-25info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/doctoralThesisapplication/pdfMENDES JUNIOR, Jose Jair Alves. Estudo da influência das etapas de segmentação, extração de características e classificação do alfabeto em linguagem brasileira de sinais a partir de sinais eletromiográficos de superfície. 2020. Tese (Doutorado em Engenharia Elétrica e Informática Industrial) - Universidade Tecnológica Federal do Paraná, Curitiba, 2020.http://repositorio.utfpr.edu.br/jspui/handle/1/25098porhttp://creativecommons.org/licenses/by/4.0/info:eu-repo/semantics/openAccessreponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT))instname:Universidade Tecnológica Federal do Paraná (UTFPR)instacron:UTFPR2021-06-05T06:11:38Zoai:repositorio.utfpr.edu.br:1/25098Repositório InstitucionalPUBhttp://repositorio.utfpr.edu.br:8080/oai/requestriut@utfpr.edu.br || sibi@utfpr.edu.bropendoar:2021-06-05T06:11:38Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR)false |
| dc.title.none.fl_str_mv |
Estudo da influência das etapas de segmentação, extração de características e classificação do alfabeto em linguagem brasileira de sinais a partir de sinais eletromiográficos de superfície Study of influence of segmentation, feature extraction, and classification stages for recognition of brazilian sign language alphabet from surface electromyography signal |
| title |
Estudo da influência das etapas de segmentação, extração de características e classificação do alfabeto em linguagem brasileira de sinais a partir de sinais eletromiográficos de superfície |
| spellingShingle |
Estudo da influência das etapas de segmentação, extração de características e classificação do alfabeto em linguagem brasileira de sinais a partir de sinais eletromiográficos de superfície Mendes Junior, Jose Jair Alves Lingua de sinais - Brasil Processamento de sinais Sistemas de reconhecimento de padrões Eletromiografia Surdos - Meios de comunicação Percepção de padrões Sign language - Brasil Signal processing Pattern recognition systems Electromyography Deaf - Means of communication Pattern perception CNPQ::ENGENHARIAS::ENGENHARIA BIOMEDICA Engenharia Elétrica |
| title_short |
Estudo da influência das etapas de segmentação, extração de características e classificação do alfabeto em linguagem brasileira de sinais a partir de sinais eletromiográficos de superfície |
| title_full |
Estudo da influência das etapas de segmentação, extração de características e classificação do alfabeto em linguagem brasileira de sinais a partir de sinais eletromiográficos de superfície |
| title_fullStr |
Estudo da influência das etapas de segmentação, extração de características e classificação do alfabeto em linguagem brasileira de sinais a partir de sinais eletromiográficos de superfície |
| title_full_unstemmed |
Estudo da influência das etapas de segmentação, extração de características e classificação do alfabeto em linguagem brasileira de sinais a partir de sinais eletromiográficos de superfície |
| title_sort |
Estudo da influência das etapas de segmentação, extração de características e classificação do alfabeto em linguagem brasileira de sinais a partir de sinais eletromiográficos de superfície |
| author |
Mendes Junior, Jose Jair Alves |
| author_facet |
Mendes Junior, Jose Jair Alves |
| author_role |
author |
| dc.contributor.none.fl_str_mv |
Pichorim, Sergio Francisco https://orcid.org/0000-0003-4380-7499 http://lattes.cnpq.br/5874071100916364 Stevan Junior, Sergio Luiz https://orcid.org/0000-0002-4783-5350 http://lattes.cnpq.br/1661935150054196 Britto Junior, Alceu de Souza https://orcid.org/0000-0002-3064-3563 http://lattes.cnpq.br/4251936710939364 Lazzaretti, Andre Eugenio https://orcid.org/0000-0003-1861-3369 http://lattes.cnpq.br/7649611874688878 Pacola, Edras Reily https://orcid.org/0000-0002-5231-1615 http://lattes.cnpq.br/5923090293164487 Schneider, Fabio Kurt https://orcid.org/0000-0001-6916-1361 http://lattes.cnpq.br/1463591813823167 Stevan Junior, Sergio Luiz https://orcid.org/0000-0002-4783-5350 http://lattes.cnpq.br/1661935150054196 |
| dc.contributor.author.fl_str_mv |
Mendes Junior, Jose Jair Alves |
| dc.subject.por.fl_str_mv |
Lingua de sinais - Brasil Processamento de sinais Sistemas de reconhecimento de padrões Eletromiografia Surdos - Meios de comunicação Percepção de padrões Sign language - Brasil Signal processing Pattern recognition systems Electromyography Deaf - Means of communication Pattern perception CNPQ::ENGENHARIAS::ENGENHARIA BIOMEDICA Engenharia Elétrica |
| topic |
Lingua de sinais - Brasil Processamento de sinais Sistemas de reconhecimento de padrões Eletromiografia Surdos - Meios de comunicação Percepção de padrões Sign language - Brasil Signal processing Pattern recognition systems Electromyography Deaf - Means of communication Pattern perception CNPQ::ENGENHARIAS::ENGENHARIA BIOMEDICA Engenharia Elétrica |
| description |
Sign Language Recognition Systems are developed to ease the communication between deaf people and speakers, which identify and translate the signals to local language. Among the used techniques for this purpose, surface Electromyography (sEMG) signals have been highlighted.SEMG is the technique of acquisition of muscle signals and it has presented high accuracy and feasibility in applications for gesture recognition. This thesis presents the study of processing stages of sEMG to recognize the gesture for Brazilian Sign Language (Libras). Signs of 26 letters of alphabet in Libras were acquired for 12 volunteers using a commercial armband MyoTM. Posteriorly, it was evaluated the stages of segmentation, feature extraction, and classification in the process of pattern recognition. In segmentation, the window length and overlapping rate were parameters evaluated. In feature extraction stage, it was evaluated the contribution of each feature and for feature set (both presented in similar works and new proposed sets). It was evaluated different classifiers and their behavior for the data from all volunteers, for the contribution of each volunteer, and for the acquisition trials. Reduction dimensionality techniques were proposed to reduce the number of attributes in the classifier inputs. Accuracies above 90% were obtained, reaching to 99% with the following combinations: window length of 1.75 s, overlapping rate of 12.5% with the feature set of MFL, RMS, TTP, and MNP, classifier based in Random Forests and up to six dimensions obtained by t-SNE method and reduction of channels and features. |
| publishDate |
2020 |
| dc.date.none.fl_str_mv |
2020-11-25 2021-06-04T23:58:15Z 2021-06-04T23:58:15Z |
| dc.type.status.fl_str_mv |
info:eu-repo/semantics/publishedVersion |
| dc.type.driver.fl_str_mv |
info:eu-repo/semantics/doctoralThesis |
| format |
doctoralThesis |
| status_str |
publishedVersion |
| dc.identifier.uri.fl_str_mv |
MENDES JUNIOR, Jose Jair Alves. Estudo da influência das etapas de segmentação, extração de características e classificação do alfabeto em linguagem brasileira de sinais a partir de sinais eletromiográficos de superfície. 2020. Tese (Doutorado em Engenharia Elétrica e Informática Industrial) - Universidade Tecnológica Federal do Paraná, Curitiba, 2020. http://repositorio.utfpr.edu.br/jspui/handle/1/25098 |
| identifier_str_mv |
MENDES JUNIOR, Jose Jair Alves. Estudo da influência das etapas de segmentação, extração de características e classificação do alfabeto em linguagem brasileira de sinais a partir de sinais eletromiográficos de superfície. 2020. Tese (Doutorado em Engenharia Elétrica e Informática Industrial) - Universidade Tecnológica Federal do Paraná, Curitiba, 2020. |
| url |
http://repositorio.utfpr.edu.br/jspui/handle/1/25098 |
| dc.language.iso.fl_str_mv |
por |
| language |
por |
| dc.rights.driver.fl_str_mv |
http://creativecommons.org/licenses/by/4.0/ info:eu-repo/semantics/openAccess |
| rights_invalid_str_mv |
http://creativecommons.org/licenses/by/4.0/ |
| eu_rights_str_mv |
openAccess |
| dc.format.none.fl_str_mv |
application/pdf |
| dc.publisher.none.fl_str_mv |
Universidade Tecnológica Federal do Paraná Curitiba Brasil Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial UTFPR |
| publisher.none.fl_str_mv |
Universidade Tecnológica Federal do Paraná Curitiba Brasil Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial UTFPR |
| dc.source.none.fl_str_mv |
reponame:Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) instname:Universidade Tecnológica Federal do Paraná (UTFPR) instacron:UTFPR |
| instname_str |
Universidade Tecnológica Federal do Paraná (UTFPR) |
| instacron_str |
UTFPR |
| institution |
UTFPR |
| reponame_str |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
| collection |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) |
| repository.name.fl_str_mv |
Repositório Institucional da UTFPR (da Universidade Tecnológica Federal do Paraná (RIUT)) - Universidade Tecnológica Federal do Paraná (UTFPR) |
| repository.mail.fl_str_mv |
riut@utfpr.edu.br || sibi@utfpr.edu.br |
| _version_ |
1850498296497307648 |