SignWriting para reconhecimento de gestos em língua de sinais

Detalhes bibliográficos
Ano de defesa: 2025
Autor(a) principal: SILVA, Karolayne Teixeira da
Orientador(a): REN, Tsang Ing
Banca de defesa: Não Informado pela instituição
Tipo de documento: Dissertação
Tipo de acesso: Acesso aberto
Idioma: por
Instituição de defesa: Universidade Federal de Pernambuco
Programa de Pós-Graduação: Programa de Pos Graduacao em Ciencia da Computacao
Departamento: Não Informado pela instituição
País: Brasil
Palavras-chave em Português:
Reconhecimento de gestos
SignWriting
Aprendizado profundo
Link de acesso: https://repositorio.ufpe.br/handle/123456789/67047
Resumo: Oreconhecimento automático de gestos é essencial para promover a comunicação inclusiva, so bretudo junto às comunidades Surdas. Entretanto, persistem desafios significativos em função da diversidade linguística das línguas de sinais e das limitações das abordagens convencio nais, as quais tipicamente exigem grandes conjuntos de dados rotulados e apresentam baixo potencial de generalização entre diferentes idiomas, comprometendo a escalabilidade e aplica bilidade prática. Neste contexto, este trabalho propõe a utilização do SignWriting, um sistema padronizado de notação visual que codifica gestos de forma independente do idioma, como alternativa para um reconhecimento universal de gestos estáticos das mãos. A metodologia emprega o MediaPipe para extração automática de marcos anatômicos das mãos, seguida de técnicas de normalização espacial e aumento sintético de dados a fim de mitigar variabilidades individuais e ambientais. O modelo foi avaliado em 16 conjuntos de dados distintos, abran gendo 132 classes de gestos provenientes de múltiplas regiões e línguas de sinais. Os resultados obtidos indicam robustez na generalização entre línguas, corroborando o potencial do Sign Writing como ferramenta unificadora. Adicionalmente, análises de sensibilidade evidenciaram a influência dos erros de detecção de marcos sobre o desempenho do classificador, apontando direções para futuras melhorias. Todo o código-fonte encontra-se disponível no repositório público: <https://github.com/karo-txs/signwriting-recognition>.
id UFPE_e57fb52834201e8b889226a3ba5b0e75
oai_identifier_str oai:repositorio.ufpe.br:123456789/67047
network_acronym_str UFPE
network_name_str Repositório Institucional da UFPE
repository_id_str
spelling SILVA, Karolayne Teixeira dahttp://lattes.cnpq.br/2074137700305766http://lattes.cnpq.br/3084134533707587REN, Tsang Ing2025-12-03T16:13:58Z2025-12-03T16:13:58Z2025-07-25SILVA, Karolayne Teixeira da. SignWriting para reconhecimento de gestos em língua de sinais. 2025. Dissertação (Mestrado em Ciência da Computação) - Universidade Federal de Pernambuco, Recife, 2025.https://repositorio.ufpe.br/handle/123456789/67047Oreconhecimento automático de gestos é essencial para promover a comunicação inclusiva, so bretudo junto às comunidades Surdas. Entretanto, persistem desafios significativos em função da diversidade linguística das línguas de sinais e das limitações das abordagens convencio nais, as quais tipicamente exigem grandes conjuntos de dados rotulados e apresentam baixo potencial de generalização entre diferentes idiomas, comprometendo a escalabilidade e aplica bilidade prática. Neste contexto, este trabalho propõe a utilização do SignWriting, um sistema padronizado de notação visual que codifica gestos de forma independente do idioma, como alternativa para um reconhecimento universal de gestos estáticos das mãos. A metodologia emprega o MediaPipe para extração automática de marcos anatômicos das mãos, seguida de técnicas de normalização espacial e aumento sintético de dados a fim de mitigar variabilidades individuais e ambientais. O modelo foi avaliado em 16 conjuntos de dados distintos, abran gendo 132 classes de gestos provenientes de múltiplas regiões e línguas de sinais. Os resultados obtidos indicam robustez na generalização entre línguas, corroborando o potencial do Sign Writing como ferramenta unificadora. Adicionalmente, análises de sensibilidade evidenciaram a influência dos erros de detecção de marcos sobre o desempenho do classificador, apontando direções para futuras melhorias. Todo o código-fonte encontra-se disponível no repositório público: <https://github.com/karo-txs/signwriting-recognition>.Automatic gesture recognition is essential for promoting inclusive communication, especially within Deaf communities. However, significant challenges persist due to the linguistic diversity of sign languages and the limitations of conventional approaches, which typically require large labeled datasets and have low potential for generalization across languages, compromising scalability and practical applicability. In this context, this work proposes the use of SignWrit ing, a standardized visual notation system that encodes gestures independently of language, as an alternative for the universal recognition of static hand gestures. The methodology em ploys MediaPipe for automatic extraction of hand anatomical landmarks, followed by spatial normalization and synthetic data-augmentation techniques to mitigate individual and envi ronmental variability. The model was evaluated on 16 distinct datasets, covering 132 gesture classes from multiple regions and sign languages. The obtained results indicate robustness in cross-language generalization, corroborating the potential of SignWriting as a unifying tool. Additionally, sensitivity analyses revealed the influence of landmark-detection errors on classi f ier performance, pointing to directions for future improvements. All source code is available in the public repository: <https://github.com/karo-txs/signwriting-recognition>porUniversidade Federal de PernambucoPrograma de Pos Graduacao em Ciencia da ComputacaoUFPEBrasilhttps://creativecommons.org/licenses/by-nc-nd/4.0/info:eu-repo/semantics/openAccessReconhecimento de gestosSignWritingAprendizado profundoSignWriting para reconhecimento de gestos em língua de sinaisinfo:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/masterThesismestradoreponame:Repositório Institucional da UFPEinstname:Universidade Federal de Pernambuco (UFPE)instacron:UFPELICENSElicense.txtlicense.txttext/plain; charset=utf-82362https://repositorio.ufpe.br/bitstream/123456789/67047/2/license.txt5e89a1613ddc8510c6576f4b23a78973MD52TEXTDISSERTAÇÃO Karolayne Teixeira da Silva.pdf.txtDISSERTAÇÃO Karolayne Teixeira da Silva.pdf.txtExtracted texttext/plain136274https://repositorio.ufpe.br/bitstream/123456789/67047/3/DISSERTA%c3%87%c3%83O%20Karolayne%20Teixeira%20da%20Silva.pdf.txt6b6462dc824a8f7b9fda20d7fb46d2dfMD53THUMBNAILDISSERTAÇÃO Karolayne Teixeira da Silva.pdf.jpgDISSERTAÇÃO Karolayne Teixeira da Silva.pdf.jpgGenerated Thumbnailimage/jpeg1216https://repositorio.ufpe.br/bitstream/123456789/67047/4/DISSERTA%c3%87%c3%83O%20Karolayne%20Teixeira%20da%20Silva.pdf.jpg15fbfde553c5196c7663933c570c33a2MD54ORIGINALDISSERTAÇÃO Karolayne Teixeira da Silva.pdfDISSERTAÇÃO Karolayne Teixeira da Silva.pdfapplication/pdf7089454https://repositorio.ufpe.br/bitstream/123456789/67047/1/DISSERTA%c3%87%c3%83O%20Karolayne%20Teixeira%20da%20Silva.pdf220a4e6bf36078ec37754cae5268a366MD51123456789/670472025-12-07 16:33:55.733oai:repositorio.ufpe.br:123456789/67047VGVybW8gZGUgRGVww7NzaXRvIExlZ2FsIGUgQXV0b3JpemHDp8OjbyBwYXJhIFB1YmxpY2l6YcOnw6NvIGRlIERvY3VtZW50b3Mgbm8gUmVwb3NpdMOzcmlvIERpZ2l0YWwgZGEgVUZQRQoKCkRlY2xhcm8gZXN0YXIgY2llbnRlIGRlIHF1ZSBlc3RlIFRlcm1vIGRlIERlcMOzc2l0byBMZWdhbCBlIEF1dG9yaXphw6fDo28gdGVtIG8gb2JqZXRpdm8gZGUgZGl2dWxnYcOnw6NvIGRvcyBkb2N1bWVudG9zIGRlcG9zaXRhZG9zIG5vIFJlcG9zaXTDs3JpbyBEaWdpdGFsIGRhIFVGUEUgZSBkZWNsYXJvIHF1ZToKCkkgLSBvcyBkYWRvcyBwcmVlbmNoaWRvcyBubyBmb3JtdWzDoXJpbyBkZSBkZXDDs3NpdG8gc8OjbyB2ZXJkYWRlaXJvcyBlIGF1dMOqbnRpY29zOwoKSUkgLSAgbyBjb250ZcO6ZG8gZGlzcG9uaWJpbGl6YWRvIMOpIGRlIHJlc3BvbnNhYmlsaWRhZGUgZGUgc3VhIGF1dG9yaWE7CgpJSUkgLSBvIGNvbnRlw7pkbyDDqSBvcmlnaW5hbCwgZSBzZSBvIHRyYWJhbGhvIGUvb3UgcGFsYXZyYXMgZGUgb3V0cmFzIHBlc3NvYXMgZm9yYW0gdXRpbGl6YWRvcywgZXN0YXMgZm9yYW0gZGV2aWRhbWVudGUgcmVjb25oZWNpZGFzOwoKSVYgLSBxdWFuZG8gdHJhdGFyLXNlIGRlIG9icmEgY29sZXRpdmEgKG1haXMgZGUgdW0gYXV0b3IpOiB0b2RvcyBvcyBhdXRvcmVzIGVzdMOjbyBjaWVudGVzIGRvIGRlcMOzc2l0byBlIGRlIGFjb3JkbyBjb20gZXN0ZSB0ZXJtbzsKClYgLSBxdWFuZG8gdHJhdGFyLXNlIGRlIFRyYWJhbGhvIGRlIENvbmNsdXPDo28gZGUgQ3Vyc28sIERpc3NlcnRhw6fDo28gb3UgVGVzZTogbyBhcnF1aXZvIGRlcG9zaXRhZG8gY29ycmVzcG9uZGUgw6AgdmVyc8OjbyBmaW5hbCBkbyB0cmFiYWxobzsKClZJIC0gcXVhbmRvIHRyYXRhci1zZSBkZSBUcmFiYWxobyBkZSBDb25jbHVzw6NvIGRlIEN1cnNvLCBEaXNzZXJ0YcOnw6NvIG91IFRlc2U6IGVzdG91IGNpZW50ZSBkZSBxdWUgYSBhbHRlcmHDp8OjbyBkYSBtb2RhbGlkYWRlIGRlIGFjZXNzbyBhbyBkb2N1bWVudG8gYXDDs3MgbyBkZXDDs3NpdG8gZSBhbnRlcyBkZSBmaW5kYXIgbyBwZXLDrW9kbyBkZSBlbWJhcmdvLCBxdWFuZG8gZm9yIGVzY29saGlkbyBhY2Vzc28gcmVzdHJpdG8sIHNlcsOhIHBlcm1pdGlkYSBtZWRpYW50ZSBzb2xpY2l0YcOnw6NvIGRvIChhKSBhdXRvciAoYSkgYW8gU2lzdGVtYSBJbnRlZ3JhZG8gZGUgQmlibGlvdGVjYXMgZGEgVUZQRSAoU0lCL1VGUEUpLgoKIApQYXJhIHRyYWJhbGhvcyBlbSBBY2Vzc28gQWJlcnRvOgoKTmEgcXVhbGlkYWRlIGRlIHRpdHVsYXIgZG9zIGRpcmVpdG9zIGF1dG9yYWlzIGRlIGF1dG9yIHF1ZSByZWNhZW0gc29icmUgZXN0ZSBkb2N1bWVudG8sIGZ1bmRhbWVudGFkbyBuYSBMZWkgZGUgRGlyZWl0byBBdXRvcmFsIG5vIDkuNjEwLCBkZSAxOSBkZSBmZXZlcmVpcm8gZGUgMTk5OCwgYXJ0LiAyOSwgaW5jaXNvIElJSSwgYXV0b3Jpem8gYSBVbml2ZXJzaWRhZGUgRmVkZXJhbCBkZSBQZXJuYW1idWNvIGEgZGlzcG9uaWJpbGl6YXIgZ3JhdHVpdGFtZW50ZSwgc2VtIHJlc3NhcmNpbWVudG8gZG9zIGRpcmVpdG9zIGF1dG9yYWlzLCBwYXJhIGZpbnMgZGUgbGVpdHVyYSwgaW1wcmVzc8OjbyBlL291IGRvd25sb2FkIChhcXVpc2nDp8OjbykgYXRyYXbDqXMgZG8gc2l0ZSBkbyBSZXBvc2l0w7NyaW8gRGlnaXRhbCBkYSBVRlBFIG5vIGVuZGVyZcOnbyBodHRwOi8vd3d3LnJlcG9zaXRvcmlvLnVmcGUuYnIsIGEgcGFydGlyIGRhIGRhdGEgZGUgZGVww7NzaXRvLgoKIApQYXJhIHRyYWJhbGhvcyBlbSBBY2Vzc28gUmVzdHJpdG86CgpOYSBxdWFsaWRhZGUgZGUgdGl0dWxhciBkb3MgZGlyZWl0b3MgYXV0b3JhaXMgZGUgYXV0b3IgcXVlIHJlY2FlbSBzb2JyZSBlc3RlIGRvY3VtZW50bywgZnVuZGFtZW50YWRvIG5hIExlaSBkZSBEaXJlaXRvIEF1dG9yYWwgbm8gOS42MTAgZGUgMTkgZGUgZmV2ZXJlaXJvIGRlIDE5OTgsIGFydC4gMjksIGluY2lzbyBJSUksIGF1dG9yaXpvIGEgVW5pdmVyc2lkYWRlIEZlZGVyYWwgZGUgUGVybmFtYnVjbyBhIGRpc3BvbmliaWxpemFyIGdyYXR1aXRhbWVudGUsIHNlbSByZXNzYXJjaW1lbnRvIGRvcyBkaXJlaXRvcyBhdXRvcmFpcywgcGFyYSBmaW5zIGRlIGxlaXR1cmEsIGltcHJlc3PDo28gZS9vdSBkb3dubG9hZCAoYXF1aXNpw6fDo28pIGF0cmF2w6lzIGRvIHNpdGUgZG8gUmVwb3NpdMOzcmlvIERpZ2l0YWwgZGEgVUZQRSBubyBlbmRlcmXDp28gaHR0cDovL3d3dy5yZXBvc2l0b3Jpby51ZnBlLmJyLCBxdWFuZG8gZmluZGFyIG8gcGVyw61vZG8gZGUgZW1iYXJnbyBjb25kaXplbnRlIGFvIHRpcG8gZGUgZG9jdW1lbnRvLCBjb25mb3JtZSBpbmRpY2FkbyBubyBjYW1wbyBEYXRhIGRlIEVtYmFyZ28uCg==Repositório InstitucionalPUBhttps://repositorio.ufpe.br/oai/requestattena@ufpe.bropendoar:22212025-12-07T19:33:55Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)false
dc.title.pt_BR.fl_str_mv SignWriting para reconhecimento de gestos em língua de sinais
title SignWriting para reconhecimento de gestos em língua de sinais
spellingShingle SignWriting para reconhecimento de gestos em língua de sinais
SILVA, Karolayne Teixeira da
Reconhecimento de gestos
SignWriting
Aprendizado profundo
title_short SignWriting para reconhecimento de gestos em língua de sinais
title_full SignWriting para reconhecimento de gestos em língua de sinais
title_fullStr SignWriting para reconhecimento de gestos em língua de sinais
title_full_unstemmed SignWriting para reconhecimento de gestos em língua de sinais
title_sort SignWriting para reconhecimento de gestos em língua de sinais
author SILVA, Karolayne Teixeira da
author_facet SILVA, Karolayne Teixeira da
author_role author
dc.contributor.authorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/2074137700305766
dc.contributor.advisorLattes.pt_BR.fl_str_mv http://lattes.cnpq.br/3084134533707587
dc.contributor.author.fl_str_mv SILVA, Karolayne Teixeira da
dc.contributor.advisor1.fl_str_mv REN, Tsang Ing
contributor_str_mv REN, Tsang Ing
dc.subject.por.fl_str_mv Reconhecimento de gestos
SignWriting
Aprendizado profundo
topic Reconhecimento de gestos
SignWriting
Aprendizado profundo
description Oreconhecimento automático de gestos é essencial para promover a comunicação inclusiva, so bretudo junto às comunidades Surdas. Entretanto, persistem desafios significativos em função da diversidade linguística das línguas de sinais e das limitações das abordagens convencio nais, as quais tipicamente exigem grandes conjuntos de dados rotulados e apresentam baixo potencial de generalização entre diferentes idiomas, comprometendo a escalabilidade e aplica bilidade prática. Neste contexto, este trabalho propõe a utilização do SignWriting, um sistema padronizado de notação visual que codifica gestos de forma independente do idioma, como alternativa para um reconhecimento universal de gestos estáticos das mãos. A metodologia emprega o MediaPipe para extração automática de marcos anatômicos das mãos, seguida de técnicas de normalização espacial e aumento sintético de dados a fim de mitigar variabilidades individuais e ambientais. O modelo foi avaliado em 16 conjuntos de dados distintos, abran gendo 132 classes de gestos provenientes de múltiplas regiões e línguas de sinais. Os resultados obtidos indicam robustez na generalização entre línguas, corroborando o potencial do Sign Writing como ferramenta unificadora. Adicionalmente, análises de sensibilidade evidenciaram a influência dos erros de detecção de marcos sobre o desempenho do classificador, apontando direções para futuras melhorias. Todo o código-fonte encontra-se disponível no repositório público: <https://github.com/karo-txs/signwriting-recognition>.
publishDate 2025
dc.date.accessioned.fl_str_mv 2025-12-03T16:13:58Z
dc.date.available.fl_str_mv 2025-12-03T16:13:58Z
dc.date.issued.fl_str_mv 2025-07-25
dc.type.status.fl_str_mv info:eu-repo/semantics/publishedVersion
dc.type.driver.fl_str_mv info:eu-repo/semantics/masterThesis
format masterThesis
status_str publishedVersion
dc.identifier.citation.fl_str_mv SILVA, Karolayne Teixeira da. SignWriting para reconhecimento de gestos em língua de sinais. 2025. Dissertação (Mestrado em Ciência da Computação) - Universidade Federal de Pernambuco, Recife, 2025.
dc.identifier.uri.fl_str_mv https://repositorio.ufpe.br/handle/123456789/67047
identifier_str_mv SILVA, Karolayne Teixeira da. SignWriting para reconhecimento de gestos em língua de sinais. 2025. Dissertação (Mestrado em Ciência da Computação) - Universidade Federal de Pernambuco, Recife, 2025.
url https://repositorio.ufpe.br/handle/123456789/67047
dc.language.iso.fl_str_mv por
language por
dc.rights.driver.fl_str_mv https://creativecommons.org/licenses/by-nc-nd/4.0/
info:eu-repo/semantics/openAccess
rights_invalid_str_mv https://creativecommons.org/licenses/by-nc-nd/4.0/
eu_rights_str_mv openAccess
dc.publisher.none.fl_str_mv Universidade Federal de Pernambuco
dc.publisher.program.fl_str_mv Programa de Pos Graduacao em Ciencia da Computacao
dc.publisher.initials.fl_str_mv UFPE
dc.publisher.country.fl_str_mv Brasil
publisher.none.fl_str_mv Universidade Federal de Pernambuco
dc.source.none.fl_str_mv reponame:Repositório Institucional da UFPE
instname:Universidade Federal de Pernambuco (UFPE)
instacron:UFPE
instname_str Universidade Federal de Pernambuco (UFPE)
instacron_str UFPE
institution UFPE
reponame_str Repositório Institucional da UFPE
collection Repositório Institucional da UFPE
bitstream.url.fl_str_mv https://repositorio.ufpe.br/bitstream/123456789/67047/2/license.txt
https://repositorio.ufpe.br/bitstream/123456789/67047/3/DISSERTA%c3%87%c3%83O%20Karolayne%20Teixeira%20da%20Silva.pdf.txt
https://repositorio.ufpe.br/bitstream/123456789/67047/4/DISSERTA%c3%87%c3%83O%20Karolayne%20Teixeira%20da%20Silva.pdf.jpg
https://repositorio.ufpe.br/bitstream/123456789/67047/1/DISSERTA%c3%87%c3%83O%20Karolayne%20Teixeira%20da%20Silva.pdf
bitstream.checksum.fl_str_mv 5e89a1613ddc8510c6576f4b23a78973
6b6462dc824a8f7b9fda20d7fb46d2df
15fbfde553c5196c7663933c570c33a2
220a4e6bf36078ec37754cae5268a366
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
MD5
repository.name.fl_str_mv Repositório Institucional da UFPE - Universidade Federal de Pernambuco (UFPE)
repository.mail.fl_str_mv attena@ufpe.br
_version_ 1862741800431648768

Registros relacionados