Isolated sign language recognition through skeleton image representation

• Ano de defesa: 2025
• Autor(a) principal: Alves, Carlos Eduardo Gomes Reddo
• Orientador(a): Paixão, Thiago Meireles
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: eng
• Instituição de defesa: Serra
• Palavras-chave em Português: Redes neurais (Computação); Sistemas de reconhecimento de padrões; Língua de sinais; Esqueleto humano - Imagens digitais; Visão por computador
• Link de acesso: https://repositorio.ifes.edu.br/handle/123456789/6215

RESUMO: A comunicação para indivíduos surdos e com deficiência auditiva é um desafio significativo devido ao conhecimento limitado da língua de sinais na sociedade em geral. Com mais de 70 milhões de pessoas surdas em todo o mundo e um número crescente de indivíduos enfrentando perda auditiva incapacitante, o desenvolvimento de tecnologias assistivas é essencial para viabilizar uma comunicação inclusiva. O Reconhecimento de Língua de Sinais (SLR, do inglês Sign Language Recognition) busca reduzir essa lacuna ao traduzir sinais para a linguagem falada, promovendo maior acessibilidade para a comunidade surda. Esta dissertação foca no Reconhecimento Isolado de Língua de Sinais (ISLR, do inglês Isolated Sign Language Recognition), um subcampo do SLR que classifica sinais individuais a partir de sequências de vídeo. Em ISLR, assume-se que o início e o fim de um sinal são previamente segmentados, possibilitando aplicações como mecanismos de busca baseados em gestos e plataformas interativas de aprendizado de língua de sinais. Abordagens tradicionais de ISLR frequentemente dependem de Redes Neurais Convolucionais 3D (3D CNNs, do inglês 3D Convolutional Neural Networks) treinadas em dados RGB, o que exige recursos computacionais elevados e grandes conjuntos de dados anotados. Dada a escassez desses conjuntos de dados para muitas línguas de sinais, métodos alternativos são necessários para alcançar um desempenho robusto com dados de treinamento limitados. Esta pesquisa investiga o uso de representações baseadas em esqueletos para ISLR, aproveitando pontos chave corporais extraídos de quadros de vídeo. Inspirados por técnicas de reconhecimento de atividade humana, codificamos os pontos-chave obtidos ao longo do tempo como imagens 2D e classificamos usando CNNs 2D. Essa abordagem reduz a complexidade computacional, enquanto preserva características temporais e espaciais essenciais dos sinais. Com base em trabalhos anteriores de reconhecimento de ações baseado em esqueletos, adaptamos o método Skeleton-DML, que demonstrou resultados promissores em reconhecimento de atividades, para o contexto do ISLR. O foco da nossa investigação é a Língua Brasileira de Sinais (LIBRAS), porém experimentos adicionais foram realizados em outras línguas de sinal para avaliar a generalização do método proposto. Foram realizados experimentos comparando diferentes técnicas de representação de imagens de esqueletos e diversos modelos CNN 2D pré-treinados. Os resultados demonstram um desempenho competitivo em relação ao estado da arte em ISLR, oferecendo uma solução mais escalável e eficiente em cenários com recursos limitados.