Uma estratégia para reconhecimento de sinais de Língua Brasileira de Sinais utilizando aprendizado profundo

• Ano de defesa: 2020
• Autor(a) principal: Cruz, Ada Raquel dos Santos
• Outros Autores: http://lattes.cnpq.br/8183701728172908
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Universidade Federal do Amazonas; Instituto de Computação; Brasil; UFAM; Programa de Pós-graduação em Informática
• Palavras-chave em Português: Língua brasileira de sinais; Redes neurais (Computação); CIÊNCIAS EXATAS E DA TERRA; Língua de sinais; Língua Brasileira de Sinais; Reconhecimento de Gestos; Aprendizado Profundo; Redes Neurais Convolutivas; Tecnologia Assistiva
• Link de acesso: https://tede.ufam.edu.br/handle/tede/7855

As línguas de sinais são línguas naturais e vivas utilizadas para comunicação não oral entre surdos, deficientes auditivos e ouvintes. No Brasil, a língua de sinais, conhecida como Libras, é legalmente reconhecida como meio de expressão e comunicação dessa parcela da população, que equivale a cerca de 9 milhões de pessoas. Com o intuito de facilitar a comunicação entre surdos e ouvintes, algumas tecnologias assistivas de transcrição da Libras para o português foram desenvolvidas, especialmente baseadas em técnicas de visão computacional. Nesse cenário, as redes neurais convolutivas são amplamente utilizadas por apresentarem resultados considerados estado da arte em reconhecimento de gestos. Porém, ainda não foi encontrada uma solução efetiva para o problema, devido, principalmente: ao alto custo financeiro de implantação, como por exemplo, a utilização de dispositivos específicos de aquisição de dados; ao aspecto intrusivo, visto que algumas soluções utilizam sensores portáteis, como luvas equipadas com sensores de movimento; e a limitações técnicas, pois, apesar da maioria dos sinais da Libras possuir movimento, a área de reconhecimento de sinais da Libras é majoritariamente dominada por soluções que consideram apenas sinais estáticos. Além disso, poucos trabalhos exploram o impacto da utilização de técnicas como transferência de aprendizado e aumento de dados, ou fusão de diferentes canais de dados. Assim, o desenvolvimento deste trabalho se apoia na necessidade da elaboração de um método para reconhecimento de sinais da Libras, que seja de baixo custo, não intrusivo e eficiente no reconhecimento de sinais que são executados em movimento. Como resultado, este trabalho apresenta uma estratégia para reconhecimento de sinais estáticos e dinâmicos da Libras combinando rede neural convolutiva tridimensional, fusão de dados de múltiplos canais e transferência de aprendizado.