Uma arquitetura multifluxo baseada em aprendizagem profunda para reconhecimento de sinais em libras no contexto de saúde

• Ano de defesa: 2020
• Autor(a) principal: Silva, Diego Ramon Bezerra da
• Orientador(a): Araújo, Tiago Maritan Ugulino de
• Tipo de documento: Dissertação
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Universidade Federal da Paraíba
• Programa de Pós-Graduação: Programa de Pós-Graduação em Informática
• Departamento: Informática
• País: Brasil
• Palavras-chave em Português: Acessibilidade; Libras; Visão computacional; Redes neurais convolucionais; Aprendizagem profunda; Multimodal; Accessibility; Computer vision; CNN; Deep learning
• Área do conhecimento CNPq: CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO
• Link de acesso: https://repositorio.ufpb.br/jspui/handle/123456789/21163

Os surdos são uma parte considerável da população mundial. No entanto, embora muitos países adotem sua língua de sinais como língua oficial, existem barreiras linguísticas de acesso aos direitos fundamentais, especialmente o acesso aos serviços de saúde. Essa situação tem sido o foco de algumas políticas governamentais que obrigam os prestadores de serviços essenciais a fornecer intérpretes de língua de sinais para ajudar as pessoas surdas. No entanto, esse tipo de solução possui altos custos operacionais, principalmente para atender toda a comunidade surda em todos os ambientes. Esses contratempos motivam a investigação de metodologias e ferramentas automatizadas para apoiar esse tipo de problema. Assim, neste trabalho, é proposto um modelo de várias correntes para o reconhecimento de sinais em Língua Brasileira de Sinais (Libras). A solução proposta não utiliza nenhum sensor ou hardware de captura adicional, baseando-se inteiramente em imagens ou sequências de imagens (vídeos). Os resultados obtidos com uma arquitetura de três fluxos mostram que a melhor acurácia para o conjunto de testes foi de 99,80%, considerando um cenário em que o intérprete usado no conjunto de testes não foi usado no conjunto de treinamento. Além disso, também foi criado um novo conjunto de dados na Língua Brasileira de Sinais (Libras) contendo 5000 vídeos de 50 sinais no contexto da saúde, o que pode auxiliar no desenvolvimento e na pesquisa de outras soluções.