Enabling deaf or hard of hearing accessibility in live theaters through virtual reality

• Ano de defesa: 2019
• Autor(a) principal: Teófilo, Mauro Ricardo da Silva
• Outros Autores: http://lattes.cnpq.br/8556988331458557, https://orcid.org/0000-0001-8828-0200
• Tipo de documento: Tese
• Tipo de acesso: Acesso aberto
• Idioma: eng
• Instituição de defesa: Universidade Federal do Amazonas; Instituto de Computação; Brasil; UFAM; Programa de Pós-graduação em Informática
• Palavras-chave em Português: Realidade virtual; Acessibilidade; Distúrbios da audição; CIÊNCIAS EXATAS E DA TERRA: CIÊNCIA DA COMPUTAÇÃO: SISTEMAS DE COMPUTAÇÃO
• Link de acesso: https://tede.ufam.edu.br/handle/tede/7204

Avanços recentes em Realidade Virtual (RV) fizeram dela uma tecnologia potencial para melhorar o entendimento entre surdos ou pessoas com deficiência auditiva. Com base nisso, este estudo visa estender esses avanços para permitir entretenimento ao vivo, como peças teatrais para pessoas com deficiência auditiva. Inicialmente, este trabalho apresenta uma pesquisa, que aborda alguns achados da pesquisa a respeito de acessibilidade utilizando sistemas de realidade virtual e aumentada, desde 1996 até os dias de hoje, e áreas como autismo, reabilitação motora, doença de Parkinson e inclusão para pessoas com deficiência auditiva. Após essa revisão inicial é apresentada uma solução em detalhes, que é um serviço de acessibilidade para habilitar acesso ao teatro ao vivo para surdos ou pessoas com deficiência auditiva, com o objetivo de ser uma solução concreta projetada para trazer acessibilidade usando tecnologia de realidade virtual combinada com reconhecimento automático de fala, previsão de frases e correção de fala para geração de textos e legendas em linguagem de sinais. Para avaliar a eficiência deste método, realizou-se um estudo quantitativo e qualitativo, cujos resultados mostraram que os espectadores alvo tinham um bom entendimento de todas as peças teatrais avaliadas e também uma boa satisfação com o método proposto. Os melhores resultados estão relacionados à legenda em texto. Em relação à legenda em língua de sinais, é uma tecnologia promissora, mas é necessário um grande esforço para iniciar o estabelecimento de um padrão para exibição em dispositivo de realidade virtual ou aumentada. Outra contribuição principal deste trabalho é apresentar os procedimentos e seus resultados executados avaliando a integração do reconhecimento automático de fala e correção de fala baseado na predição semântica. Cinco conjuntos de dados foram submetidos a dois diferentes sistemas de reconhecimento automático de fala e seus resultados ao módulo de correção de fala, considerando três grupos de pares para observar os erros semânticos e sintáticos apresentados pelos módulos, bem como seu desempenho sob diferentes configurações representativas de possíveis cenários de peças teatrais reais. Os sistemas de reconhecimento automático de fala apresentaram um erro de 50%, em média, quando aplicados ao áudio de uma reprodução real. O módulo de semelhança semântica apresentou um erro médio de 18% nas sentenças não modificadas pelo sistema de reconhecimento automático de fala. No entanto, a saída do módulo de similaridade semântica é afetada pelo erro introduzido pelos sistema de reconhecimento automático de fala. A correção de fala baseada na semelhança semântica apresentaria menos erros do que a sintaticamente.