Speech2Learning: Uma Arquitetura de Software Baseada em Reconhecimento de Fala para Promover a Acessibilidade de Objetos de Aprendizagem

• Ano de defesa: 2024
• Autor(a) principal: Falvo Júnior, Venilton
• Tipo de documento: Tese
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Biblioteca Digitais de Teses e Dissertações da USP
• Palavras-chave em Português: Acessibilidade digital; Arquitetura de software; Assistive technology; Automatic speech recognition; Digital accessibility; Learning objects; Objetos de aprendizagem; Reconhecimento automático de fala; Software architecture; Tecnologia assistiva
• Link de acesso: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-15012025-095523/

Introdução: O acesso a Objetos de Aprendizagem (OAs) audíveis ainda é um desafio, especialmente para aprendizes que dependem de Tecnologia Assistiva (TA). Com o avanço do Reconhecimento Automático de Fala (ASR), surgem novas possibilidades para tornar os OAs mais acessíveis. Este trabalho visa abordar essa questão por meio de uma Arquitetura de Software que facilite a criação de recursos de TA baseados em ASR. Objetivo: O principal objetivo desta pesquisa foi desenvolver e avaliar uma Arquitetura de Software, denominada Speech2Learning, destinada a promover soluções baseadas em ASR, visando ampliar a acessibilidade de OAs audíveis para diferentes aprendizes. Métodos: A metodologia incluiu um Mapeamento Sistemático (MS) que fundamentou a definição da Speech2Learning. A arquitetura foi avaliada por meio de dois Estudos de Caso aplicados na indústria, em parceria com a EdTech DIO. O primeiro estudo de caso investigou a precisão das transcrições automáticas dos principais serviços de ASR em videoaulas, utilizando uma triangulação de dados que combinou análises de similaridade léxica, respostas dos participantes de um survey e uma análise documental adicional. O segundo estudo de caso avaliou um player de vídeo integrado a avatares de Libras baseados em texto, alimentados por transcrições automáticas. Este player foi testado funcionalmente com intérpretes de Libras, que forneceram feedback qualitativo especializado. Resultados: No primeiro estudo de caso, os resultados mostraram que o serviço de ASR da OpenAI apresentou a maior precisão nas transcrições automáticas, destacada tanto nas análises estatísticas dos algoritmos de similaridade léxica quanto nas respostas dos participantes do survey. A convergência dessas fontes de dados reforçou a relevância do ASR na promoção da acessibilidade de OAs audíveis. O segundo estudo de caso revelou que, embora tecnicamente viável, a integração de avatares de Libras com as transcrições automáticas apresentou desafios significativos, especialmente devido à complexidade cultural e linguística da Libras. Conclusões: Esta pesquisa contribuiu para a definição e avaliação de uma arquitetura genérica e adaptável a diferentes contextos educacionais. A condução dos estudos de caso na indústria agregou complexidade e realismo, gerando insights valiosos para potenciais evoluções da Speech2Learning. Como trabalhos futuros, estudos adicionais podem ser realizados para ampliar a amostragem e testar a arquitetura em novos contextos, aferindo sua relevância na promoção da acessibilidade educacional por meio de OAs audíveis.