Sistema Apoio à Revisão Sistemática (AReS): descrição de funcionalidades e avaliação de validade e usabilidade com exemplo de aplicação em fibrose cística

• Ano de defesa: 2022
• Autor(a) principal: Escaldelai, Fernanda Martins Dias
• Tipo de documento: Tese
• Tipo de acesso: Acesso aberto
• Idioma: por
• Instituição de defesa: Biblioteca Digitais de Teses e Dissertações da USP
• Palavras-chave em Português: Acurácia dos Dados; Computer-based System; Data Accuracy; Revisão Sistemática; Sistema Computacional; Software; Systematic Review; Teste de Usabilidade; Usability Test
• Link de acesso: https://www.teses.usp.br/teses/disponiveis/6/6141/tde-04042024-101557/

Introdução. As revisões sistemáticas permitem que a produção científica sobre um assunto específico seja agregada e resumida, entretanto, sua realização é árdua, principalmente nas etapas iniciais, sendo de grande utilidade a existência de ferramentas computacionais que automatizem ou semiautomatizem o trabalho manual de investigadores. Objetivo. Desenvolver e avaliar um sistema computacional para identificar referências duplicadas e auxiliar na fase de elegibilidade de estudos de revisão de literatura. Métodos. Estudo metodológico que apresenta o sistema web \"Apoio à Revisão Sistemática\" (AReS), versão 1.0, com ênfase na avaliação de validade da identificação de referências duplicadas e na avaliação de usabilidade. Na descrição de suas funcionalidades, foram simuladas as etapas iniciais de uma revisão sistemática com estudos sobre fibrose cística. Na avaliação de validade, realizou-se comparação de sensibilidade e especificidade dos sistemas AReS, EndNote® e Rayyan®, considerando-se como referência a seleção manual de duplicatas. Para o teste de usabilidade, estudantes de pós-graduação, voluntários, resolveram 21 tarefas utilizando o sistema AReS. Os dados observados foram registrados e permitiram a avaliação da conclusão das tarefas (eficácia) e do tempo necessário para conclusão de cada tarefa (eficiência); a usabilidade foi avaliada pelos participantes por meio do instrumento System Usability Scale (SUS). Resultados: O sistema AReS permite eliminar referências duplicadas e apresentar resumos na mesma tela que contém os critérios de elegibilidade, facilitando a identificação dos elegíveis. O sistema compara as decisões dos pesquisadores sobre a elegibilidade dos estudos, mostrando as divergências a serem resolvidas. Na avaliação de validade, o sistema AReS identificou maior proporção de verdadeiras duplicatas do que os sistemas EndNote® e Rayyan®, com valores de sensibilidade, especificidade e acurácia acima de 98%. A avaliação de usabilidade resultou em índice de conclusão das tarefas acima de 90%, conforme esperado, com tempo médio total de 55,1 minutos, quando o esperado era de no máximo 60 minutos, e nota média de usabilidade de 82,4 em escala de 0 a 100. Conclusão: O sistema AReS (versão 1.0) permite a eliminação acurada de referências duplicadas e auxilia na seleção de estudos na fase de elegibilidade em revisões de literatura. A eficácia, eficiência e o grau de usabilidade fornecido pelo instrumento SUS poderão ser melhorados a partir da incorporação de ajustes que foram identificados no teste de usabilidade.