Sistema Apoio à Revisão Sistemática (AReS): descrição de funcionalidades e avaliação de validade e usabilidade com exemplo de aplicação em fibrose cística
Introdução. As revisões sistemáticas permitem que a produção científica sobre um assunto específico seja agregada e resumida, entretanto, sua realização é árdua, principalmente nas etapas iniciais, sendo de grande utilidade a existência de ferramentas computacionais que automatizem ou semiautomatize...
| Autor: | |
|---|---|
| Tipo de recurso: | tesis doctoral |
| Estado: | Versión publicada |
| Fecha de publicación: | 2022 |
| País: | Brasil |
| Institución: | Universidade de São Paulo (USP) |
| Repositorio: | Biblioteca Digital de Teses e Dissertações da USP |
| Idioma: | portugués |
| OAI Identifier: | oai:teses.usp.br:tde-04042024-101557 |
| Acceso en línea: | https://www.teses.usp.br/teses/disponiveis/6/6141/tde-04042024-101557/ |
| Access Level: | acceso abierto |
| Palabra clave: | Acurácia dos Dados Computer-based System Data Accuracy Revisão Sistemática Sistema Computacional Software Systematic Review Teste de Usabilidade Usability Test |
| Sumario: | Introdução. As revisões sistemáticas permitem que a produção científica sobre um assunto específico seja agregada e resumida, entretanto, sua realização é árdua, principalmente nas etapas iniciais, sendo de grande utilidade a existência de ferramentas computacionais que automatizem ou semiautomatizem o trabalho manual de investigadores. Objetivo. Desenvolver e avaliar um sistema computacional para identificar referências duplicadas e auxiliar na fase de elegibilidade de estudos de revisão de literatura. Métodos. Estudo metodológico que apresenta o sistema web \"Apoio à Revisão Sistemática\" (AReS), versão 1.0, com ênfase na avaliação de validade da identificação de referências duplicadas e na avaliação de usabilidade. Na descrição de suas funcionalidades, foram simuladas as etapas iniciais de uma revisão sistemática com estudos sobre fibrose cística. Na avaliação de validade, realizou-se comparação de sensibilidade e especificidade dos sistemas AReS, EndNote® e Rayyan®, considerando-se como referência a seleção manual de duplicatas. Para o teste de usabilidade, estudantes de pós-graduação, voluntários, resolveram 21 tarefas utilizando o sistema AReS. Os dados observados foram registrados e permitiram a avaliação da conclusão das tarefas (eficácia) e do tempo necessário para conclusão de cada tarefa (eficiência); a usabilidade foi avaliada pelos participantes por meio do instrumento System Usability Scale (SUS). Resultados: O sistema AReS permite eliminar referências duplicadas e apresentar resumos na mesma tela que contém os critérios de elegibilidade, facilitando a identificação dos elegíveis. O sistema compara as decisões dos pesquisadores sobre a elegibilidade dos estudos, mostrando as divergências a serem resolvidas. Na avaliação de validade, o sistema AReS identificou maior proporção de verdadeiras duplicatas do que os sistemas EndNote® e Rayyan®, com valores de sensibilidade, especificidade e acurácia acima de 98%. A avaliação de usabilidade resultou em índice de conclusão das tarefas acima de 90%, conforme esperado, com tempo médio total de 55,1 minutos, quando o esperado era de no máximo 60 minutos, e nota média de usabilidade de 82,4 em escala de 0 a 100. Conclusão: O sistema AReS (versão 1.0) permite a eliminação acurada de referências duplicadas e auxilia na seleção de estudos na fase de elegibilidade em revisões de literatura. A eficácia, eficiência e o grau de usabilidade fornecido pelo instrumento SUS poderão ser melhorados a partir da incorporação de ajustes que foram identificados no teste de usabilidade. |
|---|