Measuring review report quality in health research : development and validation of ARCADIA

Tesi en modalitat de cotutela: Universtat Politècnica de Catalunya i Université de Paris. Aplicat embargament des de la data de defensa fins el 31 de desembre de 2021

Detalhes bibliográficos
Autor: Superchi, Cecilia|||0000-0002-5375-6018
Tipo de documento: tese
Data de publicação:2021
País:España
Recursos:Universitat Politècnica de Catalunya (UPC)
Repositório:UPCommons. Portal del coneixement obert de la UPC
Idioma:inglês
OAI Identifier:oai:upcommons.upc.edu:2117/360915
Acesso em linha:https://hdl.handle.net/2117/360915
https://dx.doi.org/10.5821/dissertation-2117-360915
Access Level:Acceso aberto
Palavra-chave:Àrees temàtiques de la UPC::Matemàtiques i estadística
id ES_5d616ab44236b4e0743d3f4e49a187b6
oai_identifier_str oai:upcommons.upc.edu:2117/360915
network_acronym_str ES
network_name_str España
repository_id_str
dc.title.none.fl_str_mv Measuring review report quality in health research : development and validation of ARCADIA
title Measuring review report quality in health research : development and validation of ARCADIA
spellingShingle Measuring review report quality in health research : development and validation of ARCADIA
Superchi, Cecilia|||0000-0002-5375-6018
Àrees temàtiques de la UPC::Matemàtiques i estadística
title_short Measuring review report quality in health research : development and validation of ARCADIA
title_full Measuring review report quality in health research : development and validation of ARCADIA
title_fullStr Measuring review report quality in health research : development and validation of ARCADIA
title_full_unstemmed Measuring review report quality in health research : development and validation of ARCADIA
title_sort Measuring review report quality in health research : development and validation of ARCADIA
dc.creator.none.fl_str_mv Superchi, Cecilia|||0000-0002-5375-6018
author Superchi, Cecilia|||0000-0002-5375-6018
author_facet Superchi, Cecilia|||0000-0002-5375-6018
author_role author
dc.contributor.none.fl_str_mv González Alastrué, José Antonio
Boutron, Isabelle
Hren, Darko
dc.subject.none.fl_str_mv Àrees temàtiques de la UPC::Matemàtiques i estadística
topic Àrees temàtiques de la UPC::Matemàtiques i estadística
description Tesi en modalitat de cotutela: Universtat Politècnica de Catalunya i Université de Paris. Aplicat embargament des de la data de defensa fins el 31 de desembre de 2021
publishDate 2021
dc.date.none.fl_str_mv 2021
2021-01-21
2022
2022-01-27
dc.type.none.fl_str_mv doctoral thesis
http://purl.org/coar/resource_type/c_db06
VoR
http://purl.org/coar/version/c_970fb48d4fbd8a85
dc.type.openaire.fl_str_mv info:eu-repo/semantics/doctoralThesis
format doctoralThesis
dc.identifier.none.fl_str_mv https://hdl.handle.net/2117/360915
https://dx.doi.org/10.5821/dissertation-2117-360915
url https://hdl.handle.net/2117/360915
https://dx.doi.org/10.5821/dissertation-2117-360915
dc.language.none.fl_str_mv Inglés
eng
language_invalid_str_mv Inglés
language eng
dc.rights.none.fl_str_mv open access
http://purl.org/coar/access_right/c_abf2

http://creativecommons.org/licenses/by/4.0/
dc.rights.openaire.fl_str_mv info:eu-repo/semantics/openAccess
rights_invalid_str_mv open access
http://purl.org/coar/access_right/c_abf2

http://creativecommons.org/licenses/by/4.0/
eu_rights_str_mv openAccess
dc.format.none.fl_str_mv application/pdf
dc.publisher.none.fl_str_mv Universitat Politècnica de Catalunya
publisher.none.fl_str_mv Universitat Politècnica de Catalunya
dc.source.none.fl_str_mv reponame:UPCommons. Portal del coneixement obert de la UPC
instname:Universitat Politècnica de Catalunya (UPC)
instname_str Universitat Politècnica de Catalunya (UPC)
reponame_str UPCommons. Portal del coneixement obert de la UPC
collection UPCommons. Portal del coneixement obert de la UPC
repository.name.fl_str_mv
repository.mail.fl_str_mv
_version_ 1869409011328090112
spelling Measuring review report quality in health research : development and validation of ARCADIASuperchi, Cecilia|||0000-0002-5375-6018Àrees temàtiques de la UPC::Matemàtiques i estadísticaTesi en modalitat de cotutela: Universtat Politècnica de Catalunya i Université de Paris. Aplicat embargament des de la data de defensa fins el 31 de desembre de 2021Editorial peer review is the gateway to scientific publication. It was established to ensure that research papers were vetted by independent experts before they are published. Despite the importance of this process, its impact is still considered suboptimal and it needs to be improved. For this purpose, we need appropriate outcome measures, particularly a validated tool that clearly defines the quality of peer review reports. The final aim of the present PhD project was to develop and validate a new tool for assessing the quality of peer review reports in biomedical research. As the starting point for the development of a new tool, we performed a systematic review aimed to identify and describe the existing tools used to assess peer review report quality in biomedical research. We identified a total number of 24 tools: 23 scales and 1 checklist. None of the tools reported a definition of ‘quality’. Only one described the scale development and 10 provided measures of validity and reliability. We classified the quality components of the 18 tools with more than one item into 9 main quality domains and 11 subdomains. Secondly, we formed a steering committee composed of five members with diverse expertise, which defined the quality of peer review reports. We then conducted an online survey intended for biomedical editors and authors to 1) determine if participants endorsed the proposed definition of peer review report quality; 2) identify the most important items to include in the tool, and 3) identify any missing items. Based on the participants’ qualitative and quantitative answers, the steering committee modified the initially proposed definition of peer review report quality, reviewed all items, and ultimately, drafted and refined the final version of the tool. The ARCADIA (Assessment of Review reports with a Checklist Available to eDItors and Authors) tool was finally developed. The tool is a checklist that includes 14 items encompassed in 5 domains. Each item should be ticked as ‘Yes’ or ‘No’. However, an item could also be assessed as ‘Not applicable’ (NA) depending on the reviewer’s expertise, type of study, type of biomedical journal, availability of study data, materials and protocol. Finally, we tested the tool and evaluated its acceptability, reliability, and validity. ARCADIA was validated by a heterogeneous sample of both biomedical editors and authors using a sample of peer review reports from two different biomedical journals (i.e., The BMJ and BMJ Open). Field-testing demonstrated that the psychometric properties of ARCADIA are not entirely satisfactory. Results from the validation study should be used to inform a new version of the ARCADIA tool, which should be also validated in a real-editorial setting using peer review reports associated with manuscripts with different study designs and from different types of journals. This thesis reports the development and validation of ARCADIA, a new tool for assessing the quality of peer review reports in biomedical research. ARCADIA constitutes the first tool that has been systematically developed to assess the quality of peer review reports and its validation is based on a large and diverse sample of biomedical editors and authors. This tool could be used regularly by editors to evaluate the reviewers' work, and also as an outcome when evaluating interventions to improve the peer review process.La revisión editorial por pares es la puerta de entrada a la publicación científica. Se estableció para garantizar que los artículos de investigación fueran examinados por expertos independientes antes de su publicación. A pesar de la importancia de este proceso, su impacto aún se considera subóptimo y debe mejorarse. Para este propósito, necesitamos outcomes apropiados, particularmente una herramienta validada que defina claramente la calidad de los informes de revisión por pares. El objetivo final del presente proyecto de doctorado fue desarrollar y validar una nueva herramienta para evaluar la calidad de los informes de revisión por pares en la investigación biomédica. Como punto de partida para el desarrollo de una nueva herramienta, realizamos una revisión sistemática destinada a identificar y describir las herramientas existentes que se utilizan para evaluar la calidad de los informes de revisión por pares en la investigación biomédica. Identificamos un total de 24 herramientas: 23 escalas y 1 lista de comprobación. Ninguna de las herramientas incorporó una definición de `calidad¿. Solo una describió el desarrollo de la escala y 10 proporcionaron medidas de validez y confiabilidad. Clasificamos los componentes de calidad de las 18 herramientas con más de un elemento en 9 dominios de calidad principales y 11 subdominios. En segundo lugar, formamos un comité directivo compuesto por cinco miembros con experiencia diversa que definieron la calidad de los informes de revisión por pares. Luego, realizamos una encuesta online destinada a editores y autores biomédicos para 1) determinar si los participantes respaldaban la definición propuesta de calidad del informe de revisión por pares; 2) identificar los ítems más importantes para incluir en la herramienta; y 3) identificar cualquier ítem faltante. Sobre la base de las respuestas cualitativas y cuantitativas de los participantes, el comité directivo modificó la definición propuesta inicialmente de calidad del informe de revisión por pares, revisó todos los ítems y, por último, redactó y perfeccionó la versión final de la herramienta. Seguidamente se desarrolló la herramienta ARCADIA (Assessment of Review reports with a Checklist Available to eDItors and Authors). La herramienta es una lista de comprobación que incluye 14 elementos englobados en 5 dominios. Cada elemento debe marcarse como "Sí" o "No". Sin embargo, un elemento también podría evaluarse como `No aplicable¿ (NA) según la experiencia del revisor, el tipo de estudio, el tipo de revista biomédica, la disponibilidad de los datos del estudio, los materiales y el protocolo. Finalmente, probamos la herramienta y evaluamos su aceptabilidad, fiabilidad y validez. ARCADIA fue validada por una muestra heterogénea de editores y autores biomédicos utilizando informes de revisión por pares de dos revistas biomédicas diferentes (es decir, The BMJ y BMJ Open). Las pruebas de campo demostraron que las propiedades psicométricas de ARCADIA no son del todo satisfactorias. Los resultados del estudio de validación deben usarse para impulsar una nueva versión de la herramienta ARCADIA, que también debe validarse en un entorno editorial real utilizando informes de revisión por pares asociados con manuscritos con diferentes diseños de estudio y de diferentes tipos de revistas. Esta tesis informa sobre el desarrollo y validación de ARCADIA, una nueva herramienta para evaluar la calidad de los informes de revisión por pares en la investigación biomédica. ARCADIA constituye la primera herramienta que se ha desarrollado sistemáticamente para evaluar la calidad de los informes de revisión por pares, validada con una amplia y diversa muestra de editores y autores biomédicos. Los editores podrían utilizar esta herramienta con regularidad para evaluar el trabajo de los revisores y también como variable respuesta al evaluar intervenciones para mejorar el proceso de revisión por pares.Universitat Politècnica de CatalunyaGonzález Alastrué, José AntonioBoutron, IsabelleHren, Darko20212021-01-2120222022-01-27doctoral thesishttp://purl.org/coar/resource_type/c_db06VoRhttp://purl.org/coar/version/c_970fb48d4fbd8a85info:eu-repo/semantics/doctoralThesisapplication/pdfhttps://hdl.handle.net/2117/360915https://dx.doi.org/10.5821/dissertation-2117-360915reponame:UPCommons. Portal del coneixement obert de la UPCinstname:Universitat Politècnica de Catalunya (UPC)Inglésengopen accesshttp://purl.org/coar/access_right/c_abf2http://creativecommons.org/licenses/by/4.0/info:eu-repo/semantics/openAccessoai:upcommons.upc.edu:2117/3609152026-05-27T15:37:01Z
score 15,301603

Registros relacionados