The small impact of p-hacking marginally significant results on the meta-analytic estimation of effect size

La etiqueta p-hacking (pH) se refiere a un conjunto de prácticas oportunistas destinadas a hacer que sean significativos algunos valores p que deberían ser no significativos. Algunos han argumentado que debemos prevenir y luchar contra el pH por varias razones, especialmente debido a sus posibles ef...

Descripción completa

Detalles Bibliográficos
Autores: Botella, Juan, Suero, Manuel, Durán, Juan I., Blázquez, Desirée
Tipo de recurso: artículo
Fecha de publicación:2021
País:España
Institución:Universidad de Murcia
Repositorio:DIGITUM. Depósito Digital Institucional de la Universidad de Murcia
OAI Identifier:oai:digitum.um.es:10201/122125
Acceso en línea:https://doi.org/10.6018/analesps.433051
http://hdl.handle.net/10201/122125
Access Level:acceso abierto
Palabra clave:p-hacking
Tamaño del efecto
Meta-análisis
Effect size
Meta-analysis
CDU::1 - Filosofía y psicología::159.9 - Psicología
Descripción
Sumario:La etiqueta p-hacking (pH) se refiere a un conjunto de prácticas oportunistas destinadas a hacer que sean significativos algunos valores p que deberían ser no significativos. Algunos han argumentado que debemos prevenir y luchar contra el pH por varias razones, especialmente debido a sus posibles efectos nocivos en la evaluación de los resultados de la investigación primaria y su síntesis meta-analítica. Nos focalizamos aquí en el efecto de un tipo específico de pH, centrado en estudios marginalmente significativos, en la estimación combinada del tamaño del efecto en el meta-análisis. Queremos saber cuánto deberíamos preocuparnos por su efecto de sesgo al evaluar los resultados de un meta-análisis. Hemos calculado el sesgo en una variedad de situaciones que parecen realistas en términos de prevalencia y de la definición operativa del pH. Los resultados muestran que en la mayoría de las situaciones analizadas el sesgo es inferior a una centésima (± 0.01), en términos de d o r. Para alcanzar un nivel de sesgo de cinco centésimas (± 0.05), tendría que haber una presencia masiva de este tipo de pH, lo que parece poco realista. Hay muchas buenas razones para luchar contra el pH, pero nuestra conclusión principal es que entre esas razones no se incluye que tenga un gran impacto en la estimación meta-analítica del tamaño del efecto.