The small impact of p-hacking marginally significant results on the meta-analytic estimation of effect size

La etiqueta p-hacking (pH) se refiere a un conjunto de prácticas oportunistas destinadas a hacer que sean significativos algunos valores p que deberían ser no significativos. Algunos han argumentado que debemos prevenir y luchar contra el pH por varias razones, especialmente debido a sus posibles ef...

ver descrição completa

Detalhes bibliográficos
Autores: Botella, Juan, Suero, Manuel, Durán, Juan I., Blázquez, Desirée
Tipo de documento: artigo
Data de publicação:2021
País:España
Recursos:Universidad de Murcia
Repositório:DIGITUM. Depósito Digital Institucional de la Universidad de Murcia
OAI Identifier:oai:digitum.um.es:10201/122125
Acesso em linha:https://doi.org/10.6018/analesps.433051
http://hdl.handle.net/10201/122125
Access Level:Acceso aberto
Palavra-chave:p-hacking
Tamaño del efecto
Meta-análisis
Effect size
Meta-analysis
CDU::1 - Filosofía y psicología::159.9 - Psicología
id ES_6c9cf96a74d0650f01a00a78a48b2416
oai_identifier_str oai:digitum.um.es:10201/122125
network_acronym_str ES
network_name_str España
repository_id_str
spelling The small impact of p-hacking marginally significant results on the meta-analytic estimation of effect sizeEl pequeño impacto del “haqueo” de resultados marginalmente significativos sobre la estimación meta-analítica del tamaño del efectoBotella, JuanSuero, ManuelDurán, Juan I.Blázquez, Desiréep-hackingTamaño del efectoMeta-análisisEffect sizeMeta-analysisCDU::1 - Filosofía y psicología::159.9 - PsicologíaLa etiqueta p-hacking (pH) se refiere a un conjunto de prácticas oportunistas destinadas a hacer que sean significativos algunos valores p que deberían ser no significativos. Algunos han argumentado que debemos prevenir y luchar contra el pH por varias razones, especialmente debido a sus posibles efectos nocivos en la evaluación de los resultados de la investigación primaria y su síntesis meta-analítica. Nos focalizamos aquí en el efecto de un tipo específico de pH, centrado en estudios marginalmente significativos, en la estimación combinada del tamaño del efecto en el meta-análisis. Queremos saber cuánto deberíamos preocuparnos por su efecto de sesgo al evaluar los resultados de un meta-análisis. Hemos calculado el sesgo en una variedad de situaciones que parecen realistas en términos de prevalencia y de la definición operativa del pH. Los resultados muestran que en la mayoría de las situaciones analizadas el sesgo es inferior a una centésima (± 0.01), en términos de d o r. Para alcanzar un nivel de sesgo de cinco centésimas (± 0.05), tendría que haber una presencia masiva de este tipo de pH, lo que parece poco realista. Hay muchas buenas razones para luchar contra el pH, pero nuestra conclusión principal es que entre esas razones no se incluye que tenga un gran impacto en la estimación meta-analítica del tamaño del efecto.The label p-hacking (pH) refers to a set of opportunistic practices aimed at making statistically significant p values that should be non-significant. Some have argued that we should prevent and fight pH for several reasons, especially because of its potential harmful effects on the assessment of both primary research results and their meta-analytical synthesis. We focus here on the effect of a specific type of pH, focused on marginally significant studies, on the combined estimation of effect size in meta-analysis. We want to know how much we should be concerned with its biasing effect when assessing the results of a meta-analysis. We have calculated the bias in a range of situations that seem realistic in terms of the prevalence and the operational definition of pH. The results show that in most of the situations analyzed the bias is less than one hundredth (± 0.01), in terms of d or r. To reach a level of bias of five-hundredths (± 0.05), there would have to be a massive presence of this type of pH, which seems rather unrealistic. We must continue to fight pH for many good reasons, but our main conclusion is that among them is not that it has a big impact on the meta-analytical estimation of effect size.Universidad de Murcia. Servicio de Publicaciones202220222021info:eu-repo/semantics/articleapplication/pdf11application/pdfhttps://doi.org/10.6018/analesps.433051http://hdl.handle.net/10201/122125reponame:DIGITUM. Depósito Digital Institucional de la Universidad de Murciainstname:Universidad de MurciaInglésSin financiación externa a la Universidadinfo:eu-repo/semantics/openAccessAttribution-NonCommercial-NoDerivatives 4.0 Internacionalhttp://creativecommons.org/licenses/by-nc-nd/4.0/oai:digitum.um.es:10201/1221252026-05-27T12:40:41Z
dc.title.none.fl_str_mv The small impact of p-hacking marginally significant results on the meta-analytic estimation of effect size
El pequeño impacto del “haqueo” de resultados marginalmente significativos sobre la estimación meta-analítica del tamaño del efecto
title The small impact of p-hacking marginally significant results on the meta-analytic estimation of effect size
spellingShingle The small impact of p-hacking marginally significant results on the meta-analytic estimation of effect size
Botella, Juan
p-hacking
Tamaño del efecto
Meta-análisis
Effect size
Meta-analysis
CDU::1 - Filosofía y psicología::159.9 - Psicología
title_short The small impact of p-hacking marginally significant results on the meta-analytic estimation of effect size
title_full The small impact of p-hacking marginally significant results on the meta-analytic estimation of effect size
title_fullStr The small impact of p-hacking marginally significant results on the meta-analytic estimation of effect size
title_full_unstemmed The small impact of p-hacking marginally significant results on the meta-analytic estimation of effect size
title_sort The small impact of p-hacking marginally significant results on the meta-analytic estimation of effect size
dc.creator.none.fl_str_mv Botella, Juan
Suero, Manuel
Durán, Juan I.
Blázquez, Desirée
author Botella, Juan
author_facet Botella, Juan
Suero, Manuel
Durán, Juan I.
Blázquez, Desirée
author_role author
author2 Suero, Manuel
Durán, Juan I.
Blázquez, Desirée
author2_role author
author
author
dc.subject.none.fl_str_mv p-hacking
Tamaño del efecto
Meta-análisis
Effect size
Meta-analysis
CDU::1 - Filosofía y psicología::159.9 - Psicología
topic p-hacking
Tamaño del efecto
Meta-análisis
Effect size
Meta-analysis
CDU::1 - Filosofía y psicología::159.9 - Psicología
description La etiqueta p-hacking (pH) se refiere a un conjunto de prácticas oportunistas destinadas a hacer que sean significativos algunos valores p que deberían ser no significativos. Algunos han argumentado que debemos prevenir y luchar contra el pH por varias razones, especialmente debido a sus posibles efectos nocivos en la evaluación de los resultados de la investigación primaria y su síntesis meta-analítica. Nos focalizamos aquí en el efecto de un tipo específico de pH, centrado en estudios marginalmente significativos, en la estimación combinada del tamaño del efecto en el meta-análisis. Queremos saber cuánto deberíamos preocuparnos por su efecto de sesgo al evaluar los resultados de un meta-análisis. Hemos calculado el sesgo en una variedad de situaciones que parecen realistas en términos de prevalencia y de la definición operativa del pH. Los resultados muestran que en la mayoría de las situaciones analizadas el sesgo es inferior a una centésima (± 0.01), en términos de d o r. Para alcanzar un nivel de sesgo de cinco centésimas (± 0.05), tendría que haber una presencia masiva de este tipo de pH, lo que parece poco realista. Hay muchas buenas razones para luchar contra el pH, pero nuestra conclusión principal es que entre esas razones no se incluye que tenga un gran impacto en la estimación meta-analítica del tamaño del efecto.
publishDate 2021
dc.date.none.fl_str_mv 2021
2022
2022
dc.type.none.fl_str_mv info:eu-repo/semantics/article
format article
dc.identifier.none.fl_str_mv https://doi.org/10.6018/analesps.433051
http://hdl.handle.net/10201/122125
url https://doi.org/10.6018/analesps.433051
http://hdl.handle.net/10201/122125
dc.language.none.fl_str_mv Inglés
language_invalid_str_mv Inglés
dc.relation.none.fl_str_mv Sin financiación externa a la Universidad
dc.rights.none.fl_str_mv info:eu-repo/semantics/openAccess
Attribution-NonCommercial-NoDerivatives 4.0 Internacional
http://creativecommons.org/licenses/by-nc-nd/4.0/
eu_rights_str_mv openAccess
rights_invalid_str_mv Attribution-NonCommercial-NoDerivatives 4.0 Internacional
http://creativecommons.org/licenses/by-nc-nd/4.0/
dc.format.none.fl_str_mv application/pdf
11
application/pdf
dc.publisher.none.fl_str_mv Universidad de Murcia. Servicio de Publicaciones
publisher.none.fl_str_mv Universidad de Murcia. Servicio de Publicaciones
dc.source.none.fl_str_mv reponame:DIGITUM. Depósito Digital Institucional de la Universidad de Murcia
instname:Universidad de Murcia
instname_str Universidad de Murcia
reponame_str DIGITUM. Depósito Digital Institucional de la Universidad de Murcia
collection DIGITUM. Depósito Digital Institucional de la Universidad de Murcia
repository.name.fl_str_mv
repository.mail.fl_str_mv
_version_ 1869410280221442048
score 15,300719

Registros relacionados