El «p-hacking», también conocido como «fishing for significance» o «data dredging», es una práctica deshonesta en la estadística que implica manipular los datos o el análisis hasta obtener un valor p significativo (generalmente menos de 0.05), lo que implica que los resultados del estudio son estadísticamente significativos.
Esta práctica puede conducir a conclusiones erróneas y a una ciencia irreproducible, ya que los resultados obtenidos no se deben a un efecto real, sino a la manipulación de los análisis o datos.
Métodos de P-hacking.
-Selección de Hipótesis Post-hoc: Generar hipótesis después de haber visto los datos, en lugar de establecerlas de antemano.
Esto puede llevar a «explicaciones» que se ajustan a los datos pero que no tienen valor predictivo para futuros estudios o aplicaciones.
-Pruebas Múltiples: Realizar múltiples pruebas estadísticas en un conjunto de datos y luego informar solo aquellos resultados que son significativos.
Esto aumenta la probabilidad de encontrar al menos un resultado significativo por casualidad.
–Elección de Variables: Agregar o eliminar variables de un modelo hasta que se logren los resultados deseados.
Por ejemplo, en un modelo de regresión, se pueden incluir o excluir variables independientes para alcanzar un valor p significativo.
-Manipulación de Datos: Excluir selectivamente datos atípicos o ajustar medidas de los datos para lograr un resultado significativo.
A veces, se eliminan los valores atípicos sin una justificación metodológica sólida, simplemente porque alteran el valor p.
-Detener el Experimento: Finalizar la recopilación de datos prematuramente cuando los resultados alcanzan significancia estadística (o prolongarla hasta que esto ocurra), en lugar de seguir un plan predefinido basado en cálculos de tamaño de muestra y potencia estadística.
-Segmentación de Datos: Dividir los datos en muchos subgrupos y analizarlos por separado.
Al hacer muchas pruebas, es probable que alguna muestre significancia por pura casualidad.
Impacto del P-hacking.
El p-hacking puede tener consecuencias graves en la investigación científica y la toma de decisiones basada en datos.
– Resultados Falsos Positivos: Se presentan hallazgos como significativos cuando en realidad son producto del azar.
– Pérdida de Confianza: La acumulación de literatura científica basada en resultados de p-hacking puede llevar a una crisis de confianza en los campos de la investigación.
– Desperdicio de Recursos: La investigación futura basada en hallazgos falsos puede desperdiciar tiempo y recursos valiosos.
– Políticas Ineficaces: En la política y en los negocios, las decisiones basadas en análisis p-hacked pueden llevar a inversiones en estrategias inefectivas.
Cómo Evitar el P-hacking.
-Pre-registro de Estudios: Los investigadores deben pre-registrar sus planes de estudio y análisis antes de recolectar datos, lo que incluye hipótesis, métodos de análisis y criterios de inclusión de datos.
-Transparencia Total: Publicar todos los resultados, incluyendo aquellos que no fueron estadísticamente significativos, para proporcionar una imagen completa de los datos y análisis.
-Corrección por Múltiples Comparaciones: Utilizar métodos estadísticos como la corrección de Bonferroni o el control de la tasa de falso descubrimiento (FDR) para ajustar el nivel de significancia cuando se realizan múltiples pruebas.
-Replicación: Fomentar la replicación de estudios para confirmar hallazgos.
Un resultado debe ser replicable en diferentes muestras para ser considerado robusto.
-Educación Estadística: Los investigadores deben estar bien informados sobre las prácticas estadísticas apropiadas y las trampas del análisis de datos.
Al evitar el p-hacking, los investigadores y analistas pueden producir resultados más confiables y reproducibles, lo que contribuye a la integridad y la utilidad de la investigación científica y la toma de decisiones basada en datos.