Sin categoría

P-Hacking: No tolero no rechazar la hipótesis nula ¡Bajo ninguna circunstancia!

Una de las grandes preocupaciones en estudiantes de pre-grado e inclusive en investigadores de larga trayectoria en cuanto al proceso de análisis, es el temor a no obtener resultados que apoyen sus hipótesis planteadas, a pesar de que esto último, no necesariamente implica «fracasar» en la investigación o haber recolectado datos en vano, sino todo lo contrario, aportar evidencia al no apoyo de la hipótesis inicial. Sin embargo, son escasos -por no indicar el término quasiausente- los trabajos de investigación que presentan y son publicables en revistas de «alto impacto» en el que se evidencie el no rechazo de la hipótesis planteada, llevando muchas veces a los investigadores y estudiantes a «modificar», «maquillar» y/o «conducir» sus resultados de tal forma de que el análisis correspondiente a la contrastación de hipótesis basado en el test de significancia estadística indique un valor p menor al especificado como mínimo (en la mayoría de los casos menor a .05) en busca de un rechazo de hipótesis.
Este práctica, que a pesar de lo dañina que es para el campo en el que se realiza la investigación, es de mucha frecuencia, se le conoce como p-hacking. Tomando como referencia al término «hacking» como intrusión o capacidad para modificar y/o alterar de forma no consentida o ilegal algún archivo o valor en un sistema, es referido a la letra «p» como una modificación en los datos que produce una alteración en el valor p, de forma ilegal y antiético, que produce resultados alterados.
Debido a las limitaciones que presenta un análisis solo y exclusivamente basado en el test de significancia estadística, realizar la práctica del p-hacking y presentar hallazgos con un alto rango de credibilidad en la comunidad científica no es un procedimiento complicado, por lo contrario muchos de los investigadores en el tema indican de que es sumamente fácil realizarlo. Inclusive existen páginas que, con cierto sentido de humor y crítica hacia esto, muestran pasos de forma interactiva para «hackear» tú mismo un valor p correspondiente a una investigación como lo realiza el proyecto «FiveThirtyEight Interactive» en su página titulandola Hack Your Way To Scientific Glory (Hackea tu camino hacia la gloria científica).
Es necesario seguir una metodología consecuente y ética en la práctica de la investigación desde la concepción del problema hasta la presentación de los resultados (no abusar de las conclusiones que se realiza) a fin de contribuir al campo de estudio donde se encuentra. Complementar los análisis realizados con otros indicadores a parte del valor p, tales como el tamaño del efecto, intervalos de confianza y potencia estadística es altamente recomendado, así como transparenterizar los procedimiento seguidos para llegar al mismo resultado.
Para finalizar dejamos una lista de lecturas abocados a este tema que explican de forma bastante ligera, pero importante, sobre las consecuencias de esta práctica.
Déjanos tus comentarios y/o experiencias en caso de que hayas visto o vivido lo mencionado líneas arriba.
Bibliografía
de Winter, JC. & Dodou, D. (2015). A surge of p-values between 0.041 and 0.049 in recent decades (but negative results are increasing rapidly too). Peerj, (2015). https://doi.org/10.7717/peerj.733
John, L., Loewenstein, G. & Prelec, D. (2012). Measuring the Prevalence of Questionable Research Practices With Incentives for Truth Telling. Psychological Science, 23 (5), 524-532. http://dx.doi.org/10.1177%2F0956797611430953
Head, M., Holman, L., Lanfear, R., Kahn, A. & Jennions, M. (2015). The Extent and Consequences of P-Hacking in Science. PLOS Biology 13(3): e1002106. http://dx.doi.org/10.1371/journal.pbio.1002106
Simmons, J. (2014). P-Curve: A Key to the File-Drawer. Journal of Experimental Psychology: General, 143 (2), 534-547. http://dx.doi.org/10.1037/a0033242