dragado de datos

El procedimiento convencional de prueba de hipótesis estadística mediante probabilidad frecuentista consiste en formular una hipótesis de investigación, como «las personas de clases sociales más altas viven más tiempo», y luego recopilar los datos pertinentes. Finalmente, se realiza una prueba de significación estadística para determinar la probabilidad de que los resultados se deban únicamente al azar (también conocida como prueba contra la hipótesis nula).

Un aspecto clave del análisis estadístico adecuado es contrastar una hipótesis con datos que no se hayan utilizado para formularla. Esto es fundamental, ya que todo conjunto de datos contiene patrones debidos exclusivamente al azar. Si la hipótesis no se contrasta con un conjunto de datos diferente de la misma población estadística , resulta imposible evaluar la probabilidad de que dichos patrones se deban únicamente al azar.

Por ejemplo, lanzar una moneda cinco veces y obtener dos caras y tres cruces podría llevar a plantear la hipótesis de que la moneda favorece las cruces en una proporción de 3/5 a 2/5. Si esta hipótesis se prueba con el conjunto de datos existente, se confirma, pero la confirmación carece de sentido. El procedimiento correcto habría sido formular de antemano una hipótesis sobre la probabilidad de obtener cruz y luego lanzar la moneda varias veces para comprobar si la hipótesis se rechaza o no. Si se observan tres cruces y dos caras, se podría formular otra hipótesis, que la probabilidad de obtener cruz es de 3/5, pero solo podría comprobarse con una nueva serie de lanzamientos. La significación estadística bajo el procedimiento incorrecto es completamente espuria; las pruebas de significación no protegen contra la manipulación de datos.

La detención opcional es una práctica en la que se recopilan datos hasta que se alcanza algún criterio de parada. Si bien es un procedimiento válido, se presta fácilmente a un uso indebido. El problema es que el valor p de una prueba estadística con detención opcional es mayor de lo que parece. Intuitivamente, esto se debe a que se supone que el valor p es la suma de todos los eventos al menos tan raros como el observado. Con la detención opcional, existen eventos aún más raros que son difíciles de tener en cuenta, es decir, no activar la regla de detención opcional, y recopilar aún más datos antes de detenerse. Ignorar estos eventos conduce a un valor p demasiado bajo. De hecho, si la hipótesis nula es verdadera, entonces se puede alcanzar cualquier nivel de significancia si se permite seguir recopilando datos y detenerse cuando se obtiene el valor p deseado (calculado como si siempre se hubiera planeado recopilar exactamente esta cantidad de datos). ^{[ 7 ]} Para un ejemplo concreto de prueba de una moneda justa , véase valor p §  Detención opcional .

O, dicho de forma más concisa, el cálculo correcto del valor p requiere tener en cuenta los contrafactuales, es decir, lo que el experimentador podría haber hecho en respuesta a datos que podrían haber sido. Tener en cuenta lo que podría haber sido es difícil, incluso para investigadores honestos. ^{[ 7 ]} Una ventaja del preregistro es que permite tener en cuenta todos los contrafactuales, lo que posibilita el cálculo correcto del valor p . ^{[ 8 ]}

El problema de la interrupción prematura no se limita solo a la mala conducta del investigador. A menudo existe presión para detener la investigación prematuramente si el costo de recopilar datos es elevado. Algunos comités de ética animal incluso exigen la interrupción temprana si el estudio obtiene un resultado significativo a mitad de camino. ^{[ 9 ]}

Si se eliminan datos después de haber realizado algún análisis, por ejemplo, con el pretexto de "eliminar valores atípicos", aumentará la tasa de falsos positivos. Los valores atípicos solo deben eliminarse de un conjunto de datos tras su correcta identificación y confirmación de que existe una variación por causas especiales responsable de los datos inusuales. Reemplazar los "valores atípicos" con datos de reemplazo incrementa aún más la tasa de falsos positivos. ^{[ 10 ]}

Si un conjunto de datos contiene múltiples características, una o más de ellas pueden utilizarse para agrupar los datos y, potencialmente, generar un resultado estadísticamente significativo. Por ejemplo, si un conjunto de datos de pacientes registra su edad y sexo, un investigador puede considerar agruparlos por edad y comprobar si la tasa de recuperación de la enfermedad está correlacionada con la edad. Si no se observa correlación, el investigador podría comprobar si existe correlación con el sexo. Si no es así, tal vez sí exista correlación con la edad tras controlar el sexo, etc. El número de agrupaciones posibles crece exponencialmente con el número de características. ^{[ 10 ]}

Supongamos que un estudio de una muestra aleatoria de personas incluye exactamente a dos personas nacidas el 7 de agosto: María y Juan. Alguien que se dedica a la búsqueda de similitudes entre ellos podría intentar encontrar otras similitudes. Al examinar cientos o miles de posibles similitudes, cada una con una baja probabilidad de ser cierta, es casi seguro que se encontrará una similitud inusual. Quizás Juan y María sean las únicas dos personas en el estudio que cambiaron de especialización secundaria tres veces en la universidad. Una hipótesis, sesgada por la búsqueda de similitudes, podría ser entonces: "Las personas nacidas el 7 de agosto tienen una probabilidad mucho mayor de cambiar de especialización secundaria más de dos veces en la universidad".

Los datos, sacados de contexto, podrían interpretarse como un fuerte respaldo a esa correlación, ya que nadie con una fecha de nacimiento diferente había cambiado de especialización secundaria tres veces en la universidad. Sin embargo, si (como es probable) se trata de una hipótesis errónea, este resultado probablemente no será reproducible ; cualquier intento de comprobar si otras personas nacidas el 7 de agosto tienen una tasa similar de cambio de especialización secundaria probablemente arrojará resultados contradictorios casi de inmediato.

El sesgo es un error sistemático en el análisis. Por ejemplo, los médicos derivaron a pacientes con VIH de alto riesgo cardiovascular a un tratamiento específico, el abacavir , y a pacientes de menor riesgo a otros fármacos, lo que impidió una evaluación sencilla del abacavir en comparación con otros tratamientos. Un análisis que no corrigió este sesgo penalizó injustamente al abacavir, ya que sus pacientes tenían un mayor riesgo y, por lo tanto, un mayor número de ellos sufrieron infartos. ^{[ 6 ]} Este problema puede ser muy grave, por ejemplo, en el estudio observacional . ^{[ 6 ] [ 2 ]}

Los factores faltantes, los factores de confusión no medidos y la pérdida de seguimiento también pueden generar sesgos. ^{[ 6 ]} Al seleccionar artículos con valores p significativos , se descartan los estudios negativos, lo que constituye un sesgo de publicación . Esto también se conoce como sesgo de cajón de archivo , ya que los resultados con valores p menos significativos se dejan en el cajón y nunca se publican.

Otro aspecto del condicionamiento de las pruebas estadísticas por el conocimiento de los datos se observa al utilizar el análisis de sistemas o máquinas y la regresión lineal para observar la frecuencia de los datos. Un paso crucial en el proceso es decidir qué covariables incluir en una relación que explique una o más variables. Existen consideraciones tanto estadísticas (véase regresión por pasos ) como sustantivas que llevan a los autores a favorecer algunos de sus modelos sobre otros, y se hace un uso liberal de las pruebas estadísticas. Sin embargo, descartar una o más variables de una relación explicativa basándose en los datos implica que no se pueden aplicar válidamente los procedimientos estadísticos estándar a las variables retenidas en la relación como si nada hubiera ocurrido. Por su naturaleza, las variables retenidas han tenido que superar algún tipo de prueba preliminar (posiblemente una prueba intuitiva imprecisa) que las variables descartadas no superaron. En 1966, Selvin y Stuart compararon las variables retenidas en el modelo con los peces que no caen en la red, en el sentido de que sus efectos están destinados a ser mayores que los de aquellos que sí caen en la red. Esto no solo altera el rendimiento de todas las pruebas subsiguientes en el modelo explicativo retenido, sino que también puede introducir sesgos y alterar el error cuadrático medio en la estimación. ^{[ 11 ] [ 12 ]}

En meteorología , las hipótesis suelen formularse utilizando datos meteorológicos actuales y contrastarse con datos futuros, lo que garantiza que, incluso de forma subconsciente, estos datos no influyan en la formulación de la hipótesis. Por supuesto, esta disciplina requiere esperar a que se disponga de nuevos datos para demostrar la capacidad predictiva de la teoría formulada frente a la hipótesis nula . Este proceso asegura que nadie pueda acusar al investigador de haber adaptado el modelo predictivo a los datos disponibles, ya que el pronóstico meteorológico futuro aún no se conoce.

Como otro ejemplo, supongamos que unos observadores notan que una ciudad en particular parece tener una concentración de casos de cáncer , pero carecen de una hipótesis sólida sobre la razón. Sin embargo, tienen acceso a una gran cantidad de datos demográficos sobre la ciudad y sus alrededores, que contienen mediciones de cientos o miles de variables diferentes, en su mayoría no correlacionadas. Incluso si todas estas variables son independientes de la tasa de incidencia de cáncer, es muy probable que al menos una variable se correlacione significativamente con la tasa de cáncer en toda la zona. Si bien esto puede sugerir una hipótesis, se necesitan más pruebas utilizando las mismas variables, pero con datos de una ubicación diferente, para confirmarla. Cabe señalar que un valor p de 0,01 sugiere que en el 1 % de los casos se obtendría un resultado al menos tan extremo por casualidad; si se prueban cientos o miles de hipótesis (con variables independientes relativamente no correlacionadas entre sí), es probable obtener un valor p inferior a 0,01 para muchas hipótesis nulas.

El problema del p -hacking es preocupantemente común en el desarrollo e investigación de fármacos. ^{[ 13 ] [ 14 ]} Se puede demostrar que fármacos sin efecto discernible tienen un efecto estadísticamente significativo cuando se realizan cientos, o incluso miles, de análisis —sobre los mismos datos— utilizando diferentes grupos objetivo, medidas de resultado primarias, ajustes por edad y un sinfín de otras variables que se pueden omitir o seleccionar para obtener un resultado significativo. ^{[ 15 ]} Incluso cuando un fármaco no tiene ningún efecto medible, si se realizan suficientes análisis, se encontrará un efecto fuerte y estadísticamente significativo (por ejemplo, «el fármaco mejoró significativamente la función de la memoria en mujeres mayores de 40 años», donde la función de la memoria no era el resultado primario original que se evaluaba). Esto no requiere ninguna falsificación de datos, ni la omisión de resultados inconvenientes. En cambio, el p -hacking se basa simplemente en análisis repetidos de los mismos datos hasta que el investigador encuentra la correlación con el «mejor» valor p . El análisis se ajusta a los datos, en lugar de que los datos se manipulen de alguna manera.