Crisis de replicación

En ciencias de la nutrición, para la mayoría de los ingredientes alimentarios, existen estudios que demuestran que el ingrediente influye en el riesgo de cáncer. Específicamente, de una muestra aleatoria de 50 ingredientes de un libro de cocina, el 80% contaba con artículos que informaban sobre su riesgo de cáncer. La significación estadística disminuyó en los metaanálisis. ^{[ 92 ]}

La economía se ha quedado rezagada con respecto a otras ciencias sociales y la psicología en sus intentos de evaluar las tasas de replicación y aumentar el número de estudios que intentan replicarse. ^{[ 12 ]} Un estudio de 2016 en la revista Science replicó 18 estudios experimentales publicados en dos revistas de economía líderes, The American Economic Review y Quarterly Journal of Economics , entre 2011 y 2014. Encontró que aproximadamente el 61% de los estudios se replicaron con éxito, aunque los tamaños del efecto replicados fueron solo el 66% de los tamaños del efecto originales informados en promedio, lo que sugiere que los tamaños del efecto de los estudios originales estaban inflados. ^{[ 93 ] [ 94 ] [ 95 ]} Alrededor del 20% de los estudios publicados en The American Economic Review son contradichos por otros estudios a pesar de basarse en los mismos o similares conjuntos de datos. ^{[ 96 ]} Un estudio de hallazgos empíricos en el Strategic Management Journal encontró que alrededor del 30% de 27 artículos reevaluados mostraron resultados estadísticamente no significativos para hallazgos previamente significativos, mientras que alrededor del 4% mostró resultados estadísticamente significativos para hallazgos previamente no significativos. ^{[ 97 ]}

Un estudio de 2019 publicado en Scientific Data estimó con un 95 % de confianza que, de 1989 artículos sobre recursos hídricos y gestión publicados en 2017, los resultados del estudio podrían reproducirse solo entre un 0,6 % y un 6,8 %, principalmente porque los artículos no proporcionaban información suficiente para permitir la replicación. ^{[ 98 ]}

La rápida adopción de grandes modelos de lenguaje (LLM) después de 2022 introdujo un conjunto distinto de preocupaciones de reproducibilidad, afectando tanto a la investigación sobre LLM como a la investigación que los utiliza como herramientas. ^{[ 99 ]} Una dificultad es que los hallazgos empíricos sobre cómo se comportan los LLM a menudo son difíciles de reproducir. Los modelos comerciales se actualizan o se retiran sin previo aviso, sus datos de entrenamiento y pesos generalmente no se divulgan, y sus resultados pueden cambiar de una ejecución a otra incluso cuando la configuración se mantiene constante, por lo que un resultado informado una vez puede no ser válido cuando se prueban las mismas indicaciones más adelante. Los investigadores han advertido que esta combinación de sistemas cerrados y de rápido cambio y sensibilidad a pequeños cambios en la redacción de las indicaciones podría producir una ola de hallazgos que no se pueden replicar. ^{[ 99 ]} La reproducibilidad también se ve afectada cuando los LLM se utilizan como instrumentos en otros campos. Las revisiones de investigaciones sobre aprendizaje automático han encontrado que muchos artículos no se pueden reproducir ni siquiera en principio, porque el código, los datos, los hiperparámetros exactos , las semillas aleatorias o las versiones del modelo no se informan, mientras que la dependencia de modelos y conjuntos de datos propietarios impide que otros verifiquen los resultados. ^{[ 100 ] [ 101 ]}

Un peligro recurrente en estos estudios es la fuga de datos, en la que la información del conjunto de prueba entra inadvertidamente en el entrenamiento e infla el rendimiento aparente; se ha señalado como una de las principales causas de afirmaciones irreproducibles en la ciencia basada en el aprendizaje automático. ^{[ 102 ]} Una revisión de 2025 de 640 artículos que aplicaron LLM a tareas de ingeniería de software encontró brechas persistentes en la disponibilidad de artefactos, la especificación de entornos informáticos y la documentación, y denominó a la situación una crisis de reproducibilidad dentro de ese subcampo. ^{[ 103 ]}

Otra preocupación es que la IA generativa puede corromper los datos en los que se basa la investigación del comportamiento. Las plataformas de participación en línea como Prolific y Amazon Mechanical Turk se utilizan ampliamente en psicología, pero algunos participantes ahora recurren a chatbots para responder preguntas abiertas, lo que produce textos fluidos que ocultan la falta de atención y pueden distorsionar los resultados experimentales. Tras analizar los registros de pulsaciones de teclas de tres estudios realizados en Prolific en 2025, un equipo estimó tasas notables de respuestas asistidas por IA y advirtió que este tipo de contaminación reduce la potencia estadística y socava la validez de los estudios basados ​​en la colaboración colectiva. ^{[ 104 ]}

En respuesta, los investigadores han comenzado a desarrollar estándares de presentación de informes adaptados al trabajo basado en LLM. En 2026, un amplio grupo de consenso publicó una lista de verificación para la presentación de informes en Nature Human Behaviour , conocida como GUIDE-LLM, con el objetivo de mejorar la transparencia, la reproducibilidad y la responsabilidad ética de la investigación basada en LLM en las ciencias del comportamiento. La lista de verificación solicita a los autores que documenten qué modelos y versiones utilizaron, cómo se eligieron las indicaciones y los parámetros, y qué medidas se tomaron para prevenir los problemas de inestabilidad y contaminación descritos anteriormente, de modo que otros investigadores tengan mayores posibilidades de reproducir el trabajo. ^{[ 105 ]}

El sesgo de publicación —la tendencia a publicar solo resultados positivos y significativos— crea el « efecto cajón de archivo », donde los resultados negativos permanecen sin publicar. ^{[ a ]} ​​Esto produce literatura engañosa y metaanálisis sesgados. ^{[ 26 ]} Solo una proporción muy pequeña de revistas académicas en psicología y neurociencias acogió explícitamente las presentaciones de estudios de replicación en su objetivo y alcance o instrucciones para los autores. ^{[ 120 ] [ 121 ]} Esto no fomenta la presentación de informes sobre estudios de replicación, ni siquiera los intentos de realizarlos. Entre 1.576 investigadores encuestados por Nature en 2016, solo una minoría había intentado alguna vez publicar una replicación, y varios encuestados que habían publicado replicaciones fallidas señalaron que los editores y revisores exigieron que minimizaran las comparaciones con los estudios originales. ^{[ 5 ] [ 106 ]} Un análisis de 4270 estudios empíricos en 18 revistas de negocios de 1970 a 1991 informó que menos del 10 % de los artículos de contabilidad, economía y finanzas y el 5 % de los artículos de administración y marketing eran estudios de replicación. ^{[ 93 ] [ 122 ]} El sesgo de publicación se ve aumentado por la presión de publicar y el propio sesgo de confirmación del autor , ^{[ b ]} y es un riesgo inherente en el campo, que requiere cierto grado de escepticismo por parte de los lectores. ^{[ 40 ]}

Si se considera el sesgo de publicación junto con el hecho de que la mayoría de las hipótesis probadas podrían ser falsas a priori , es plausible que una proporción considerable de los hallazgos de investigación sean falsos positivos, como lo demostró el metacientífico John Ioannidis. ^{[ 1 ]} A su vez, una alta proporción de falsos positivos en la literatura publicada puede explicar por qué muchos hallazgos no son reproducibles. ^{[ 26 ]}

Otro sesgo de publicación es que los estudios que no rechazan la hipótesis nula se examinan de forma asimétrica. Por ejemplo, es probable que se rechacen por ser difíciles de interpretar o por tener un error de tipo II. Los estudios que sí rechazan la hipótesis nula no suelen ser rechazados por esas razones. ^{[ 124 ]}

En los medios de comunicación populares, existe otro elemento de sesgo de publicación: el deseo de hacer que la investigación sea accesible al público llevó a la simplificación excesiva y la exageración de los hallazgos, creando expectativas poco realistas y amplificando el impacto de las no replicaciones. Por el contrario, los resultados nulos y los fracasos en la replicación tienden a no ser reportados. Esta explicación puede aplicarse a la crisis de replicación de la postura de poder . ^{[ 125 ]}

Incluso las revistas de alto impacto presentan una fracción significativa de errores matemáticos en el uso de estadísticas. Por ejemplo, el 11 % de los resultados estadísticos publicados en Nature y BMJ en 2001 son "incongruentes", lo que significa que el valor p informado difiere matemáticamente del que debería obtenerse si se calculara correctamente a partir del estadístico de prueba informado. Es probable que estos errores se debieran a errores de composición tipográfica, redondeo y transcripción. ^{[ 126 ]}

Entre 157 artículos de neurociencia publicados en cinco revistas de alto nivel que intentan demostrar que dos efectos experimentales son diferentes, 78 probaron erróneamente si un efecto es significativo mientras que el otro no lo es, y 79 probaron correctamente si su diferencia es significativamente diferente de 0. ^{[ 127 ]}

La cultura académica de "publicar o perecer" exacerba el sesgo de publicación. La intensa presión por publicar en revistas reconocidas, impulsada por entornos hipercompetitivos y evaluaciones bibliométricas de la carrera, incentiva a los investigadores a priorizar los resultados publicables sobre la validez. ^{[ 128 ]} Según Fanelli, esto empuja a los científicos a emplear diversas estrategias destinadas a hacer que los resultados sean "publicables". ^{[ 129 ]} En el contexto del sesgo de publicación, esto puede significar adoptar comportamientos dirigidos a hacer que los resultados sean positivos o estadísticamente significativos, a menudo a expensas de su validez. ^{[ 128 ]}

Según Brian Nosek, fundador del Centro para la Ciencia Abierta, y sus colegas, la cultura de "publicar o perecer" creó una situación en la que los objetivos y valores de los científicos individuales (por ejemplo, la posibilidad de publicar) no coinciden con los objetivos generales de la ciencia (por ejemplo, la búsqueda de la verdad científica). Esto perjudica la validez de los hallazgos publicados. ^{[ 130 ]}

El filósofo Brian D. Earp y el psicólogo Jim AC Everett sostienen que, si bien la replicación beneficia a los académicos e investigadores en su conjunto, ciertas características de la cultura psicológica académica desalientan la replicación por parte de investigadores individuales. Argumentan que realizar replicaciones puede consumir mucho tiempo y restar recursos a proyectos que reflejan el pensamiento original del investigador. Son más difíciles de publicar, principalmente porque carecen de originalidad, e incluso cuando se publican, es improbable que se consideren contribuciones importantes al campo. Las replicaciones "aportan menos reconocimiento y recompensa, incluyendo financiación, a sus autores". ^{[ 131 ]}

En su libro de 1971, *El conocimiento científico y sus problemas sociales* , ^{[ 132 ]} el filósofo e historiador de la ciencia Jerome R. Ravetz predijo que la ciencia —en su progresión desde la ciencia "pequeña", compuesta por comunidades aisladas de investigadores, hasta la ciencia "grande" o "tecnociencia"— sufriría graves problemas en su sistema interno de control de calidad. Reconoció que la estructura de incentivos para los científicos modernos podría volverse disfuncional, creando incentivos perversos para publicar cualquier hallazgo, por dudoso que fuera. Según Ravetz, la calidad en la ciencia se mantiene solo cuando existe una comunidad de académicos, vinculados por un conjunto de normas y estándares compartidos, que están dispuestos y son capaces de exigirse responsabilidades mutuamente.

Ciertas prácticas de publicación también dificultan la realización de replicaciones y el monitoreo de la gravedad de la crisis de reproducibilidad, ya que los artículos a menudo vienen con descripciones insuficientes para que otros investigadores reproduzcan el estudio. El Proyecto de Reproducibilidad: Biología del Cáncer mostró que de 193 experimentos de 53 artículos principales sobre cáncer publicados entre 2010 y 2012, solo 50 experimentos de 23 artículos tenían autores que proporcionaron suficiente información para que los investigadores rehicieran los estudios, a veces con modificaciones. Ninguno de los 193 artículos examinados tenía sus protocolos experimentales completamente descritos y replicar el 70% de los experimentos requirió solicitar reactivos clave. ^{[ 88 ] [ 89 ]} El estudio mencionado anteriormente de hallazgos empíricos en Strategic Management Journal encontró que el 70% de 88 artículos no se pudieron replicar debido a una falta de información suficiente para datos o procedimientos. ^{[ 93 ] [ 97 ]} En recursos hídricos y gestión , la mayoría de 1987 artículos publicados en 2017 no fueron replicables debido a una falta de información disponible compartida en línea. ^{[ 98 ]} En estudios de potenciales relacionados con eventos , solo se informaron dos tercios de la información necesaria para replicar un estudio en una muestra de 150 estudios, lo que pone de manifiesto que existen importantes lagunas en la presentación de informes. ^{[ 133 ]}

Según la tesis de Duhem-Quine , los resultados científicos se interpretan tanto a partir de una teoría sustantiva como de una teoría de los instrumentos. Por ejemplo, las observaciones astronómicas dependen tanto de la teoría de los objetos astronómicos como de la teoría de los telescopios. Una gran cantidad de investigación no replicable podría acumularse si existe un sesgo del siguiente tipo: ante un resultado nulo, un científico prefiere tratar los datos como indicando que el instrumento es insuficiente; ante un resultado no nulo, un científico prefiere aceptar el instrumento como bueno y tratar los datos como indicativos de la teoría sustantiva. ^{[ 134 ]}

Smaldino y McElreath ^{[ 60 ]} propusieron un modelo simple para la evolución cultural de la práctica científica. Cada laboratorio decide aleatoriamente producir investigación novedosa o replicación, con diferentes niveles fijos de tasa de falsos positivos, tasa de verdaderos positivos, tasa de replicación y productividad (sus "rasgos"). Un laboratorio podría emplear más "esfuerzo", lo que hace que la curva ROC sea más convexa, pero disminuye la productividad. Un laboratorio acumula una puntuación a lo largo de su existencia que aumenta con las publicaciones y disminuye cuando otro laboratorio no logra replicar sus resultados. A intervalos regulares, un laboratorio aleatorio "muere" y otro "reproduce" un laboratorio hijo con un rasgo similar al de su progenitor. Los laboratorios con puntuaciones más altas tienen mayor probabilidad de reproducirse. Bajo ciertas configuraciones de parámetros, la población de laboratorios converge a la productividad máxima, incluso a costa de tasas de falsos positivos muy elevadas.

Los grados de libertad de los investigadores se presentan en muchas etapas: formulación de hipótesis , diseño de experimentos , recopilación y análisis de datos , e informe de la investigación . ^{[ 136 ]} Los análisis de conjuntos de datos idénticos por diferentes equipos, incluso sin incentivos para hallazgos significativos, a menudo producen resultados divergentes en disciplinas como la psicología, la lingüística y la ecología. ^{[ 140 ] [ 141 ] [ 142 ]} Esto se debe a que el diseño de la investigación y el análisis de datos implican numerosas decisiones que no están suficientemente restringidas por las mejores prácticas y metodologías estadísticas de un campo. Como resultado, los grados de libertad del investigador pueden conducir a situaciones en las que algunos intentos fallidos de replicación utilizan un diseño de investigación o análisis estadístico diferente, pero plausible; tales estudios no necesariamente socavan los hallazgos previos. ^{[ 143 ]} El análisis multiverso , un método que hace inferencias basadas en todas las posibles secuencias de procesamiento de datos, proporciona una solución al problema de la flexibilidad analítica. ^{[ 144 ]} El análisis de sensibilidad explora las especificaciones del modelo para crear una visión integral de cómo las diferentes opciones analíticas influyen en los resultados. ^{[ 145 ]} Los enfoques colaborativos pueden utilizarse para compensar prácticas de investigación cuestionables. En los enfoques multianalistas, diferentes analistas realizan diferentes análisis para abordar las preguntas. ^{[ 146 ] [ 147 ] [ 141 ]} Esta validación colaborativa fomenta la honestidad intelectual y expone prácticas de investigación cuestionables, lo que conduce a conclusiones científicas más fiables y sólidas. ^{[ 148 ]}

Los estudios médicos irreproducibles suelen compartir estas características: los investigadores no desconocen si un grupo es experimental o de control; no se repiten los experimentos; falta de controles positivos y negativos ; no se informan todos los datos; uso inapropiado de pruebas estadísticas; y uso de reactivos que no fueron validados adecuadamente . ^{[ 149 ]}

En la investigación del aprendizaje automático , han surgido diversas prácticas cuestionables debido a la intensa presión por alcanzar resultados de referencia de vanguardia. Las prácticas de evaluación cuestionables más comunes incluyen el "sobreajuste de referencia" mediante el ajuste repetido de hiperparámetros en conjuntos de prueba reservados, la presentación selectiva del mejor resultado entre múltiples semillas aleatorias o ejecuciones experimentales, y la "manipulación de métricas" a través de decisiones post hoc no reportadas, como la elección de scripts de tokenización o evaluación que inflan las puntuaciones. ^{[ 150 ]} Los investigadores también suelen seleccionar tareas o conjuntos de datos donde su modelo propuesto supera a los modelos de referencia, omiten resultados negativos o de menor rendimiento y ocultan los presupuestos de computación para presentar métodos de alto consumo energético como eficientes. Estas prácticas pueden dar una impresión engañosa del progreso del modelo y dificultar las comparaciones justas entre métodos. Además, muchos estudios de aprendizaje automático adolecen de prácticas de investigación irreproducibles que impiden la replicación y la auditoría. Los problemas clave incluyen la divulgación incompleta de los detalles del entrenamiento, como el preprocesamiento del conjunto de datos, los hiperparámetros exactos del modelo, las semillas aleatorias y las configuraciones de hardware, y la falta de publicación del código o los datos utilizados en los experimentos. Los investigadores suelen omitir versiones de dependencias o recurrir a conjuntos de datos propietarios, impidiendo que otros reproduzcan los resultados. Incluso en el caso de los conjuntos de datos de referencia públicos, la sutil "filtración de datos" mediante la inclusión inadvertida de datos de prueba en los conjuntos de entrenamiento sigue siendo generalizada. En conjunto, estas prácticas cuestionables socavan la validez y la credibilidad de los hallazgos publicados en el aprendizaje automático y representan obstáculos importantes para el progreso científico acumulativo. ^{[ 150 ]}

En octubre de 2024, Communications of the ACM publicó una crítica revisada por pares ^{[ 151 ]} de un artículo de Nature de 2021 ^{[ 152 ]} de investigadores de Google . La crítica describió "un conjunto de prácticas cuestionables en ML , incluidas prácticas de investigación irreproducibles, múltiples variantes de selección sesgada , informes erróneos y probable contaminación de datos (filtración)" con una referencia a Leech et al. ^{[ 150 ]} El artículo criticado afirmaba progreso en el diseño rápido de chips usando aprendizaje por refuerzo , pero respaldaba la afirmación con experimentos en conjuntos de datos de entrenamiento y prueba propietarios cuyos detalles estadísticos no se revelaron, lo que impedía la reproducción independiente fuera de la empresa. ^{[ 153 ]} Los tiempos de ejecución específicos tanto para el enfoque propuesto como para las técnicas anteriores en casos de prueba individuales no se revelaron en el artículo, pero estudios posteriores encontraron que el método de Google se ejecutaba órdenes de magnitud más lento que las herramientas de Cadence Design Systems disponibles al mismo tiempo. La crítica contrastó dichos estudios ^{[ 154 ]} y destacó prácticas cuestionables en el artículo de Nature como (i) informes selectivos de resultados en solo un subconjunto de puntos de referencia, (ii) comparaciones desfavorables con métodos de referencia más débiles, (iii) uso de métricas de evaluación inconsistentes y (iv) uso no revelado de datos de software comercial que solo se admitió años después del trabajo original ^{[ 152 ]} y múltiples rondas de críticas. ^{[ 155 ] [ 156 ] [ 157 ]} Además, la investigación pudo haber sufrido fuga de datos, donde la separación de datos de entrenamiento y prueba no pudo verificarse utilizando datos publicados, considerado un defecto significativo en el diseño experimental. ^{[ 151 ]} Después de que se renombrara como AlphaChip en 2024, varios investigadores expresaron escepticismo sobre el enfoque de Google, así como sobre los datos y el código fuente publicados. Las prácticas de investigación cuestionables y la incapacidad de los investigadores independientes para reproducir el rendimiento de AlphaChip pusieron de relieve la necesidad de puntos de referencia transparentes y reproducibles, así como de estándares de evaluación rigurosos para garantizar un progreso real en el campo de la automatización del diseño electrónico . ^{[ 158 ] [ 159 ]}

Según el profesor de la IU Ernest O'Boyle y el psicólogo Martin Götz, alrededor del 50% de los investigadores encuestados en varios estudios admitieron haber participado en HARKing. ^{[ 160 ]} En una encuesta a 2000 psicólogos realizada por el científico del comportamiento Leslie K. John y sus colegas, alrededor del 94% de los psicólogos admitieron haber empleado al menos una práctica de investigación cuestionable. Más específicamente, el 63% admitió no haber informado todas las medidas dependientes de un estudio, el 28% no haber informado todas las condiciones de un estudio y el 46% haber informado selectivamente estudios que produjeron el patrón de resultados deseado. Además, el 56% admitió haber recopilado más datos después de haber inspeccionado los datos ya recopilados y el 16% haber detenido la recopilación de datos porque el resultado deseado ya era visible. ^{[ 39 ]} Según la estimación del investigador de biotecnología J. Leslie Glick en 1992, entre el 10% y el 20% de los estudios de investigación y desarrollo involucraron prácticas de investigación cuestionables o fraude directo. ^{[ 161 ]} La metodología utilizada para estimar las prácticas de investigación cuestionables ha sido cuestionada, y estudios más recientes sugieren tasas de prevalencia más bajas en promedio. ^{[ 162 ]}

La baja potencia estadística dificulta la replicación por tres razones: (1) las replicaciones con baja potencia tienen una capacidad reducida para detectar efectos reales, (2) los estudios originales con baja potencia producen estimaciones sesgadas del tamaño del efecto que dan lugar a replicaciones con tamaño insuficiente, y (3) los estudios originales con baja potencia producen resultados que difícilmente reflejan los efectos reales. ^{[ 14 ]}

Matemáticamente, la probabilidad de replicar una publicación anterior que rechazó una hipótesis nula${\displaystyle H_{0}}$a favor de una alternativa${\displaystyle H_{1}}$es$${\displaystyle ({\text{significancia}})Pr(H_{0}|{\text{publicación}})+({\text{potencia}})Pr(H_{1}|{\text{publicación}})\leq ({\text{potencia}})}$$Suponer que la significancia es menor que la potencia. Por lo tanto, una potencia baja implica una baja probabilidad de replicación, independientemente de cómo se haya diseñado la publicación anterior y de cuál sea realmente la hipótesis verdadera. ^{[ 78 ]}

Stanley y sus colegas estimaron la potencia estadística promedio de la literatura psicológica analizando datos de 200 metaanálisis . Descubrieron que, en promedio, los estudios de psicología tienen entre un 33,1 % y un 36,4 % de potencia estadística. Estos valores son bastante bajos en comparación con el 80 % considerado como potencia estadística adecuada para un experimento. En los 200 metaanálisis, la mediana de los estudios con potencia estadística adecuada se situó entre el 7,7 % y el 9,1 %, lo que implica que un resultado positivo se replicaría con una probabilidad inferior al 10 %, independientemente de si se trataba de un verdadero positivo o un falso positivo. ^{[ 14 ]}

El poder estadístico de los estudios de neurociencia es bastante bajo. El poder estadístico estimado de la investigación con fMRI se sitúa entre 0,08 y 0,31, ^{[ 170 ]} y el de los estudios de potenciales relacionados con eventos se estimó entre 0,72 y 0,98 para tamaños de efecto grandes, entre 0,35 y 0,73 para efectos medianos y entre 0,10 y 0,18 para efectos pequeños. ^{[ 133 ]}

En un estudio publicado en Nature , la psicóloga Katherine Button y sus colegas realizaron un estudio similar con 49 metaanálisis en neurociencia, estimando una potencia estadística mediana del 21 %. ^{[ 171 ]} El metacientífico John Ioannidis y sus colegas calcularon una estimación de la potencia promedio para la investigación económica empírica, encontrando una potencia mediana del 18 % basada en la literatura que se basa en 6700 estudios. ^{[ 172 ]} A la luz de estos resultados, es plausible que una razón importante de los fracasos generalizados para replicar en varios campos científicos podría ser una potencia estadística muy baja en promedio.

La misma prueba estadística con el mismo nivel de significancia tendrá menor potencia estadística si el tamaño del efecto es pequeño bajo la hipótesis alternativa. Los rasgos hereditarios complejos suelen estar correlacionados con un gran número de genes, cada uno con un tamaño de efecto pequeño, por lo que una alta potencia requiere un tamaño de muestra grande. En particular, muchos resultados de la literatura sobre genes candidatos sufrieron de tamaños de efecto pequeños y tamaños de muestra pequeños y no se replicaron. Más datos de estudios de asociación de genoma completo (GWAS) se acercan a resolver este problema. ^{[ 173 ] [ 174 ]} Como ejemplo numérico, la mayoría de los genes asociados con el riesgo de esquizofrenia tienen un tamaño de efecto bajo ( riesgo relativo genotípico , GRR). Un estudio estadístico con 1000 casos y 1000 controles tiene una potencia del 0,03 % para un gen con GRR = 1,15, que ya es grande para la esquizofrenia. En contraste, el GWAS más grande hasta la fecha tiene una potencia de ~100 % para él. ^{[ 175 ]}

Incluso cuando el estudio se replica, la replicación suele tener un tamaño del efecto menor. Los estudios con poca potencia estadística presentan un sesgo de tamaño del efecto grande. ^{[ 176 ]}

En estudios que estiman estadísticamente un factor de regresión, como el${\displaystyle k}$en${\displaystyle Y=kX+b}$Cuando el conjunto de datos es grande, el ruido tiende a provocar que el factor de regresión se subestime, pero cuando el conjunto de datos es pequeño, el ruido tiende a provocar que el factor de regresión se sobreestime. ^{[ 177 ]}

Los metaanálisis tienen sus propios problemas y controversias metodológicas, lo que lleva al rechazo del método metaanalítico por parte de investigadores cuya teoría es cuestionada por el metaanálisis. ^{[ 124 ]}

Rosenthal propuso el "número de seguridad contra fallos" (FSN) ^{[ 54 ]} para evitar el sesgo de publicación contra los resultados nulos. Se define de la siguiente manera: Supongamos que la hipótesis nula es verdadera; ¿cuántas publicaciones se requerirían para que el resultado actual fuera indistinguible de la hipótesis nula?

El argumento de Rosenthal es que ciertos tamaños del efecto son lo suficientemente grandes como para que, incluso si existe un sesgo de publicación total en contra de los resultados nulos (el "problema del cajón de archivos"), la cantidad de resultados nulos no publicados sea imposible de enmascarar el tamaño del efecto. Por lo tanto, el tamaño del efecto debe ser estadísticamente significativo incluso después de tener en cuenta los resultados nulos no publicados.

Una objeción al FSN es que se calcula como si los resultados no publicados fueran muestras insesgadas de la hipótesis nula. Pero si el problema del cajón de archivos es cierto, entonces los resultados no publicados tendrían tamaños del efecto concentrados alrededor de 0. Por lo tanto, se necesitarían menos resultados nulos no publicados para cambiar el tamaño del efecto, y por lo tanto el FSN es una sobreestimación. ^{[ 124 ]}

Otro problema del metaanálisis es que los estudios malos son "contagiosos" en el sentido de que un estudio malo podría hacer que todo el metaanálisis sobreestime la significación estadística. ^{[ 78 ]}

Se pueden aplicar diversos métodos estadísticos para que el valor p parezca menor de lo que realmente es. Esto no tiene por qué ser malintencionado, ya que un análisis de datos moderadamente flexible, habitual en la investigación, puede aumentar la tasa de falsos positivos a más del 60 %. ^{[ 40 ]}

Por ejemplo, si se recopilan algunos datos, se les aplican varias pruebas de significancia diferentes y se publica solo la que resulta tener un valor p menor que 0,05, entonces el valor p total para "al menos una prueba de significancia alcanza p < 0,05" puede ser mucho mayor que 0,05, porque incluso si la hipótesis nula fuera verdadera, la probabilidad de que una de entre muchas pruebas de significancia sea extrema no es en sí misma extrema.

Por lo general, un estudio estadístico consta de múltiples pasos, con varias opciones en cada uno, como durante la recopilación de datos, el rechazo de valores atípicos, la elección del estadístico de prueba, la elección de una prueba unilateral o bilateral, etc. Estas opciones en el " jardín de caminos que se bifurcan " se multiplican, creando muchos "grados de libertad del investigador". El efecto es similar al problema del cajón de archivos, ya que los caminos no tomados no se publican. ^{[ 178 ]}

Consideremos una ilustración simple. Supongamos que la hipótesis nula es verdadera y que tenemos 20 posibles pruebas de significancia para aplicar al conjunto de datos. Supongamos también que los resultados de las pruebas de significancia son independientes. Por definición de "significancia", cada prueba tiene una probabilidad de 0.05 de pasar con un nivel de significancia de 0.05. La probabilidad de que al menos 1 de 20 sea significativa es, por el supuesto de independencia,${\displaystyle 1-(1-0,05)^{20}=0,64}$. ^{[ 179 ]}

Otra posibilidad es el problema de las comparaciones múltiples . En 2009, se observó en dos ocasiones que los estudios de fMRI presentaban un número sospechoso de resultados positivos con tamaños del efecto grandes, más de lo esperado dado que los estudios tenían una potencia baja (un ejemplo ^{[ 180 ]} tenía solo 13 sujetos). Se señaló que más de la mitad de los estudios probaban la correlación entre un fenómeno y vóxeles individuales de fMRI, y solo informaban sobre los vóxeles que superaban los umbrales elegidos. ^{[ 181 ]}

La detención opcional es una práctica en la que se recopilan datos hasta que se alcanza algún criterio de parada. Aunque es un procedimiento válido, se presta fácilmente a un uso indebido. El problema es que el valor p de una prueba estadística con detención opcional es mayor de lo que parece. Intuitivamente, esto se debe a que se supone que el valor p es la suma de todos los eventos al menos tan raros como el observado. Con la detención opcional, existen eventos aún más raros que son difíciles de tener en cuenta, es decir, no activar la regla de detención opcional y recopilar aún más datos antes de detenerse. Ignorar estos eventos lleva a un valor p demasiado bajo. De hecho, si la hipótesis nula es verdadera, se puede alcanzar cualquier nivel de significancia si se permite seguir recopilando datos y detenerse cuando se obtiene el valor p deseado (calculado como si siempre se hubiera planeado recopilar exactamente esta cantidad de datos). ^{[ 182 ]} Para un ejemplo concreto de prueba de una moneda justa, véase p -value#optional stopping .

En resumen, el cálculo correcto del valor p requiere considerar los contrafactuales, es decir, lo que el experimentador podría haber hecho en respuesta a datos que podrían haber sido. Considerar lo que podría haber sido es difícil incluso para investigadores honestos. ^{[ 182 ]} Una ventaja del preregistro es que permite considerar todos los contrafactuales, lo que posibilita el cálculo correcto del valor p. ^{[ 183 ]}

El problema de la interrupción prematura no se limita solo a la mala conducta del investigador. A menudo existe presión para detener la investigación prematuramente si el costo de recopilar datos es elevado. Algunos comités de ética animal incluso exigen la interrupción temprana si el estudio obtiene un resultado significativo a mitad de camino. ^{[ 179 ]}

Estas prácticas son comunes en psicología. En una encuesta de 2012, el 56% de los psicólogos admitió haber interrumpido prematuramente los análisis, el 46% haber informado solo los análisis que "funcionaron" y el 38% haber realizado exclusiones post hoc , es decir, eliminar algunos datos después de haberlos analizado antes de volver a analizar los datos restantes (a menudo con la premisa de "eliminar valores atípicos"). ^{[ 39 ]}

Como también informaron Stanley y sus colegas, otra razón por la que los estudios podrían no replicarse es la alta heterogeneidad de los efectos que se pretenden replicar. La heterogeneidad (varianza en los hallazgos de la investigación debido a múltiples tamaños de efecto verdaderos en lugar de uno solo) se mide mediante el estadístico I², que cuantifica la variación no explicada en los tamaños de efecto entre estudios. ^{[ 14 ] [ 184 ]} Esta variación puede deberse a diferencias en los métodos experimentales, las poblaciones, las cohortes y los métodos estadísticos entre los estudios de replicación. La heterogeneidad representa un desafío para los estudios que intentan replicar tamaños de efecto encontrados previamente . Cuando la heterogeneidad es alta, las replicaciones posteriores tienen una alta probabilidad de encontrar un tamaño de efecto radicalmente diferente al del estudio original. ^{[ f ]}

Es importante destacar que también se encuentran niveles significativos de heterogeneidad en las replicaciones directas/exactas de un estudio. Stanley y sus colegas abordan este tema al informar sobre un estudio del científico conductual cuantitativo Richard Klein y sus colegas, donde los autores intentaron replicar 15 efectos psicológicos en 36 sitios diferentes en Europa y Estados Unidos. En el estudio, Klein y sus colegas encontraron cantidades significativas de heterogeneidad en 8 de los 16 efectos (I-cuadrado = 23% a 91%). Es importante señalar que, si bien los sitios de replicación diferían intencionalmente en una variedad de características, tales diferencias podrían explicar muy poca heterogeneidad. Según Stanley y sus colegas, esto sugiere que la heterogeneidad podría haber sido una característica genuina de los fenómenos investigados. Por ejemplo, los fenómenos podrían estar influenciados por los llamados "moderadores ocultos": factores relevantes que anteriormente no se consideraban importantes en la producción de un efecto determinado.

En su análisis de 200 metaanálisis de efectos psicológicos, Stanley y sus colegas encontraron un porcentaje medio de heterogeneidad de I² = 74%. Según los autores, este nivel de heterogeneidad puede considerarse "enorme". Es tres veces mayor que la varianza de muestreo aleatorio de los tamaños del efecto medidos en su estudio. Si se considera junto con el error de muestreo , la heterogeneidad produce una desviación estándar de un estudio a otro incluso mayor que el tamaño del efecto medio de los 200 metaanálisis que investigaron. ^{[ g ]} Los autores concluyen que si la replicación se define por un estudio posterior que encuentra un tamaño del efecto suficientemente similar al original, el éxito de la replicación no es probable incluso si las replicaciones tienen tamaños de muestra muy grandes. Es importante destacar que esto ocurre incluso si las replicaciones son directas o exactas, ya que la heterogeneidad, no obstante, sigue siendo relativamente alta en estos casos.

En economía, la crisis de replicación también puede verse exacerbada porque los resultados econométricos son frágiles: ^{[ 185 ]} el uso de procedimientos de estimación o técnicas de preprocesamiento de datos diferentes pero plausibles puede conducir a resultados contradictorios. ^{[ 186 ] [ 187 ] [ 188 ]}

La metaciencia es el uso de la metodología científica para estudiar la ciencia misma. Busca aumentar la calidad de la investigación científica y, al mismo tiempo, reducir el desperdicio. También se la conoce como «investigación sobre la investigación» y «la ciencia de la ciencia», ya que utiliza métodos de investigación para estudiar cómo se realiza la investigación y dónde se pueden introducir mejoras. La metaciencia se ocupa de todos los campos de la investigación y se la ha denominado «una visión panorámica de la ciencia». ^{[ 214 ]} En palabras de Ioannidis: «La ciencia es lo mejor que le ha sucedido a la humanidad... pero podemos mejorarla». ^{[ 215 ]}

Se siguen realizando metaanálisis para identificar las causas de la crisis y abordarlas. Entre los métodos para afrontarla se incluyen el preregistro de estudios científicos y ensayos clínicos , así como la creación de organizaciones como CONSORT y la Red EQUATOR , que emiten directrices sobre metodología e informes. Se mantienen los esfuerzos para reformar el sistema de incentivos académicos, mejorar el proceso de revisión por pares , reducir el uso indebido de las estadísticas , combatir los sesgos en la literatura científica y aumentar la calidad y la eficiencia generales del proceso científico.

Algunos autores han argumentado que la comunicación insuficiente de los métodos experimentales contribuye significativamente a la crisis de reproducibilidad y que una mejor descripción del diseño experimental y los análisis estadísticos mejoraría la situación. Estos autores suelen abogar por un cambio cultural profundo en la comunidad científica respecto a cómo se consideran las estadísticas y por una mayor presión por parte de las revistas científicas y los organismos de financiación. ^{[ 216 ]} Sin embargo, se han planteado preocupaciones sobre la posibilidad de que los estándares de transparencia y replicación se apliquen erróneamente tanto a estudios cualitativos como cuantitativos. ^{[ 217 ]}

Entre las revistas de negocios y administración que han introducido políticas editoriales sobre accesibilidad, replicación y transparencia de datos se incluyen el Strategic Management Journal , el Journal of International Business Studies y el Management and Organization Review . ^{[ 93 ]}

En respuesta a las preocupaciones en psicología sobre el sesgo de publicación y la manipulación de datos , más de 140 revistas de psicología han adoptado la revisión por pares ciega a los resultados. En este enfoque, los estudios se aceptan no en función de sus hallazgos y una vez finalizados, sino antes de su realización y en función del rigor metodológico de sus diseños experimentales y las justificaciones teóricas de sus técnicas de análisis estadístico antes de la recopilación o el análisis de datos. ^{[ 218 ]} Un análisis inicial de este procedimiento estimó que el 61 % de los estudios ciegos a los resultados arrojaron resultados nulos , en contraste con un estimado del 5 % al 20 % en investigaciones anteriores. ^{[ 108 ]} Además, las colaboraciones a gran escala entre investigadores que trabajan en múltiples laboratorios en diferentes países y que regularmente ponen sus datos a disposición de otros investigadores para su evaluación se han vuelto mucho más comunes en psicología. ^{[ 219 ]}

La publicación científica ha comenzado a utilizar informes de preinscripción para abordar la crisis de replicación. ^{[ 220 ] [ 221 ]} El formato de informe registrado requiere que los autores presenten una descripción de los métodos y análisis del estudio antes de la recopilación de datos. Una vez que el método y el plan de análisis son revisados ​​por pares, la publicación de los hallazgos se garantiza provisionalmente, según si los autores siguen el protocolo propuesto. Uno de los objetivos de los informes registrados es evitar el sesgo de publicación hacia hallazgos significativos que pueden llevar a la implementación de prácticas de investigación cuestionables. Otro es fomentar la publicación de estudios con métodos rigurosos.

La revista Psychological Science ha fomentado el preregistro de estudios y la presentación de tamaños del efecto e intervalos de confianza. ^{[ 222 ]} El editor jefe también señaló que el equipo editorial solicitará la replicación de estudios con resultados sorprendentes de exámenes con muestras pequeñas antes de permitir la publicación de los manuscritos.

Se ha sugerido que se necesita "una forma sencilla de comprobar con qué frecuencia se han repetido los estudios y si se confirman o no los hallazgos originales". ^{[ 201 ]} Los revisores, la revista científica o los lectores podrían realizar categorizaciones y valoraciones de la reproducibilidad a nivel de estudio o resultados, así como añadir enlaces a confirmaciones de terceros y valorarlas, en combinación con nuevas plataformas o herramientas digitales.

Muchas publicaciones requieren un valor p < 0,05 para afirmar la significación estadística . El artículo "Redefinir la significación estadística" ^{[ 223 ]} , firmado por un gran número de científicos y matemáticos, propone que en "campos donde el umbral para definir la significación estadística de nuevos descubrimientos es p < 0,05, proponemos un cambio a p < 0,005. Este simple paso mejoraría inmediatamente la reproducibilidad de la investigación científica en muchos campos". Su razonamiento es que "una de las principales causas de la falta de reproducibilidad es que los estándares estadísticos de evidencia para afirmar nuevos descubrimientos en muchos campos de la ciencia son simplemente demasiado bajos. Asociar hallazgos 'estadísticamente significativos' con p < 0,05 da como resultado una alta tasa de falsos positivos incluso en ausencia de otros problemas experimentales, de procedimiento y de presentación de informes". ^{[ 223 ]}        

Esta propuesta fue posteriormente criticada por otro grupo numeroso, que argumentó que «redefinir» el umbral no solucionaría los problemas actuales, sino que generaría otros nuevos, y que, en última instancia, todos los umbrales debían justificarse caso por caso en lugar de seguir convenciones generales. ^{[ 224 ]} Un estudio de seguimiento de 2022 examinó el impacto práctico de estas recomendaciones contrapuestas. A pesar de las altas tasas de citación de ambas propuestas, los investigadores encontraron una implementación limitada, tanto del umbral p < 0,005 como del enfoque de justificación caso por caso, en la práctica. Esto reveló lo que los autores denominaron un «círculo vicioso», en el que los científicos rechazan las recomendaciones porque no son práctica estándar, mientras que las recomendaciones no logran convertirse en práctica estándar porque pocos científicos las adoptan. ^{[ 225 ]}

Aunque los estadísticos coinciden en que el uso de " p < 0,05" como estándar de significación proporciona una evidencia más débil de lo que generalmente se reconoce, no existe consenso sobre qué se debe hacer al respecto. Algunos han defendido que los métodos bayesianos deberían reemplazar los valores p . Esto no se ha generalizado, en parte porque es complejo y en parte porque muchos usuarios desconfían de la especificación de distribuciones previas en ausencia de datos concretos. El farmacólogo David Colquhoun sugirió una versión simplificada del argumento bayesiano, basada en la prueba de una hipótesis nula puntual . ^{[ 226 ] [ 227 ]} Los problemas lógicos de la inferencia inductiva se discutieron en "El problema con los valores p" (2016). ^{[ 228 ]}  

Los riesgos de confiar en los valores p surgen en parte porque incluso una observación de p  =  0,001 no es necesariamente una evidencia sólida contra la hipótesis nula. ^{[ 227 ]} A pesar de que la razón de verosimilitud a favor de la hipótesis alternativa sobre la nula es cercana a 100, si la hipótesis fuera inverosímil, con una probabilidad previa de un efecto real de  0,1, incluso la observación de p  =  0,001 tendría un riesgo de falso positivo del 8 por ciento. Aun así, no alcanzaría el nivel del 5 por ciento.

Se recomendó que no se utilizaran los términos "significativo" y "no significativo". ^{[ 227 ]} Los valores p y los intervalos de confianza aún deben especificarse, pero deben ir acompañados de una indicación del riesgo de falso positivo. Se sugirió que la mejor manera de hacerlo es calcular la probabilidad previa que sería necesario creer para lograr un riesgo de falso positivo de cierto nivel, como el 5%. Los cálculos pueden hacerse con varios programas informáticos. ^{[ 227 ] [ 229 ]} Este enfoque bayesiano inverso, que el físico Robert Matthews sugirió en 2001, ^{[ 230 ]} es una forma de evitar el problema de que la probabilidad previa rara vez se conoce.

Para mejorar la calidad de las replicaciones, a menudo se necesitan tamaños de muestra mayores que los utilizados en el estudio original. ^{[ 231 ]} Se necesitan tamaños de muestra mayores porque las estimaciones de los tamaños del efecto en los trabajos publicados a menudo se exageran debido al sesgo de publicación y a la gran variabilidad de muestreo asociada con tamaños de muestra pequeños en un estudio original. ^{[ 232 ] [ 233 ] [ 234 ]} Además, el uso de umbrales de significancia generalmente conduce a efectos inflados, porque particularmente con tamaños de muestra pequeños, solo los efectos más grandes se volverán significativos. ^{[ 192 ]}

Un problema estadístico común es el sobreajuste , es decir, cuando los investigadores ajustan un modelo de regresión a un gran número de variables pero a un número reducido de puntos de datos. Por ejemplo, un estudio típico de resonancia magnética funcional (fMRI) sobre emoción, personalidad y cognición social tiene menos de 100 sujetos, pero cada sujeto tiene 10 000 vóxeles. El estudio ajustaría un modelo de regresión lineal disperso que utiliza los vóxeles para predecir una variable de interés, como el estrés autoinformado. Sin embargo, el estudio informaría sobre el valor p del modelo en los mismos datos a los que se ajustó. El enfoque estándar en estadística, donde los datos se dividen en un conjunto de entrenamiento y otro de validación , se resiste porque la adquisición de sujetos de prueba es costosa. ^{[ 181 ] [ 235 ]}

Una posible solución es la validación cruzada , que permite la validación del modelo al tiempo que permite utilizar todo el conjunto de datos para el ajuste del modelo. ^{[ 236 ]}

En julio de 2016, la Organización Neerlandesa para la Investigación Científica destinó 3 millones de euros a estudios de replicación. La financiación se destina a la replicación basada en el reanálisis de datos existentes y a la replicación mediante la recopilación y el análisis de nuevos datos. La financiación está disponible en las áreas de ciencias sociales, investigación en salud e innovación sanitaria. ^{[ 237 ]}

En 2013, la Fundación Laura y John Arnold financió el lanzamiento del Centro para la Ciencia Abierta con una subvención de 5,25 millones de dólares. Para 2017, proporcionó 10 millones de dólares adicionales en financiación. ^{[ 238 ]} También financió el lanzamiento del Centro de Innovación en Metainvestigación en Stanford, en la Universidad de Stanford, dirigido por Ioannidis y el científico médico Steven Goodman para estudiar formas de mejorar la investigación científica. ^{[ 238 ]} Asimismo, proporcionó financiación para la iniciativa AllTrials , liderada en parte por el científico médico Ben Goldacre . ^{[ 238 ]}

Basándose en cursos de métodos experimentales del MIT, Stanford y la Universidad de Washington , se ha sugerido que los cursos de metodología en psicología y otros campos deberían hacer hincapié en los intentos de replicación en lugar de los estudios originales. ^{[ 239 ] [ 240 ] [ 241 ]} Este enfoque ayudaría a los estudiantes a aprender metodología científica y proporcionaría numerosas replicaciones independientes de hallazgos científicos significativos que pondrían a prueba la replicabilidad de dichos hallazgos. Algunos han recomendado que se exija a los estudiantes de posgrado publicar un intento de replicación de alta calidad sobre un tema relacionado con su investigación doctoral antes de graduarse. ^{[ 242 ]}

Ha habido preocupación por el aumento de los intentos de replicación. ^{[ 243 ] [ 244 ]} Como resultado, esto puede conducir a un desperdicio de recursos en la investigación. ^{[ 245 ]} A su vez, esto ha generado la necesidad de realizar un seguimiento sistemático de los intentos de replicación. Como resultado, se han creado varias bases de datos (por ejemplo, ^{[ 246 ] [ 247 ]} ). Estas bases de datos han creado una base de datos de replicación que incluye la psicología, entre otras disciplinas, para promover la investigación basada en la teoría y optimizar el uso de los recursos académicos e institucionales, al tiempo que se fomenta la confianza en la ciencia. ^{[ 246 ]}

Semiautomatizado

Los investigadores demostraron una forma de prueba semiautomatizada para la reproducibilidad: se extrajeron declaraciones sobre resultados experimentales de artículos de investigación sobre cáncer de expresión genética no semánticos ( hasta 2022) y posteriormente se reprodujeron mediante el robot científico " Eve ". ^{[ 249 ] [ 250 ]} Los problemas de este enfoque incluyen que puede no ser factible para muchas áreas de investigación y que puede que no se extraigan suficientes datos experimentales de algunos o muchos artículos, incluso si están disponibles.

El psicólogo Daniel Kahneman argumentó que, en psicología, los autores originales deberían participar en el esfuerzo de replicación porque los métodos publicados suelen ser demasiado vagos. ^{[ 251 ] [ 252 ]} Otros, como el psicólogo Andrew Wilson, discrepan, argumentando que los autores originales deberían escribir los métodos en detalle. ^{[ 251 ]} Una investigación sobre las tasas de replicación en psicología en 2012 indicó tasas de éxito de replicación más altas en los estudios de replicación cuando había coincidencia de autores con los autores originales de un estudio ^{[ 253 ]} (tasas de éxito de replicación del 91,7 % en estudios con coincidencia de autores en comparación con tasas de éxito de replicación del 64,6 % sin coincidencia de autores).

La crisis de replicación ha llevado a la formación y el desarrollo de diversas comunidades colaborativas a gran escala para aunar sus recursos y abordar una misma pregunta en diferentes culturas, países y disciplinas. ^{[ 254 ]} El enfoque está en la replicación, para asegurar que el efecto se generalice más allá de una cultura específica e investigar si el efecto es replicable y genuino. ^{[ 255 ]} Esto permite revisiones internas interdisciplinarias, múltiples perspectivas, protocolos uniformes en todos los laboratorios y la captación de muestras más grandes y diversas. ^{[ 255 ]} Los investigadores pueden colaborar coordinando la recopilación de datos o financiando la recopilación de datos por parte de investigadores que tal vez no tengan acceso a fondos, lo que permite tamaños de muestra mayores y aumenta la solidez de las conclusiones.

El psicólogo Marcus R. Munafò y el epidemiólogo George Davey Smith argumentan, en un artículo publicado por Nature , que la investigación debería hacer hincapié en la triangulación , no solo en la replicación, para protegerse contra ideas erróneas. Afirman que,

La replicación por sí sola solo nos llevará hasta cierto punto (y) podría incluso empeorar las cosas  ... [La triangulación] es el uso estratégico de múltiples enfoques para abordar una misma pregunta. Cada enfoque tiene sus propias suposiciones, fortalezas y debilidades no relacionadas. Los resultados que coinciden entre diferentes metodologías tienen menos probabilidades de ser artefactos .  ... Quizás una de las razones por las que la replicación ha captado tanto interés es la idea, a menudo repetida, de que la falsación está en el corazón de la empresa científica. Esta idea fue popularizada por la máxima de Karl Popper en la década de 1950 de que las teorías nunca pueden probarse, solo falsificarse. Sin embargo, un énfasis excesivo en la repetición de experimentos podría proporcionar una sensación infundada de certeza sobre los hallazgos que se basan en un solo enfoque.  ... Los filósofos de la ciencia han evolucionado desde Popper. Mejores descripciones de cómo trabajan realmente los científicos incluyen lo que el epistemólogo Peter Lipton llamó en 1991 " inferencia a la mejor explicación ". ^{[ 256 ]}

El modelo científico y estadístico dominante de causalidad es el modelo lineal. ^{[ 257 ]} El modelo lineal supone que las variables mentales son propiedades estables e independientes entre sí. En otras palabras, no se espera que estas variables se influyan mutuamente. En cambio, el modelo supone que las variables tendrán un efecto lineal e independiente sobre los resultados observables. ^{[ 257 ]}

Los científicos sociales Sebastian Wallot y Damian Kelty-Stephen sostienen que el modelo lineal no siempre es apropiado. ^{[ 257 ]} Una alternativa es el modelo de sistema complejo, que asume que las variables mentales son interdependientes. No se asume que estas variables sean estables, sino que interactuarán y se adaptarán a cada contexto específico. ^{[ 257 ]} Argumentan que el modelo de sistema complejo suele ser más apropiado en psicología, y que el uso del modelo lineal cuando el modelo de sistema complejo es más apropiado dará lugar a replicaciones fallidas. ^{[ 257 ]}

...la psicología puede estar esperando replicaciones en las mismas mediciones y bajo las mismas condiciones donde un creciente conjunto de evidencia psicológica desalienta explícitamente la predicción de replicación. Los fallos de replicación pueden estar claramente incorporados al fallo potencialmente incompleto, pero ampliamente generalizado, del comportamiento humano para ajustarse al estándar de independencia[ce] ... ^{[ 257 ]}

La replicación es fundamental para el progreso científico, ya que confirma los hallazgos originales. Sin embargo, la replicación por sí sola no basta para resolver la crisis de replicación. Los esfuerzos de replicación no solo deben buscar apoyar o cuestionar los hallazgos originales, sino también reemplazarlos con teorías revisadas y más sólidas, con mayor poder explicativo. Este enfoque implica, por lo tanto, depurar las teorías existentes, comparar todas las teorías alternativas y hacer que los esfuerzos de replicación sean más generativos y participen en la construcción de teorías. ^{[ 258 ] [ 259 ]} Sin embargo, la replicación por sí sola no es suficiente; es importante evaluar hasta qué punto los resultados se generalizan a través de contextos geográficos, históricos y sociales, lo cual es importante para varios campos científicos, especialmente para profesionales y responsables políticos, para realizar análisis que guíen decisiones estratégicas importantes. Los hallazgos reproducibles y replicables fueron el mejor predictor de generalización más allá de los contextos históricos y geográficos, lo que indica que, para las ciencias sociales, los resultados de un período de tiempo y lugar determinados pueden conducir significativamente a lo que está universalmente presente en los individuos. ^{[ 260 ]}

Los datos abiertos, el software de código abierto y el hardware de código abierto son fundamentales para permitir la reproducibilidad en el sentido de la validación del análisis de datos original. El uso de software propietario, la falta de publicación del software de análisis y la falta de datos abiertos impiden la replicación de estudios. A menos que el software utilizado en la investigación sea de código abierto, reproducir resultados con diferentes configuraciones de software y hardware es imposible. ^{[ 261 ]} El CERN cuenta con proyectos de Datos Abiertos y Preservación de Análisis del CERN para almacenar datos, toda la información relevante y todo el software y las herramientas necesarias para preservar un análisis en los grandes experimentos del LHC . Además de todo el software y los datos, los activos de análisis preservados incluyen metadatos que permiten comprender el flujo de trabajo del análisis, el software relacionado, las incertidumbres sistemáticas, los procedimientos estadísticos y formas significativas de buscar el análisis, así como referencias a publicaciones y a material de respaldo. ^{[ 262 ]} El software del CERN es de código abierto y está disponible para su uso fuera de la física de partículas , y se proporciona orientación a otros campos sobre los enfoques y estrategias generales utilizados para la ciencia abierta en la física de partículas contemporánea. ^{[ 263 ]}

Los repositorios en línea donde se pueden almacenar y evaluar datos, protocolos y hallazgos por parte del público buscan mejorar la integridad y la reproducibilidad de la investigación. Ejemplos de estos repositorios incluyen Open Science Framework , Registry of Research Data Repositories y Psychfiledrawer.org. Sitios como Open Science Framework ofrecen insignias por usar prácticas de ciencia abierta para incentivar a los científicos. Sin embargo, ha habido preocupación de que quienes tienen más probabilidades de proporcionar sus datos y código para análisis sean los investigadores más sofisticados. ^{[ 264 ]} Ioannidis sugirió que "puede surgir la paradoja de que los investigadores más meticulosos, sofisticados, expertos en métodos y cuidadosos pueden volverse más susceptibles a las críticas y ataques a la reputación por parte de reanalizadores que buscan errores, sin importar cuán insignificantes sean". ^{[ 264 ]}