Revisión académica por pares

Un editor evalúa el manuscrito para determinar si se enviará a los revisores de la revista. En esta fase, muchos artículos reciben un rechazo directo, es decir, el editor decide no enviarlos. Los autores pueden recibir o no una carta explicativa.

El rechazo directo de manuscritos tiene como objetivo ser un proceso ágil para que los editores puedan descartar rápidamente los manuscritos no viables y brindar a los autores la oportunidad de publicar en una revista más adecuada. Por ejemplo, los editores de European Accounting Review someten cada manuscrito a tres preguntas para decidir si se envía a los revisores: 1) ¿El artículo se ajusta a los objetivos y el alcance de la revista?, 2) ¿El contenido del artículo (por ejemplo, revisión bibliográfica , métodos, conclusiones) es suficiente y aporta una contribución valiosa a la literatura existente?, y 3) ¿Cumple con el formato y las especificaciones técnicas? Si la respuesta a cualquiera de estas preguntas es "no", el manuscrito recibe un rechazo directo. ^{[ 28 ]}

Las tasas de rechazo en la evaluación inicial varían según la revista. Por ejemplo, en 2017, investigadores del Banco Mundial recopilaron las tasas de rechazo de varias revistas de economía global; la tasa de rechazo en la evaluación inicial osciló entre el 21 % ( Economic Lacea ) y el 66 % ( Journal of Development Economics ). ^{[ 29 ]} La Asociación Americana de Psicología publica las tasas de rechazo de varias publicaciones importantes en el campo, y aunque no especifican si el rechazo es previo o posterior a la evaluación inicial, sus cifras en 2016 oscilaron entre un mínimo del 49 % y un máximo del 90 %. ^{[ 30 ]}

Si el artículo no es rechazado directamente, los editores envían el manuscrito a los revisores, quienes son seleccionados por su experiencia y su distanciamiento de los autores. En este punto, los revisores pueden rechazarlo, aceptarlo sin cambios (poco frecuente) ^{[ 31 ]} o indicar a los autores que lo revisen y lo vuelvan a enviar.

Los motivos para la aceptación de un artículo por parte de los editores varían, pero Elsevier publicó un artículo donde tres editores analizan los factores que influyen en dicha aceptación. Estos factores incluyen si el manuscrito: aporta "una nueva perspectiva sobre un tema importante", será útil para los profesionales, desarrolla o propone una nueva teoría, plantea nuevas preguntas, cuenta con métodos y conclusiones apropiados, presenta un buen argumento basado en la literatura y narra una buena historia. Un editor señala que le gustan los artículos que "desearía haber escrito él mismo". ^{[ 32 ]}

Cada uno de estos revisores envía una evaluación del trabajo al editor, señalando las debilidades o problemas y sugiriendo mejoras. Por lo general, el autor suele ver la mayoría de los comentarios de los revisores, aunque un revisor también puede enviar comentarios confidenciales al editor; las revistas científicas siguen esta práctica casi universalmente. El editor evalúa los comentarios de los revisores y su propia opinión sobre el manuscrito antes de comunicar la decisión al autor o autores, generalmente incluyendo los comentarios de los revisores. ^{[ 33 ]}

Las evaluaciones de los revisores suelen incluir una recomendación explícita sobre qué hacer con el manuscrito o la propuesta, a menudo elegida entre las opciones proporcionadas por la revista o la agencia de financiación. Por ejemplo, Nature recomienda cuatro cursos de acción: ^{[ 34 ]}

• aceptar incondicionalmente el manuscrito o la propuesta,
• aceptarlo en caso de que sus autores lo mejoren de ciertas maneras.
• rechazarlo, pero alentar la revisión e invitar a que se vuelva a presentar.
• rechazarlo de plano.

Durante este proceso, el rol de los revisores es consultivo. El editor o los editores generalmente no tienen la obligación de aceptar las opiniones de los revisores. ^{[ 35 ]} Sin embargo, el editor suele seguir el consejo de los revisores. Además, los revisores en las publicaciones científicas no actúan como un grupo, no se comunican entre sí y, por lo general, desconocen la identidad o las evaluaciones de los demás. Quienes defienden esta postura argumentan que, si los revisores de un artículo son desconocidos entre sí, el editor o los editores pueden verificar más fácilmente la objetividad de las revisiones. Normalmente no se exige que los revisores lleguen a un consenso , sino que la decisión suele ser tomada por el editor o los editores basándose en su mejor criterio sobre los argumentos.

En situaciones donde varios revisores discrepan sustancialmente sobre la calidad de un trabajo, existen diversas estrategias para llegar a una decisión. El artículo puede ser rechazado directamente, o el editor puede elegir qué punto del revisor deben abordar los autores. ^{[ 36 ]} Cuando una editorial recibe reseñas muy positivas y muy negativas para el mismo manuscrito, el editor suele solicitar una o más reseñas adicionales para desempatar. Como otra estrategia en caso de empate, la editorial puede invitar a los autores a responder a las críticas de un revisor y permitir una refutación convincente para resolver el empate. Si una editorial no se siente segura de evaluar la fuerza persuasiva de una refutación, puede solicitar una respuesta del revisor que hizo la crítica original. Un editor puede facilitar la comunicación entre los autores y un revisor, permitiéndoles así debatir un punto. ^{[ 37 ]}

Sin embargo, incluso en estos casos, las editoriales no permiten que varios revisores se comuniquen entre sí, aunque cada revisor suele ver comentarios previos de otros revisores. El objetivo del proceso no es alcanzar un consenso ni persuadir a nadie para que cambie de opinión, sino proporcionar material para una decisión editorial informada. Un estudio inicial sobre el desacuerdo entre revisores encontró que el acuerdo era mayor que el azar, o incluso mucho mayor, en seis de los siete atributos del artículo (por ejemplo, revisión de la literatura y recomendación final de publicación) ^{[ 38 ] , pero este estudio fue pequeño y se realizó en una sola revista. Al menos un estudio ha encontrado que el desacuerdo entre revisores no es común, pero este estudio también es pequeño y se realizó en una sola revista [ 39 ]} .

Tradicionalmente, los revisores solían permanecer anónimos para los autores, pero esta práctica varía con el tiempo y según el campo académico. En algunos campos, la mayoría de las revistas ofrecen al revisor la opción de permanecer anónimo o no, o bien, el revisor puede optar por firmar la revisión, renunciando así al anonimato. En ocasiones, los artículos publicados incluyen, en la sección de agradecimientos, un agradecimiento a los revisores, anónimos o identificados, que contribuyeron a mejorar el trabajo. Por ejemplo, las revistas Nature ofrecen esta opción. ^{[ 34 ]}

A veces, los autores pueden excluir a ciertos revisores: un estudio realizado en el Journal of Investigative Dermatology encontró que excluir revisores duplicaba las posibilidades de aceptación del artículo. ^{[ 40 ]} Algunos académicos se sienten incómodos con esta idea, argumentando que distorsiona el proceso científico. Otros argumentan que protege contra revisores que tienen algún tipo de sesgo (por ejemplo, rivalidad profesional, rencores). ^{[ 41 ]} En algunos casos, los autores pueden elegir revisores para sus manuscritos. mSphere , una revista de acceso abierto en ciencia microbiana, ha adoptado este modelo. El editor en jefe, Mike Imperiale, dice que este proceso está diseñado para reducir el tiempo que lleva revisar los artículos y permitir que los autores elijan a los revisores más apropiados. ^{[ 42 ]} Pero un escándalo en 2015 muestra cómo esta elección de revisores puede fomentar revisiones fraudulentas. Se enviaron revisiones falsas al Journal of the Renin-Angiotensin-Aldosterone System a nombre de revisores recomendados por los autores, lo que provocó que la revista eliminara esta opción. ^{[ 43 ]}

Si el manuscrito no ha sido rechazado durante la revisión por pares, se devuelve a los autores para su revisión. Durante esta fase, los autores abordan las inquietudes planteadas por los revisores. William Stafford Noble ofrece diez reglas para responder a los revisores. Sus reglas incluyen: ^{[ 44 ]}

1. "Proporcione una descripción general y luego cite el conjunto completo de reseñas".
2. "Sean educados y respetuosos con todos los críticos".
3. "Acepta la culpa"
4. "Haga que la respuesta sea autosuficiente"
5. "Responda a cada punto planteado por el crítico".
6. "Utiliza la tipografía para ayudar al revisor a comprender tu respuesta."
7. "Siempre que sea posible, comience su respuesta a cada comentario con una respuesta directa al punto que se plantea".
8. "Cuando sea posible, haga lo que pide el revisor".
9. "Deja claro qué ha cambiado con respecto a la versión anterior".
10. "Si es necesario, escribe la respuesta dos veces" (es decir, escribe una versión para "desahogarte" y luego escribe una versión que verán los revisores).

En economía, algunos académicos han argumentado que la etapa de revisión se ha expandido de la evaluación a exigencias de mejora excesivas. ^{[ 45 ]} Una revisión de 2024 sobre la revisión por pares en economía describió el exceso de intervención de los revisores y las revisiones excesivas como factores que contribuyen a artículos más largos y una publicación más lenta. ^{[ 3 ]}

La revisión externa por pares es el proceso habitual de revisión por pares para las revistas académicas. ^{[ 55 ]} La primera evidencia de revisiones externas por pares formales data de 1752, y se generalizó y estandarizó después de la Segunda Guerra Mundial . ^{[ 55 ]} En este proceso, académicos que no están vinculados a la revista ni al autor revisan los artículos enviados y, al hacerlo, impiden que las revistas académicas y científicas utilicen únicamente sus propios intereses comerciales como guía para lo que publican. ^{[ 55 ]} Nature comenzó a exigir la revisión externa por pares en 1973, y otras revistas no tardaron en seguir su ejemplo. ^{[ 55 ]}

La revisión interna por pares consiste en que un colega del mismo departamento o institución académica lea un artículo antes de enviarlo a una revista para su revisión externa por pares. ^{[ 56 ]} Por ejemplo, los economistas de la misma agencia gubernamental pueden revisar los artículos de sus colegas, como un tipo de responsabilidad profesional entre pares. ^{[ 56 ]} Personas como el premio Nobel Dan Shechtman y organizaciones como el Instituto Nacional de Estándares y Tecnología de EE. UU . utilizan la revisión interna por pares porque creen que les brinda la oportunidad de mejorar los artículos antes de enviarlos a una revista. ^{[ 56 ] [ 57 ]} La revisión interna por pares también se recomienda para autores con habilidades de escritura débiles. ^{[ 58 ] [ 59 ]} A diferencia de la revisión externa por pares, los revisores internos por pares no tienen ninguna distancia de los objetivos institucionales y no son tan eficaces como los revisores externos independientes para mitigar los conflictos de interés . ^{[ 60 ]} Los revisores internos por pares también sufren un sesgo de experto interno, por lo que pasan por alto problemas que serían detectados por alguien fuera de la organización o por alguien de una disciplina académica adyacente. ^{[ 61 ]} La revisión interna por pares también se ha utilizado para mejorar la calidad de las solicitudes de subvenciones para investigación. ^{[ 62 ]}

La expresión « revisión interna por pares» también se utiliza para describir la revisión posterior a la presentación por parte de los editores de una revista, antes de enviarlos a revisión externa por pares. ^{[ 63 ] [ 64 ]} La revista Health Policy and Planning , por ejemplo, informa que el 60 % de los artículos presentados son rechazados por los editores porque no son apropiados para la revista (por ejemplo, el artículo presentado no trata sobre ninguna política de salud). ^{[ 64 ]}

En la mayoría de las publicaciones académicas , la identidad de los revisores se mantiene anónima (también conocida como «revisión por pares a ciegas»). La alternativa, la revisión por pares con atribución, implica revelar la identidad de los revisores. Algunos revisores optan por renunciar a su derecho al anonimato, incluso cuando el formato predeterminado de la revista es la revisión por pares a ciegas.

En la revisión por pares anónima, los revisores son conocidos por el editor de la revista o el organizador de la conferencia, pero sus nombres no se revelan al autor del artículo. En algunos casos, la identidad del autor también puede anonimizarse para el proceso de revisión, eliminando la información que permita identificarlo del documento antes de la revisión. El sistema tiene como objetivo reducir o eliminar el sesgo. ^{[ 13 ]}

Algunos expertos propusieron procedimientos de revisión a ciegas para revisar temas de investigación controvertidos. ^{[ 65 ]}

En la revisión por pares doble ciego , que fue creada por revistas de sociología en la década de 1950 ^{[ 66 ]} y sigue siendo más común en las ciencias sociales y las humanidades que en las ciencias naturales, la identidad de los autores se oculta a los revisores (" ciega "), y viceversa, para evitar que el conocimiento de la autoría o la preocupación por la desaprobación del autor sesguen su revisión. ^{[ 67 ]} Los críticos del proceso de revisión doble ciego señalan que, a pesar de cualquier esfuerzo editorial por garantizar el anonimato, el proceso a menudo no lo logra, ya que ciertos enfoques, métodos, estilos de escritura, notaciones, etc., apuntan a un grupo determinado de personas en una línea de investigación, e incluso a una persona en particular. ^{[ 68 ] [ 69 ]}

En muchos campos de la " ciencia a gran escala ", los cronogramas de operación disponibles públicamente de equipos importantes, como telescopios o sincrotrones , harían que los nombres de los autores fueran obvios para cualquiera que quisiera buscarlos. Los defensores de la revisión doble ciego argumentan que no funciona peor que la revisión simple ciego y que genera una percepción de equidad e igualdad en la financiación y publicación académica. ^{[ 70 ]} La revisión simple ciego depende en gran medida de la buena voluntad de los participantes, pero no más que la revisión doble ciego con autores fácilmente identificables.

Como alternativa a la revisión simple y doble ciego, se anima a autores y revisores a declarar sus conflictos de interés cuando los nombres de los autores y, en ocasiones, de los revisores, son conocidos por la otra parte. Cuando se informan los conflictos, se puede prohibir al revisor en cuestión revisar y comentar el manuscrito, o bien su revisión puede interpretarse teniendo en cuenta el conflicto declarado; esta última opción se suele adoptar cuando el conflicto de interés es leve, como una relación profesional previa o un parentesco lejano. El incentivo para que los revisores declaren sus conflictos de interés es una cuestión de ética profesional e integridad personal. Aunque las revisiones no sean públicas, siguen siendo un registro y la credibilidad del revisor depende de cómo se presente ante sus colegas. Algunas revistas de ingeniería de software, como IEEE Transactions on Software Engineering , utilizan revisiones no ciegas en las que tanto autores como revisores informan a los editores sobre los conflictos de interés.

Un estándar de rendición de cuentas más riguroso se conoce como auditoría . Dado que los revisores no reciben remuneración, no se puede esperar que dediquen tanto tiempo y esfuerzo a una revisión como lo requiere una auditoría. Por lo tanto, revistas académicas como Science , organizaciones como la Unión Geofísica Americana y agencias como los Institutos Nacionales de la Salud y la Fundación Nacional de Ciencias mantienen y archivan datos y métodos científicos en caso de que otro investigador desee replicar o auditar la investigación después de su publicación. ^{[ 71 ] [ 72 ] [ 73 ]}

La revisión por pares anónima tradicional ha sido criticada por su falta de rendición de cuentas, la posibilidad de abuso por parte de los revisores o de quienes gestionan el proceso de revisión por pares (es decir, los editores de revistas), ^{[ 74 ]} su posible sesgo y su inconsistencia, ^{[ 75 ]} junto con otras fallas. ^{[ 76 ] [ 4 ]} Eugene Koonin , investigador principal del Centro Nacional de Información Biotecnológica , afirma que el sistema tiene "males bien conocidos" y aboga por la " revisión por pares abierta ". ^{[ 77 ]}

En la revisión por pares transparente, los documentos relacionados con la publicación del artículo se publican junto con este. Esto incluye el informe inicial del revisor, la respuesta de los autores y la carta de aceptación del editor. Los nombres de los revisores pueden mantenerse anónimos incluso en la revisión por pares transparente. ^{[ 82 ]}

El proceso de revisión por pares no se limita al proceso de publicación gestionado por las revistas académicas. En concreto, algunas formas de revisión por pares pueden tener lugar antes de que un artículo se envíe a una revista o después de su publicación.

Los estudios que informan un resultado positivo o estadísticamente significativo tienen muchas más probabilidades de ser publicados que aquellos que no lo hacen . Una contramedida a este sesgo de positividad es ocultar o hacer que los resultados no estén disponibles en el artículo, haciendo que la aceptación en la revista se asemeje más a la revisión de propuestas de investigación por parte de agencias de subvenciones científicas . Las versiones incluyen:

1. Revisión por pares sin conocimiento de los resultados , propuesta por primera vez en 1966: Los revisores reciben una versión editada del artículo enviado que omite la sección de resultados y conclusiones. ^{[ 101 ] [ 102 ] [ 103 ] [ 104 ] [ 105 ]} En una versión de dos etapas, una segunda ronda de revisiones o juicio editorial se basa en la versión completa del artículo, propuesta por primera vez en 1977. ^{[ 106 ] [ 107 ]}

   La revisión ciega de conclusiones , propuesta por Robin Hanson en 2007, va más allá al pedir a todos los autores que presenten una versión positiva y una negativa, y solo después de que la revista haya aceptado el artículo, los autores revelan cuál es la versión real. ^{[ 108 ]}

2. Artículos preaceptados o revistas imparciales de resultados o revisión de publicación anticipada o informes registrados o antes de la presentación de resultados o aceptación temprana ^{[ 109 ] [ 110 ] [ 111 ] [ 112 ] [ 113 ] [ 114 ] [ 115 ] [ 116 ] [ 117 ]} extiende el preregistro del estudio hasta el punto en que las revistas aceptan o rechazan los artículos basándose en la versión del artículo escrita antes de que se hayan hecho los resultados o conclusiones (un protocolo de estudio ampliado), pero en su lugar describe la justificación teórica, el diseño experimental y el análisis estadístico. Solo una vez que la hipótesis y la metodología propuestas han sido aceptadas por los revisores, los autores recopilarían los datos o analizarían los datos recopilados previamente. Una variante limitada de un artículo preaceptado fue la revisión de protocolos de estudio de The Lancet de 1997 a 2015 revisaba y publicaba protocolos de ensayos aleatorios con la garantía de que el artículo final al menos se enviaría a revisión por pares en lugar de ser rechazado inmediatamente. ^{[ 118 ] [ 119 ]} Por ejemplo, Nature Human Behaviour ha adoptado el formato de informe registrado, ya que "cambia el énfasis de los resultados de la investigación a las preguntas que guían la investigación y los métodos utilizados para responderlas". ^{[ 120 ]} El European Journal of Personality define este formato: "En un informe registrado, los autores crean una propuesta de estudio que incluye antecedentes teóricos y empíricos, preguntas/hipótesis de investigación y datos piloto (si están disponibles). Una vez enviada, esta propuesta será revisada antes de la recopilación de datos y, si se acepta, el artículo resultante de este procedimiento de revisión por pares se publicará, independientemente de los resultados del estudio". ^{[ 121 ]} Un análisis de casi 100 estudios preregistrados mostró que los informes registrados se adhirieron a un promedio del 92% de sus preregistros, pero los preregistros no revisados ​​se adhirieron solo al 60%. ^{[ 122 ]} Estos hallazgos sugieren que cuando el plan de estudio inicial es aceptado para su publicación, puede haber un incentivo reducido para cambiar los planes preregistrados.

Las siguientes revistas utilizaron revisión por pares sin conocimiento de los resultados o artículos preaceptados:

• La Revista Europea de Parapsicología , bajo la dirección de Martin Johnson (quien propuso una versión de Informes Registrados en 1974), ^{[ 123 ]} comenzó a aceptar artículos basados ​​en diseños presentados y luego a publicarlos, desde 1976 hasta 1993, y publicó un total de 25 RR ^{[ 107 ].}
• La Revista Internacional de Pronósticos utilizó una revisión por pares ciega a los resultados con consentimiento explícito y artículos preaceptados desde antes de 1986 ^{[ 124 ]} hasta 1996/1997. ^{[ 110 ] [ 125 ]}
• La revista Applied Psychological Measurement ofreció un proceso de "revisión previa a la publicación" opcional desde 1989 hasta 1996, finalizando su uso después de que solo se presentaran 5 artículos. ^{[ 110 ] [ 126 ]}
• La revista JAMA Internal Medicine descubrió en una encuesta de 2009 que el 86 % de sus revisores estarían dispuestos a trabajar en un proceso de revisión por pares sin conocer los resultados, y llevó a cabo un experimento piloto con una revisión por pares sin conocer los resultados en dos etapas, que demostró que la etapa sin conocer los resultados beneficiaba más a los estudios positivos que a los negativos. ^{[ 127 ]} pero la revista actualmente no utiliza la revisión por pares sin conocer los resultados.
• El Centro para la Ciencia Abierta fomenta el uso de "Informes Registrados" (artículos preaceptados) ^{[ 128 ] [ 129 ] [ 130 ] [ 131 ] [ 132 ] [ 133 ]} desde 2013. A octubre de 2017, aproximadamente 80 revistas ofrecen Informes Registrados en general, han publicado números especiales de Informes Registrados o aceptan Informes Registrados de forma limitada (por ejemplo, solo replicaciones), entre ellas AIMS Neuroscience , Cortex , Perspectives on Psychological Science , Social Psychology y Comparative Political Studies.
  • Comparative Political Studies publicó los resultados de su experimento piloto de 19 trabajos presentados, de los cuales 3 fueron preaceptados en 2016. El proceso funcionó bien, pero los trabajos presentados se inclinaron hacia diseños experimentales cuantitativos y redujeron la cantidad de "búsqueda de resultados", ya que los autores y revisores se centraron en el respaldo teórico, la importancia sustantiva de los resultados, prestando atención al poder estadístico y las implicaciones de un resultado nulo . Concluyeron que "podemos afirmar claramente que esta forma de revisión dio lugar a artículos de la más alta calidad. Nos encantaría que una revista de primer nivel adoptara la revisión sin resultados como política, o al menos permitiéndola como una de las varias opciones de envío estándar". ^{[ 134 ]}

La revisión por pares extendida es el proceso de incluir a personas y grupos con experiencia más allá de la de los académicos en activo en los procesos de garantía de la calidad de la investigación. Si se lleva a cabo sistemáticamente, esto puede conducir a resultados más fiables o aplicables que un proceso de revisión por pares realizado exclusivamente por académicos. ^{[ 135 ]}

Brezis y Birukou han argumentado que un problema importante en el proceso de evaluación por pares es que los revisores muestran homofilia en sus gustos y percepción de ideas innovadoras. Esto significa que los revisores que desarrollan ideas convencionales tienden a dar calificaciones bajas a proyectos más innovadores, mientras que los revisores que desarrollan ideas innovadoras tienden, por homofilia, a dar calificaciones más altas a proyectos innovadores. ^{[ 144 ]}

De igual manera, la revisión por pares es más problemática al elegir los proyectos que se financiarán, ya que los proyectos innovadores no se clasifican bien en el proceso de revisión por pares existente. El proceso de revisión por pares conduce a la conformidad, es decir, a la selección de proyectos y artículos menos controvertidos. Esto puede incluso influir en el tipo de propuestas que presentarán los investigadores, ya que necesitan encontrar financiación para su investigación, como lo analiza Martin, 1997: ^{[ 149 ]} "Una opinión informal común es que es más fácil obtener fondos para proyectos convencionales. Quienes están ansiosos por obtener financiación no suelen proponer proyectos radicales o poco ortodoxos. Como no se sabe quiénes serán los revisores, lo mejor es suponer que son moderados. Por lo tanto, la solicitud moderada es más segura". ^{[ 144 ]}

Los investigadores han sometido manuscritos a revisión por pares antes de su publicación de diversas maneras desde el siglo XVIII. ^{[ 150 ] [ 151 ]} El objetivo principal de esta práctica es mejorar la relevancia y la precisión de las discusiones científicas. Aunque los expertos suelen criticar la revisión por pares por varias razones, el proceso todavía se considera a menudo el "estándar de oro" de la ciencia. ^{[ 152 ]} Sin embargo, en ocasiones, la revisión por pares aprueba estudios que posteriormente se encuentran erróneos y rara vez se descubren resultados engañosos o fraudulentos antes de la publicación. ^{[ 153 ] [ 154 ]} Por lo tanto, parece haber un elemento de discordia entre la ideología que subyace a la revisión por pares y la práctica de la misma. Al no comunicar eficazmente que la revisión por pares es imperfecta, el mensaje transmitido al público en general es que los estudios publicados en revistas revisadas por pares son "verdaderos" y que la revisión por pares protege la literatura de la ciencia defectuosa. Existen varias críticas bien establecidas a muchos elementos de la revisión por pares. ^{[ 155 ] [ 156 ] [ 157 ]} A continuación describimos casos del impacto más amplio que una revisión por pares inapropiada puede tener en la comprensión pública de la literatura científica.

Numerosos ejemplos en diversas áreas de la ciencia demuestran que los científicos sobrevaloraron la importancia de la revisión por pares para investigaciones cuestionables o manipuladas. Por ejemplo, quienes niegan el cambio climático han publicado estudios en la revista Energy and Environment , intentando desacreditar la investigación que demuestra cómo la actividad humana impacta el clima de la Tierra. Políticos estadounidenses que rechazan la ciencia establecida sobre el cambio climático han citado esta revista en varias ocasiones en discursos e informes. ^{[ 158 ]}

En ocasiones, la revisión por pares se ha expuesto como un proceso orquestado para obtener un resultado preconcebido. El New York Times tuvo acceso a documentos confidenciales de revisión por pares de estudios patrocinados por la Liga Nacional de Fútbol Americano (NFL) que se citaban como evidencia científica de que las lesiones cerebrales no causan daños a largo plazo a sus jugadores. ^{[ 159 ]} Durante el proceso de revisión por pares, los autores del estudio afirmaron que todos los jugadores de la NFL formaban parte del estudio, una afirmación que los periodistas descubrieron que era falsa tras examinar la base de datos utilizada para la investigación. Además, The Times señaló que la NFL intentó legitimar los métodos y conclusiones de los estudios citando un "proceso de revisión por pares riguroso y confidencial", a pesar de la evidencia de que algunos revisores parecían "desesperados" por impedir su publicación. Investigaciones recientes también han demostrado que la financiación generalizada de la industria para la investigación médica publicada a menudo no se declara y que tales conflictos de interés no se abordan adecuadamente mediante la revisión por pares. ^{[ 160 ] [ 161 ]} Es menos probable que se detecte un conflicto de interés en las revisiones doble ciego, ya que el revisor desconoce la identidad de los autores. ^{[ 162 ]}

Otro problema que la revisión por pares no detecta es la redacción fantasma , un proceso mediante el cual las empresas redactan artículos para académicos que luego los publican en revistas, a veces con pocos o ningún cambio. ^{[ 163 ]} Estos estudios pueden utilizarse con fines políticos, regulatorios y de marketing. En 2010, el Comité de Finanzas del Senado de los Estados Unidos publicó un informe que concluyó que esta práctica estaba muy extendida, que corrompía la literatura científica y aumentaba las tasas de prescripción. ^{[ 164 ]} Se han publicado artículos escritos por encargo en decenas de revistas, con la participación de profesores de varias universidades. ^{[ 165 ]}

Así como los expertos en un campo particular tienen una mejor comprensión del valor de los artículos publicados en su área, se considera que los científicos tienen una mejor comprensión del valor de los artículos publicados que el público general y ven la revisión por pares como un proceso humano, con fallas humanas, ^{[ 166 ]} y que "a pesar de sus limitaciones, la necesitamos. Es todo lo que tenemos, y es difícil imaginar cómo nos las arreglaríamos sin ella". ^{[ 167 ]} Pero estas sutilezas se pierden para el público general, que a menudo es inducido a pensar erróneamente que ser publicado en una revista con revisión por pares es el "estándar de oro" y puede equiparar erróneamente la investigación publicada con la verdad. ^{[ 166 ]} Por lo tanto, se debe tener más cuidado en cómo se comunica la revisión por pares, y los resultados de la investigación revisada por pares, a audiencias no especializadas; particularmente en un momento en el que están surgiendo una serie de cambios técnicos y una apreciación más profunda de las complejidades de la revisión por pares. ^{[ 168 ] [ 169 ] [ 170 ] [ 171 ]} Esto será necesario ya que el sistema de publicación académica tiene que afrontar problemas más amplios como las retractaciones ^{[ 154 ] [ 172 ] [ 173 ]} y las "crisis" de replicación o reproducibilidad . ^{[ 174 ] [ 175 ] [ 176 ]}

La revisión por pares se considera a menudo parte integral del discurso científico de una u otra forma. Se supone que su función de control es necesaria para mantener la calidad de la literatura científica ^{[ 177 ] [ 178 ]} y evitar el riesgo de resultados poco fiables, la incapacidad de distinguir la señal del ruido y la ralentización del progreso científico. ^{[ 179 ] [ 180 ]}

Las deficiencias de la revisión por pares han generado peticiones de un filtrado aún más riguroso y un mayor control. Un argumento común a favor de estas iniciativas es la creencia de que este filtro es necesario para mantener la integridad de la literatura científica. ^{[ 181 ] [ 182 ]}

Los llamamientos a una mayor supervisión tienen al menos dos implicaciones que son contrarias a la intuición de lo que se sabe que es verdadera erudición. ^{[ 166 ]}

1. La creencia de que los académicos son incapaces de evaluar la calidad del trabajo por sí mismos, que necesitan un filtro que les informe de lo que es bueno y lo que no lo es.
2. La creencia de que los académicos necesitan un "tutor" que se asegure de que están haciendo un buen trabajo.

Otros argumentan ^{[ 166 ]} que los autores, sobre todo, tienen un interés personal en la calidad de un trabajo en particular. Solo los autores podrían tener, como lo expresa Feynman (1974) ^{[ 183 ]} , ese «tipo adicional de integridad que va más allá de no mentir, esforzándose al máximo por demostrar que uno puede estar equivocado, y que se espera de un científico». En todo caso, el actual proceso de revisión por pares y el sistema académico podrían penalizar, o al menos no incentivar, dicha integridad.

En cambio, la credibilidad conferida por la etiqueta de "revisión por pares" podría disminuir lo que Feynman llama la cultura de la duda necesaria para que la ciencia opere un proceso de autocorrección y búsqueda de la verdad. ^{[ 184 ]} Los efectos de esto se pueden ver en la crisis de replicación en curso , los engaños y la indignación generalizada por la ineficacia del sistema actual. ^{[ 155 ] [ 150 ]} Es común pensar que una mayor supervisión es la respuesta, ya que los revisores por pares no carecen en absoluto de escepticismo. Pero el problema no es el escepticismo compartido por los pocos elegidos que determinan si un artículo pasa el filtro. Es la validación, y la consiguiente falta de escepticismo, que viene después. ^{[ 185 ]} Aquí, una vez más, una mayor supervisión solo aumenta la impresión de que la revisión por pares garantiza la calidad, disminuyendo así aún más la cultura de la duda y contrarrestando el espíritu de la investigación científica. ^{[ 186 ]}

La investigación de calidad —incluso algunos de nuestros descubrimientos científicos más fundamentales— se remonta a siglos atrás, mucho antes de que la revisión por pares adoptara su forma actual. [ ^{150 ] [ 187 ] [ 151 ] Cualquiera} que fuera la revisión por pares que existió hace siglos, adoptó una forma diferente a la que tiene en los tiempos modernos, sin la influencia de grandes empresas editoriales comerciales ni una cultura generalizada de publicar o perecer . ^{[ 187 ]} Aunque en su concepción inicial solía ser una tarea laboriosa y que consumía mucho tiempo, los investigadores asumieron la revisión por pares, no por obligación sino por el deber de mantener la integridad de su propia erudición. Lo lograron, en su mayor parte, sin la ayuda de revistas centralizadas, editores ni ningún proceso formalizado o institucionalizado. Los defensores de la tecnología moderna argumentan ^{[ 166 ]} que permite comunicarse instantáneamente con académicos de todo el mundo, facilita dichos intercambios académicos y restaura la revisión por pares a una forma académica más pura, como un discurso en el que los investigadores interactúan entre sí para aclarar, comprender y comunicar mejor sus ideas. ^{[ 169 ] [ 188 ]}  

Esta tecnología moderna incluye la publicación de resultados en servidores de preimpresión , el preregistro de estudios, la revisión por pares abierta y otras prácticas de ciencia abierta. ^{[ 175 ] [ 189 ] [ 190 ]} En todas estas iniciativas, el papel del control de acceso sigue siendo prominente, como si fuera una característica necesaria de toda comunicación académica, pero los críticos argumentan ^{[ 157 ]} que una implementación adecuada en el mundo real podría probar y refutar esta suposición; demostrar el deseo de los investigadores de obtener más de lo que las revistas tradicionales pueden ofrecer; mostrar que se puede confiar en que los investigadores realicen su propio control de calidad independientemente de la revisión vinculada a la revista. Jon Tennant también argumenta que la protesta por las ineficiencias de las revistas tradicionales se centra en su incapacidad para proporcionar un escrutinio suficientemente riguroso y en la subcontratación del pensamiento crítico a un proceso oculto y mal entendido. Por lo tanto, la suposición de que las revistas y la revisión por pares son necesarias para proteger la integridad científica parece socavar los fundamentos mismos de la investigación académica. ^{[ 166 ]}

Para comprobar la hipótesis de que el filtrado es realmente innecesario para el control de calidad, sería necesario rediseñar muchas de las prácticas de publicación tradicionales, reestructurar, si no disolver, los consejos editoriales y otorgar a los autores el control sobre la revisión por pares de su propio trabajo. Se considera que poner a los autores a cargo de su propia revisión por pares cumple una doble función. ^{[ 166 ]} Por un lado, elimina la concesión de calidad dentro del sistema tradicional, eliminando así el prestigio asociado al simple acto de publicar. Quizás paradójicamente, la eliminación de esta barrera podría resultar en un aumento de la calidad del trabajo publicado, ya que elimina el prestigio de publicar por el mero hecho de hacerlo. Por otro lado, los lectores saben que no hay filtro, por lo que deben interpretar todo lo que leen con una buena dosis de escepticismo, restaurando así naturalmente la cultura de la duda en la práctica científica. ^{[ 191 ] [ 192 ] [ 193 ]}

Además de las preocupaciones sobre la calidad del trabajo producido por investigadores bienintencionados, existe la inquietud de que un sistema verdaderamente abierto permita que la literatura se llene de basura y propaganda por parte de quienes tienen intereses creados en ciertos temas. Un contraargumento es que el modelo convencional de revisión por pares disminuye el sano escepticismo que caracteriza la investigación científica y, por lo tanto, confiere credibilidad a los intentos subversivos de infiltrarse en la literatura. ^{[ 166 ]} Permitir la publicación de dicha «basura» podría hacer que los artículos individuales sean menos fiables, pero fortalecer la literatura en su conjunto al fomentar una «cultura de la duda». ^{[ 191 ]}

La interposición de editores y revisores entre autores y lectores puede permitir que los intermediarios actúen como guardianes . ^{[ 194 ]} Algunos sociólogos de la ciencia argumentan que la revisión por pares hace que la capacidad de publicar sea susceptible al control de las élites y a los celos personales. ^{[ 195 ]} El proceso de revisión por pares a veces puede impedir el progreso y puede estar sesgado en contra de la novedad. ^{[ 17 ] [ 196 ]} Un análisis lingüístico de los informes de revisión sugiere que los revisores se centran en rechazar las solicitudes buscando puntos débiles, y no en encontrar las ideas innovadoras de alto riesgo/alta ganancia que puedan estar en la propuesta. ^{[ 197 ]} Los revisores tienden a ser especialmente críticos con las conclusiones que contradicen sus propias opiniones , ^{[ 198 ] [ 199 ]} y indulgentes con las que coinciden con ellas. Al mismo tiempo, es más probable que los científicos establecidos sean buscados como revisores que otros, particularmente por revistas/editoriales de alto prestigio. Como resultado, las ideas que armonizan con las de los expertos establecidos tienen más probabilidades de ser impresas y aparecer en revistas de prestigio que las iconoclastas o revolucionarias. Esto concuerda con las conocidas observaciones de Thomas Kuhn sobre las revoluciones científicas . ^{[ 200 ]} Se ha establecido un modelo teórico cuyas simulaciones implican que la revisión por pares y la financiación excesivamente competitiva de la investigación fomentan el monopolio de la opinión dominante. ^{[ 201 ]}

Las críticas a la revisión por pares anónima tradicional alegan que carece de rendición de cuentas, puede dar lugar a abusos por parte de los revisores y puede ser sesgada e inconsistente. ^{[ 4 ] [ 75 ] [ 202 ]}

También se han sugerido sesgos de género en la revisión por pares, donde los autores masculinos tienden a recibir un trato más favorable. ^{[ 203 ]} Un estudio de 2021 encontró, en algunos aspectos, sesgo a favor de las autoras y no halló evidencia de sesgo a favor de los autores masculinos. ^{[ 204 ] [ 205 ] [ 206 ]}

Se puede encontrar sesgo político en las evaluaciones de los revisores. ^{[ 207 ]}

La mayoría de las editoriales académicas no compensan económicamente a los revisores por su participación en el proceso de revisión por pares, lo cual ha sido criticado por la comunidad académica. ^{[ 208 ]} Si bien algunas editoriales han sostenido que no es económicamente viable pagar a los revisores, ^{[ 208 ]} algunas revistas han comenzado a pagarles a través de plataformas como Research Square cuando no pueden obtener revisiones gratuitas. Otras editoriales, como Advances.in, han hecho del pago a los revisores una parte inherente de su modelo de negocio. ^{[ 209 ]}

Algunos críticos de las revistas de acceso abierto (OA) han argumentado que, en comparación con las revistas tradicionales de suscripción, las revistas de acceso abierto podrían utilizar prácticas de revisión por pares menos formales o de menor calidad y, como consecuencia, la calidad del trabajo científico en dichas revistas se vería afectada. ^{[ 210 ]} En un estudio publicado en 2012, esta hipótesis se puso a prueba evaluando el "impacto" relativo (utilizando el número de citas) de los artículos publicados en revistas de acceso abierto y de suscripción, sobre la base de que los miembros de la comunidad científica presumiblemente serían menos propensos a citar trabajos de menor calidad, y que el número de citas podría, por lo tanto, actuar como un indicador de si el formato de la revista realmente afectaba o no a la revisión por pares y a la calidad de la investigación publicada. ^{[ 211 ]} Este estudio concluyó finalmente que "las revistas de acceso abierto indexadas en Web of Science y/o Scopus se están acercando al mismo impacto científico y calidad que las revistas de suscripción, particularmente en biomedicina y para las revistas financiadas por cargos de procesamiento de artículos", y los autores argumentan en consecuencia que "no hay razón para que los autores no elijan publicar en revistas de acceso abierto solo por la etiqueta 'OA'.

La revisión por pares falla cuando un artículo revisado contiene errores fundamentales que socavan al menos una de sus conclusiones principales y que podrían haber sido identificados por revisores más cuidadosos. Muchas revistas no tienen un procedimiento para abordar los fallos de la revisión por pares más allá de la publicación de cartas al editor. ^{[ 212 ]} La revisión por pares en las revistas científicas asume que el artículo revisado ha sido preparado honestamente. El proceso detecta ocasionalmente el fraude, pero no está diseñado para hacerlo. ^{[ 213 ]} Cuando la revisión por pares falla y se publica un artículo con datos fraudulentos o irreproducibles, el artículo puede ser retractado . Un experimento de 1998 sobre la revisión por pares con un manuscrito ficticio encontró que los revisores no detectaron algunos errores del manuscrito y la mayoría de los revisores pueden no notar que las conclusiones del artículo no están respaldadas por sus resultados. ^{[ 214 ]}

Otros intentos de reformar el proceso de revisión por pares se originan, entre otros, en los campos de la metaciencia y la periodología . Los reformadores buscan aumentar la fiabilidad y la eficiencia del proceso de revisión por pares y proporcionarle una base científica. ^{[ 233 ] [ 234 ] [ 235 ]} Se han puesto a prueba alternativas a las prácticas comunes de revisión por pares, ^{[ 236 ] [ 237 ]} en particular la revisión por pares abierta , donde los comentarios son visibles para los lectores, generalmente con la identidad de los revisores también revelada, por ejemplo, F1000 , eLife , BMJ y BioMed Central . ^{[ 238 ]} En el caso de eLife, la revisión por pares se utiliza no para decidir si se publica un artículo, sino para evaluar su importancia y fiabilidad. ^{[ 239 ]} Asimismo, el reconocimiento y la captación de revisores por pares sigue siendo un tema importante en el campo de la publicación académica. ^{[ 240 ]}