Prueba de la presencia de sesgo de autoría en la revisión por pares

No existe consenso entre las revistas biomédicas sobre el tema del cegamiento durante el proceso de revisión por pares. Algunas revistas intentan eliminar todos los identificadores de autoría de los posibles manuscritos antes de entregarlos a los árbitros para su revisión por pares, mientras que otras prefieren dejar la autoría transparente. Aunque la revisión por pares sigue siendo el estándar de oro para la evaluación de manuscritos, la falta de un proceso de cegamiento estandarizado entre las oficinas editoriales puede ser una fuente de sesgo de publicación y hacer que las comparaciones de manuscritos publicados en diferentes revistas sean más difíciles de interpretar.

Los defensores de un sistema de revisión por pares a ciegas creen que el conocimiento de la autoría puede dejar a los árbitros vulnerables a sesgos sobre la investigación previa, la experiencia percibida, la institución, la nacionalidad o el género de esos autores. Esto aleja el juicio de los méritos del trabajo científico e introduce nociones preconcebidas sobre la identidad y los antecedentes del autor en el proceso de revisión. Por el contrario, los partidarios de la autoría transparente argumentan que el conocimiento de la identidad del autor facilita que el árbitro proporcione críticas más apropiadas. La identificación abierta del autor permite a los árbitros comparar el manuscrito actual con trabajos publicados previamente por el autor y reconocer o identificar conflictos de interés potencialmente importantes.

Por lo tanto, los investigadores proponen un estudio experimental para abordar la cuestión de si el cegamiento afecta la probabilidad de que un revisor recomiende la aceptación de un estudio revisado por pares. Los investigadores planean trabajar en asociación con una revista para que un gran número de revisores revisen un manuscrito inventado; los autores enviarán este manuscrito de "prueba" ya sea en formato ciego (los nombres de los autores/instituciones no se muestran a los revisores) o en formato abierto, con los nombres de varios autores reconocidos y respetados y sus instituciones visibles para los revisores pares . Por lo demás, los manuscritos serán idénticos.

La revista asociada, Clinical Orthopaedics and Related Research, permite la revisión por pares abierta y ciega, empleando regularmente ambos enfoques (los autores pueden elegir qué tipo de revisión prefieren cuando envían a CORR), por lo que es poco probable que los revisores se sientan preocupados al ver una manuscrito en cualquiera de los dos formatos.

El objetivo principal de este estudio es determinar si la identificación de un manuscrito con un grupo destacado de autores (autoría abierta) afectará la probabilidad de que los revisores recomienden el manuscrito para su publicación.

Además, los investigadores planean colocar deliberadamente varios errores en el manuscrito y contar con qué frecuencia los revisores detectan estos errores, para determinar si los revisores leen el trabajo de autores destacados de manera menos crítica.

Los investigadores también compararán la calificación de los revisores de la sección de métodos (idénticos), para determinar si la identificación de un manuscrito con autores prominentes da como resultado calificaciones más altas de rigor metodológico.

Este estudio pone a prueba las siguientes hipótesis específicas:

1. La visibilidad de nombres de autores e instituciones destacados en los manuscritos de prueba se asociará con una mayor probabilidad de que los revisores homólogos recomienden el manuscrito para su publicación. (criterio principal de valoración del estudio)
2. La visibilidad de los nombres de autores e instituciones destacados se asociará con una menor probabilidad de que los revisores detecten "errores" colocados a propósito en el manuscrito experimental.
3. La visibilidad de los nombres de autores e instituciones destacados se asociará con mayores puntajes otorgados por los revisores para la sección de métodos, a pesar de que las secciones de métodos del manuscrito experimental serán idénticas.

NOTA:

Todos los elementos del protocolo de investigación fueron aprobados por el Comité de Revisión de Sujetos Humanos de la Universidad de Washington, incluido el diseño de exclusión voluntaria del estudio para el reclutamiento de revisores, ya que se consideró importante que los revisores no supieran que el artículo que evaluaron era parte de un estudio. Para minimizar el potencial de daño, los autores eligieron como tema del manuscrito de prueba fabricado una intervención que no podía ponerse en práctica de inmediato en los propios centros de los revisores (un proceso particular de capacitación en equipo en la sala de operaciones). Además, se informó a los revisores participantes qué artículo era el manuscrito de prueba al finalizar la recopilación de datos, de modo que no siguieran este tipo de capacitación del equipo en función de los resultados del estudio fabricado.

Para reducir el riesgo de un efecto de observador (Hawthorne), era importante minimizar la probabilidad de que los revisores participantes se enteraran del estudio mientras estaba en progreso. Con este fin, los investigadores optaron por no registrar previamente el estudio en un registro de ensayos.