Testando a presença de viés de autoria na revisão por pares

Não existe consenso entre os periódicos biomédicos sobre o tema do cegamento durante o processo de revisão por pares. Alguns periódicos tentam remover todos os identificadores de autoria de manuscritos em potencial antes de entregá-los aos pareceristas para revisão por pares, enquanto outros preferem deixar a autoria transparente. Embora a revisão por pares continue sendo o padrão-ouro para avaliação de manuscritos, a falta de um processo de blindagem padronizado entre os escritórios editoriais pode ser uma fonte de viés de publicação e dificultar a interpretação de comparações de manuscritos publicados em diferentes periódicos.

Os defensores de um sistema cego de revisão por pares acreditam que o conhecimento da autoria pode deixar os pareceristas vulneráveis ​​a preconceitos sobre pesquisas anteriores desses autores, experiência percebida, instituição, nacionalidade ou gênero. Isso afasta o julgamento dos méritos do trabalho científico e introduz noções pré-concebidas sobre a identidade e o histórico do autor no processo de revisão. Por outro lado, os defensores da autoria transparente argumentam que o conhecimento da identidade do autor torna mais fácil para o árbitro fornecer críticas mais apropriadas. A identificação aberta do autor permite que os revisores comparem o manuscrito atual com o trabalho publicado anteriormente pelo autor e reconheçam ou identifiquem conflitos de interesse potencialmente importantes.

Os investigadores, portanto, propõem um estudo experimental para abordar a questão de saber se o cegamento afeta a probabilidade de um revisor recomendar a aceitação de um estudo que está sendo revisado por pares. Os investigadores planejam trabalhar em parceria com uma revista para que um manuscrito forjado seja revisado por um grande número de revisores; os autores enviarão este manuscrito de "teste" de forma cega (nomes dos autores/instituições não mostrados aos revisores) ou em forma aberta, com os nomes de vários autores bem conhecidos e conceituados e suas instituições visíveis para revisores pares . Caso contrário, os manuscritos serão idênticos.

A revista parceira, Clinical Orthopaedics and Related Research, permite a revisão por pares aberta e cega, empregando regularmente ambas as abordagens (os autores podem escolher que tipo de revisão preferem quando enviam ao CORR) e, portanto, é improvável que os revisores se preocupem ao ver um manuscrito em qualquer formato.

O objetivo principal deste estudo é determinar se a identificação de um manuscrito com um grupo proeminente de autores (autoria aberta) afetará a probabilidade de os revisores recomendarem o manuscrito para publicação.

Além disso, os investigadores planejam colocar propositalmente vários erros no manuscrito e calcular a frequência com que os revisores detectam esses erros, para determinar se os revisores leem o trabalho de autores proeminentes de forma menos crítica.

Os investigadores também compararão a classificação dos revisores da seção de métodos (idênticos), para determinar se a identificação de um manuscrito com autores proeminentes resulta em notas mais altas do revisor para rigor metodológico.

Este estudo testa as seguintes hipóteses específicas:

1. A visibilidade de nomes de autores proeminentes e instituições em manuscritos de teste estará associada a uma maior probabilidade de que o manuscrito seja recomendado para publicação por revisores pares. (Ponto Final do Estudo Primário)
2. A visibilidade de nomes de autores e instituições proeminentes estará associada a uma menor probabilidade de que "erros" propositalmente colocados no manuscrito experimental sejam detectados pelos revisores.
3. A visibilidade de nomes de autores e instituições proeminentes estará associada a pontuações mais altas dadas pelos revisores para a seção de métodos, apesar do fato de que as seções de métodos do manuscrito experimental serão idênticas.

OBSERVAÇÃO:

Todos os elementos do protocolo de pesquisa foram aprovados pelo Comitê de Revisão de Assuntos Humanos da Universidade de Washington, incluindo o design de exclusão do estudo para recrutamento de revisores, uma vez que foi considerado importante que os revisores não soubessem que o artigo que avaliaram fazia parte de um estudo. Para minimizar o potencial de danos, os autores escolheram como tema do manuscrito de teste fabricado uma intervenção que não poderia ser imediatamente colocada em prática nos próprios centros dos revisores (um processo específico de treinamento de equipe na sala de cirurgia). Além disso, os revisores participantes foram informados sobre qual artigo era o manuscrito de teste após a conclusão da coleta de dados, para que não buscassem esse tipo de treinamento de equipe com base nos resultados do estudo fabricado.

Para reduzir o risco de um efeito de observador (Hawthorne), era importante minimizar a probabilidade de que os revisores participantes tomassem conhecimento do estudo enquanto ele estava em andamento. Para esse fim, os investigadores optaram por não pré-registrar o estudo em um registro de estudo.