Tester för förekomsten av författarskapsbias i peer review

Det finns ingen konsensus bland biomedicinska tidskrifter om ämnet blindning under peer review-processen. Vissa tidskrifter försöker ta bort alla identifierare för författarskap från potentiella manuskript innan de levereras till referenter för referentgranskning medan andra föredrar att lämna författarskapet öppet. Även om peer review fortfarande är guldstandarden för manuskriptutvärdering, kan avsaknaden av en standardiserad bländande process mellan redaktioner vara en källa till publikationsbias och göra jämförelser av manuskript publicerade i olika tidskrifter svårare att tolka.

Förespråkare av ett förblindat peer review-system tror att kunskap om författarskap kan göra domare sårbara för fördomar om dessa författares tidigare forskning, upplevda expertis, institution, nationalitet eller kön. Detta flyttar omdömet bort från det vetenskapliga arbetets förtjänster och introducerar förutfattade meningar om författarens identitet och bakgrund i granskningen. Omvänt hävdar anhängare av transparent författarskap att kunskap om författaridentitet gör det lättare för referenten att ge mer lämplig kritik. Öppen författaridentifiering gör det möjligt för referenter att jämföra det aktuella manuskriptet med tidigare publicerat arbete av författaren, och att känna igen eller identifiera potentiellt viktiga intressekonflikter.

Utredarna föreslår därför en experimentell studie för att ta itu med frågan om huruvida blindning påverkar sannolikheten för att en granskare kommer att rekommendera acceptans av en studie som peer reviewed. Utredarna planerar att arbeta i partnerskap med en tidskrift för att få ett påhittat manuskript att granskas av ett stort antal granskare; författarna kommer att skicka ut detta "test"-manuskript antingen i förblindad form (författarnas namn/institutioner visas inte för granskare) eller i öppen form, med namnen på flera välkända, välrenommerade författare och deras institutioner synliga för referentbedömare . I övrigt kommer manuskripten att vara identiska.

Samarbetstidskriften, Clinical Orthopetics and Related Research tillåter både öppen och blind peer review, och använder regelbundet båda metoderna (författare kan välja vilken typ av recension de föredrar när de skickar in till CORR), och det är därför osannolikt att granskarna blir besvärade av att se en manuskript i båda formaten.

Det primära målet med denna studie är att avgöra om identifieringen av ett manuskript med en framstående grupp av författare (öppet författarskap) kommer att påverka sannolikheten att granskare kommer att rekommendera manuskriptet för publicering.

Dessutom planerar utredarna att medvetet placera flera fel i manuskriptet, och räkna upp hur ofta granskare upptäcker dessa misstag, för att avgöra om granskare läser framstående författares arbete mindre kritiskt.

Utredarna kommer också att jämföra granskarnas betygsättning av avsnittet (identiska) metoder för att avgöra om identifieringen av ett manuskript med framstående författare resulterar i högre granskarbetyg för metodisk rigor.

Denna studie testar följande specifika hypoteser:

1. Synligheten av framstående författares namn och institutioner på testmanuskript kommer att förknippas med ökad sannolikhet att manuskriptet kommer att rekommenderas för publicering av peer reviewers. (Primärt studieslutpunkt)
2. Synligheten av framstående författares namn och institutioner kommer att förknippas med en minskad sannolikhet för att avsiktligt placerade "fel" i experimentmanuskriptet kommer att upptäckas av granskarna.
3. Synligheten av framstående författares namn och institutioner kommer att förknippas med ökade poäng som ges av granskare för metoddelen, trots att metodavsnitten i experimentmanuskriptet kommer att vara identiska.

NOTERA:

Alla delar av forskningsprotokollet godkändes av University of Washington Human Subjects Review Committee, inklusive studiens opt-out-design för rekrytering av granskare, eftersom det ansågs viktigt att granskarna inte visste att uppsatsen de utvärderade var en del av en studie. För att minimera risken för skada valde författarna som ämne för det tillverkade testmanuskriptet en intervention som inte omedelbart kunde omsättas i praktiken på granskarnas egna centra (en speciell gruppträningsprocess i operationssalen). Dessutom informerades deltagande granskare om vilket papper som var testmanuskriptet vid slutförandet av datainsamlingen, så att de inte fortsatte med denna typ av teamträning baserat på resultaten av den tillverkade studien.

För att minska risken för en observatörseffekt (Hawthorne) var det viktigt att minimera sannolikheten för att deltagande granskare skulle få reda på studien medan den pågick. För detta ändamål valde utredarna att inte förregistrera studien i ett försöksregister.