Testen op de aanwezigheid van auteurschapsbias in collegiale toetsing

Er bestaat geen consensus onder biomedische tijdschriften over het onderwerp blindering tijdens het peer review-proces. Sommige tijdschriften proberen alle identificatoren van auteurschap uit potentiële manuscripten te verwijderen voordat ze aan referenten worden bezorgd voor collegiale toetsing, terwijl andere er de voorkeur aan geven het auteurschap transparant te laten. Hoewel collegiale toetsing de gouden standaard blijft voor de beoordeling van manuscripten, kan het ontbreken van een gestandaardiseerd verblindingsproces tussen redacties een bron zijn van publicatiebias en het moeilijker maken om vergelijkingen van manuscripten die in verschillende tijdschriften zijn gepubliceerd, te interpreteren.

Voorstanders van een geblindeerd peer review-systeem zijn van mening dat kennis van auteurschap referenten kwetsbaar kan maken voor vooroordelen over eerder onderzoek, waargenomen expertise, instelling, nationaliteit of geslacht van die auteurs. Dit verschuift het oordeel weg van de verdiensten van het wetenschappelijke werk en introduceert vooropgezette ideeën over de identiteit en achtergrond van de auteur in het beoordelingsproces. Omgekeerd beweren voorstanders van transparant auteurschap dat kennis van de identiteit van de auteur het voor de scheidsrechter gemakkelijker maakt om meer gepaste kritiek te geven. Met open auteursidentificatie kunnen referenten het huidige manuscript vergelijken met eerder gepubliceerd werk van de auteur, en mogelijk belangrijke belangenconflicten herkennen of identificeren.

De onderzoekers stellen daarom een ​​experimenteel onderzoek voor om de vraag te beantwoorden of verblinding van invloed is op de waarschijnlijkheid dat een beoordelaar acceptatie van een door vakgenoten beoordeeld onderzoek zal aanbevelen. De onderzoekers zijn van plan samen te werken met een tijdschrift om een ​​gefabriceerd manuscript door een groot aantal reviewers te laten beoordelen door vakgenoten; de auteurs sturen dit "test"-manuscript ofwel in geblindeerde vorm (namen van auteurs/instellingen niet getoond aan reviewers) of in open vorm, met de namen van verschillende bekende, hoog aangeschreven auteurs en hun instellingen zichtbaar voor peer reviewers . De manuscripten zullen verder identiek zijn.

Het samenwerkende tijdschrift Clinical Orthopaedics and Related Research maakt zowel open als geblindeerde collegiale toetsing mogelijk, waarbij regelmatig beide benaderingen worden gebruikt (auteurs kunnen kiezen aan welk soort recensie ze de voorkeur geven wanneer ze zich bij CORR aanmelden), en dus zullen de recensenten waarschijnlijk geen last hebben van een manuscript in elk formaat.

Het primaire doel van dit onderzoek is om te bepalen of de identificatie van een manuscript met een prominente groep auteurs (open auteurschap) invloed heeft op de waarschijnlijkheid dat recensenten het manuscript aanbevelen voor publicatie.

Daarnaast zijn de onderzoekers van plan om met opzet verschillende fouten in het manuscript te plaatsen en te tellen hoe vaak recensenten deze fouten ontdekken, om te bepalen of recensenten het werk van prominente auteurs minder kritisch lezen.

De onderzoekers zullen ook de beoordeling van de reviewers van de (identieke) methodensectie vergelijken, om te bepalen of de identificatie van een manuscript met prominente auteurs resulteert in hogere reviewer-scores voor methodologische nauwkeurigheid.

Deze studie test de volgende specifieke hypothesen:

1. De zichtbaarheid van prominente auteursnamen en instellingen op testmanuscripten wordt in verband gebracht met een grotere kans dat het manuscript door peer reviewers wordt aanbevolen voor publicatie. (Primair onderzoekseindpunt)
2. De zichtbaarheid van prominente auteursnamen en instellingen wordt geassocieerd met een verminderde kans dat doelbewust geplaatste "fouten" in het experimentele manuscript door de recensenten worden ontdekt.
3. De zichtbaarheid van prominente auteursnamen en instellingen zal worden geassocieerd met hogere scores die reviewers geven voor de methodensectie, ondanks het feit dat de methodensecties van het experimentele manuscript identiek zullen zijn.

OPMERKING:

Alle elementen van het onderzoeksprotocol werden goedgekeurd door de Human Subjects Review Committee van de Universiteit van Washington, inclusief het opt-out-ontwerp van de studie voor rekrutering van recensenten, aangezien het belangrijk werd geacht dat recensenten niet wisten dat het artikel dat ze evalueerden deel uitmaakte van een studie. Om de kans op schade tot een minimum te beperken, kozen de auteurs als onderwerp van het gefabriceerde testmanuscript een interventie die niet onmiddellijk in de praktijk kon worden gebracht in de eigen centra van de beoordelaars (een bepaald teamtrainingsproces in de operatiekamer). Bovendien werden de deelnemende beoordelaars geïnformeerd welk artikel het testmanuscript was na voltooiing van de gegevensverzameling, zodat ze dit soort teamtraining niet volgden op basis van de resultaten van het verzonnen onderzoek.

Om het risico op een waarnemerseffect (Hawthorne-effect) te verkleinen, was het belangrijk om de kans te minimaliseren dat deelnemende beoordelaars op de hoogte zouden komen van het onderzoek terwijl het aan de gang was. Hiertoe hebben de onderzoekers ervoor gekozen om de studie niet vooraf te registreren in een trial register.