Test per la presenza di bias di paternità nella revisione tra pari

Non esiste consenso tra le riviste biomediche sul tema dell'accecamento durante il processo di revisione tra pari. Alcune riviste tentano di rimuovere tutti gli identificatori di paternità da potenziali manoscritti prima di consegnarli ai referee per la revisione tra pari, mentre altri preferiscono lasciare trasparente la paternità. Sebbene la revisione tra pari rimanga il gold standard per la valutazione dei manoscritti, la mancanza di un processo di blinding standardizzato tra gli uffici editoriali può essere una fonte di bias di pubblicazione e rendere più difficile l'interpretazione dei confronti tra manoscritti pubblicati su riviste diverse.

I fautori di un sistema di revisione tra pari in cieco ritengono che la conoscenza della paternità possa lasciare gli arbitri vulnerabili a pregiudizi sulla ricerca precedente di quegli autori, sulla competenza percepita, sull'istituzione, sulla nazionalità o sul genere. Ciò allontana il giudizio dal merito del lavoro scientifico e introduce nozioni preconcette sull'identità e il background dell'autore nel processo di revisione. Al contrario, i sostenitori della paternità trasparente sostengono che la conoscenza dell'identità dell'autore rende più facile per l'arbitro fornire critiche più appropriate. L'identificazione aperta dell'autore consente agli arbitri di confrontare il manoscritto corrente con il lavoro precedentemente pubblicato dall'autore e di riconoscere o identificare conflitti di interesse potenzialmente importanti.

I ricercatori propongono quindi uno studio sperimentale per affrontare la questione se l'accecamento influisca sulla probabilità che un revisore raccomandi l'accettazione di uno studio sottoposto a revisione paritaria. Gli investigatori hanno in programma di lavorare in collaborazione con una rivista per far revisionare tra pari un manoscritto fabbricato da un gran numero di revisori; gli autori invieranno questo manoscritto "di prova" o in forma cieca (nomi degli autori/istituzioni non mostrati ai revisori) o in forma aperta, con i nomi di diversi autori noti e apprezzati e delle loro istituzioni visibili ai revisori tra pari . I manoscritti saranno altrimenti identici.

La rivista partner, Clinical Orthopaedics and Related Research, consente revisioni paritarie sia aperte che in cieco, impiegando regolarmente entrambi gli approcci (gli autori possono scegliere il tipo di revisione che preferiscono quando si sottopongono a CORR), e quindi è improbabile che i revisori siano turbati vedendo un manoscritto in entrambi i formati.

L'obiettivo principale di questo studio è determinare se l'identificazione di un manoscritto con un importante gruppo di autori (paternità aperta) influenzerà la probabilità che i revisori raccomandino il manoscritto per la pubblicazione.

Inoltre, gli investigatori intendono inserire intenzionalmente diversi errori nel manoscritto e calcolare la frequenza con cui i revisori rilevano questi errori, per determinare se i revisori leggono il lavoro di autori di spicco in modo meno critico.

I ricercatori confronteranno anche la valutazione dei revisori della sezione dei metodi (identici), per determinare se l'identificazione di un manoscritto con autori di spicco si traduce in voti più alti dei revisori per rigore metodologico.

Questo studio verifica le seguenti ipotesi specifiche:

1. La visibilità di nomi di autori e istituzioni di spicco sui manoscritti di prova sarà associata a una maggiore probabilità che il manoscritto venga raccomandato per la pubblicazione da revisori tra pari. (Endpoint primario dello studio)
2. La visibilità di nomi di autori e istituzioni di spicco sarà associata a una minore probabilità che i revisori rilevino "errori" appositamente inseriti nel manoscritto sperimentale.
3. La visibilità di nomi di autori e istituzioni di spicco sarà associata all'aumento dei punteggi assegnati dai revisori per la sezione metodi, nonostante il fatto che le sezioni metodi del manoscritto sperimentale saranno identiche.

NOTA:

Tutti gli elementi del protocollo di ricerca sono stati approvati dal Comitato di revisione dei soggetti umani dell'Università di Washington, compreso il progetto di esclusione dello studio per il reclutamento dei revisori, poiché era considerato importante che i revisori non sapessero che l'articolo che hanno valutato faceva parte di uno studio. Per ridurre al minimo il potenziale danno, gli autori hanno scelto come argomento del manoscritto del test fabbricato un intervento che non poteva essere messo immediatamente in pratica presso i centri dei revisori (un particolare processo di formazione del team in sala operatoria). Inoltre, i revisori partecipanti sono stati informati su quale documento fosse il manoscritto del test al completamento della raccolta dei dati, in modo che non proseguissero questo tipo di formazione di gruppo basata sui risultati dello studio fabbricato.

Per ridurre il rischio di un effetto osservatore (Hawthorne), era importante ridurre al minimo la probabilità che i revisori partecipanti venissero a conoscenza dello studio mentre era in corso. A tal fine, i ricercatori hanno scelto di non pre-registrare lo studio in un registro di sperimentazione.