Triplo mascheramento contro doppio mascheramento: una sperimentazione di pubblicazione scientifica nella sanità pubblica (TripleMasking)

Scopo:

Determinare se mascherare (cioè, triplo mascheramento: redattori, autori, revisori) o meno (cioè, doppio mascheramento: autori, revisori) l'identità, l'anzianità, il genere, la razza, l'etnia e le istituzioni degli autori e dei revisori agli editori porta ad una percentuale maggiore di manoscritti accettati rispetto alla revisione a doppio mascheramento. Inoltre, condurremo analisi esplorative per determinare se le differenze sono legate all'identità, all'anzianità, al genere, alla razza, all'etnia e alle istituzioni degli autori e dei revisori.

Disegno dello studio: studio di superiorità a due gruppi, parallelo, con allocazione 1:1

Contesto dello studio: la sperimentazione si svolgerà esclusivamente presso l'American Journal of Public Health in veste virtuale. Tutti gli invii saranno elettronici tramite il responsabile editoriale (https://www.editorialmanager.com/ajph/default2.aspx). I manoscritti idonei nel processo editoriale in cieco verranno mascherati elettronicamente prima di essere inseriti nella sperimentazione dall'assistente editoriale, che inserirà anche tutti i manoscritti nelle cartelle Dropbox affinché gli editori possano accedervi. Il questionario che verrà inviato a tutti gli autori, revisori ed editori è ospitato in Survey Monkey e verrà somministrato tramite e-mail e/o messaggi di testo da qualcuno esterno allo studio.

Inclusione: tutti i nuovi contributi idonei (ricerche, appunti dal campo, editoriali non commissionati, saggi analitici, revisioni sistematiche) per il numero regolare e i supplementi dal 5 settembre 2023 al 1 marzo 2024.

Esclusioni: editoriali commissionati, recensioni di libri, lettere all'editore, editoriali sulla salute pubblica di conseguenza, scelta dell'editore e ripresentazioni

Procedura di randomizzazione: assegnazione 1:1 degli articoli idonei al processo triplo mascherato o normale nell'ordine di invio, dopo l'esclusione degli articoli non idonei da parte dell'assistente editoriale.

Generazione pianificata: randomizzazione, stratificata per tre tipi di articoli (ad esempio, articoli di ricerca, saggio analitico, editoriale e note dal campo), in blocchi di dimensioni casuali per bilanciare gli articoli per tipo nel tempo e per nascondere l'ordine di assegnazione.

Amministrazione/implementazione: l'assistente editoriale assegna gli invii seguendo gli ordini di assegnazione generati dal computer per ciascuno dei tre tipi di articolo.

Titoli di mascheramento: ai redattori sarà vietato l'accesso alla Direzione Editoriale per tutta la durata del progetto. Inoltre, poiché gli articoli non verranno assegnati agli editori, questi non potranno vedere nulla dai loro account immediati. Ciò dovrebbe impedire loro di accedere alle informazioni mascherate e preservare l'integrità del progetto. Gli editori potranno cercare revisori con competenze specifiche da una versione nominativa esterna e pulita del database del responsabile editoriale. Non sapranno però chi, tra i revisori selezionati, ha accettato l'invito e ha scritto la recensione. In questo senso la paternità delle recensioni sarà mascherata all'editore.

Procedure:

1. Questionario: tutti gli autori di nuove proposte idonee riceveranno un'e-mail da un assistente di ricerca esterno allo studio che spiegherà lo studio in corso. L'e-mail li inviterà a compilare un breve questionario facoltativo Survey Monkey chiedendo età, sesso, razza, etnia, posizione professionale e ubicazione dell'istituto. I dati del questionario verranno raccolti in un database autonomo, gestito dall'assistente di ricerca. Si prevede che il valore mancante sia equamente distribuito in entrambi i bracci dello studio. Tuttavia, per l'analisi secondaria potrebbero essere correlati al risultato. Lo stesso questionario verrà inviato ma una sola volta alla redazione.

Risultato primario: differenza nella percentuale di manoscritti presentati entro la finestra di sei mesi che vengono accettati per la pubblicazione (vale a dire, non respinti in nessuna fase); differenza di rischio, non corretta

Risultato secondario: differenza nella percentuale di manoscritti presentati entro la finestra di sei mesi che vengono inviati per la revisione tra pari (ovvero, non respinti); differenza di rischio, non corretta

Proporzione accettata nel gruppo in doppio mascheramento: ~10% Differenza clinicamente significativa: 5% Quadro: Superiorità N= 1500 (750 manoscritti in ciascun gruppo), 80% di capacità di rilevare una differenza del 4,8% (RR=1,48) nel tasso di accettazione con errore di tipo I del 5% per un test bilaterale. Ciò si traduce in un tasso di accettazione del 14,8% per il triplo=mascherato. Inoltre, si prevede che lo studio abbia una potenza dell’84% nel rilevare una differenza del 5% (RR=1,5), e potenza del 90% per rilevare una differenza del 5,5% (RR=1,55) pur rimanendo un errore di tipo I del 5% per un test bilaterale.

Il potere statistico di rilevare le differenze se esistono in sottogruppi definiti dal tipo di articolo o dall'identità degli autori sarà molto ridotto a causa del numero limitato di articoli. Si prevede che la proporzione di articoli con autori diversi non supererà un terzo delle proposte in ciascun gruppo.

Comitato etico Il protocollo è stato esentato dal comitato di revisione istituzionale dall'IRB del Queens College CUNY, dove il redattore capo e PI della sovvenzione di sostegno ha il suo incarico principale (Appendice B).