Triple-masking v Double-masking: a Trial of Scientific Publication in Public Health (TripleMasking)

Mål:

For å avgjøre om maskering (dvs. trippelmasket: redaktører, forfattere, anmeldere) eller ikke (dvs. dobbeltmasket: forfattere, anmeldere) identitet, ansiennitet, kjønn, rase, etnisitet og institusjoner til forfatterne og anmelderne til redaksjonen fører til en større andel aksepterte manuskripter sammenlignet med dobbeltmasket anmeldelse. I tillegg vil vi gjennomføre utforskende analyser for å finne ut om forskjellene er relatert til identitet, ansiennitet, kjønn, rase, etnisitet og institusjoner til forfatterne og anmelderne.

Prøvedesign: to grupper, parallell, overlegenhetsforsøk med 1:1 tildeling

Studiemiljø: Forsøket vil utelukkende finne sted ved American Journal of Public Health i en virtuell kapasitet. Alle innsendinger vil være elektroniske via den redaksjonelle lederen (https://www.editorialmanager.com/ajph/default2.aspx). Kvalifiserte manuskripter i den blindede redaksjonelle prosessarmen vil maskeres elektronisk før de legges inn i utprøvingen av redaksjonsassistenten, som også vil plassere alle manuskripter i Dropbox-mapper for å få tilgang til redaktørene. Spørreskjemaet som vil bli sendt til alle forfattere, anmeldere og redaktører ligger i Survey Monkey og vil bli administrert via e-post og/eller tekstmeldinger av noen utenfor forsøket.

Inkluderinger: Alle kvalifiserte, nye bidrag (forskning, notater fra feltet, ikke-oppdragsredaksjoner, analytiske essays, systematiske oversikter) for den vanlige utgaven og tillegg fra 5. september 2023 til 1. mars 2024.

Ekskluderinger: Oppdragsredaksjoner, bokanmeldelser, Brev til redaktøren, Public Health of Consequence-redaksjoner, Editor's Choice og nyinnsendinger

Randomiseringsprosedyre: 1:1 tildeling av kvalifiserte artikler til enten trippelmasket eller vanlig prosess i innleveringsrekkefølgen, etter ekskludering av ikke-kvalifiserte bidrag fra redaksjonsassistenten.

Planlagt generering: Randomisering, stratifisert etter tre artikkeltyper (dvs. forskningsartikler, analytisk essay, redaksjonelle og notater fra felten), etter blokker med tilfeldige størrelser for å balansere artikler etter type over tid, og for å skjule tildelingsrekkefølge.

Administrasjon/implementering: Redaksjonsassistent tildeler innleveringene etter datamaskingenererte tildelingsordrer for hver av de tre artikkeltypene.

Maskering av verdipapirer: Redaktører vil være begrenset fra å få tilgang til den redaksjonelle lederen så lenge prosjektet varer. I tillegg, siden artikler ikke vil bli tildelt redaktører, vil de ikke kunne se noe fra sine umiddelbare kontoer. Dette bør blokkere dem fra den maskerte informasjonen og bevare integriteten til prosjektet. Redaktører vil kunne søke etter anmeldere med spesifikk ekspertise fra en ekstern, renset nominativ versjon av Editorial Manager-databasen. De vil imidlertid ikke vite hvem fra de utvalgte anmelderne som godtok invitasjonen og skrev anmeldelsen. I denne forstand vil anmeldelsers forfatterskap være maskert for redaktøren.

Prosedyrer:

1. Spørreskjema: Alle forfattere av nye, kvalifiserte innsendinger vil motta en e-post fra en forskningsassistent eksternt til utprøvingen som forklarer den pågående utprøvingen. E-posten vil invitere dem til å fylle ut et valgfritt, kort, Survey Monkey-spørreskjema som ber om alder, kjønn, rase, etnisitet, karrierestilling og institusjonsplassering. Spørreskjemadataene vil bli samlet inn i en frittstående database, håndtert av forskningsassistenten. Manglende verdi forventes å være likt fordelt i begge deler av studien. For sekundæranalyse kan de imidlertid være korrelert med resultatet. Det samme spørreskjemaet vil bli sendt, men kun én gang til redaksjonen.

Primært resultat: Forskjell i andelen manuskripter som sendes inn innen seksmånedersvinduet som er akseptert for publisering (dvs. ikke avvist på noe stadium); risikoforskjell, ujustert

Sekundært utfall: Forskjell i andelen manuskripter som sendes inn innen seksmånedersvinduet som sendes til fagfellevurdering (dvs. ikke skrivebordsavvist); risikoforskjell, ujustert

Andel akseptert i den dobbeltmaskede gruppen: ~10 % Klinisk betydningsfull forskjell: 5 % Rammeverk: Overlegenhet N= 1500 (750 manuskripter i hver gruppe), 80 % evne til å oppdage en forskjell på 4,8 % (RR=1,48) i akseptgrad med 5 % type I feil for en tosidig test. Dette tilsvarer en akseptgrad på 14,8 % for trippel=masked. I tillegg er forsøket anslått å ha 84 % kraft for å oppdage en forskjell på 5 % (RR=1,5), og 90 % effekt for å oppdage en forskjell på 5,5 % (RR=1,55) mens det forblir en 5 % type I feil for en tosidig test.

Den statistiske makten til å oppdage forskjeller hvis de eksisterer i undergrupper definert av artikkeltype eller forfatteridentiteter, vil være svært liten på grunn av det lille antallet artikler. Det forventes at andelen artikler med et mangfoldig forfatterskap ikke vil overstige en tredjedel av innleveringene i hver gruppe.

Etikkkomité Protokollen er unntatt fra institusjonell vurderingsstyre av IRB ved Queens College CUNY, hvor sjefredaktøren og PI for støttetilskuddet har sin primære utnevnelse (vedlegg B).