Triple-masking v Double-masking: a Trial of Scientific Publication in Public Health (TripleMasking)

Sigte:

For at afgøre, om maskering (dvs. tredobbelt maskeret: redaktører, forfattere, anmeldere) eller ej (dvs. dobbeltmasket: forfattere, anmeldere) identitet, anciennitet, køn, race, etnicitet og institutioner for forfatterne og anmelderne til redaktionen fører til en større andel af accepterede manuskripter sammenlignet med dobbeltmasket anmeldelse. Derudover vil vi udføre eksplorative analyser for at afgøre, om forskellene er relateret til forfatternes og anmeldernes identitet, anciennitet, køn, race, etnicitet og institutioner.

Forsøgsdesign: to-gruppe, parallel, overlegenhedsforsøg med 1:1 tildeling

Studiemiljø: Forsøget vil udelukkende finde sted i American Journal of Public Health i en virtuel kapacitet. Alle indsendelser vil være elektroniske via Editorial Manager (https://www.editorialmanager.com/ajph/default2.aspx). Kvalificerede manuskripter i den blindede redaktionelle procesarm vil blive maskeret elektronisk, før de indtastes i forsøget af redaktionsassistenten, som også vil placere alle manuskripter i Dropbox-mapper, som redaktørerne kan få adgang til. Spørgeskemaet, der vil blive sendt til alle forfattere, anmeldere og redaktører, er placeret i Survey Monkey og vil blive administreret via e-mail og/eller sms af en person uden for forsøget.

Inklusioner: Alle kvalificerede, nye indlæg (forskning, noter fra feltet, ikke-bestillingsredaktioner, analytiske essays, systematiske anmeldelser) til det almindelige nummer og tillæg fra 5. september 2023 til 1. marts 2024.

Ekskluderinger: Bestilte redaktionelle artikler, boganmeldelser, Breve til redaktøren, Public Health of Consequence-redaktioner, Editor's Choice og genindsendelser

Randomiseringsprocedure: 1:1 tildeling af berettigede artikler til enten tredobbelt maskeret eller sædvanlig proces i indsendelsesrækkefølgen, efter udelukkelse af ikke-kvalificerede indlæg fra redaktionsassistenten.

Planlagt generering: Randomisering, stratificeret efter tre artikeltyper (dvs. forskningsartikler, analytisk essay, redaktionelle og noter fra felten), efter blokke af tilfældige størrelser for at balancere artikler efter type over tid og for at skjule tildelingsrækkefølge.

Administration/implementering: Redaktionsassistent tildeler indlæggene efter computergenererede tildelingsordrer for hver af de tre artikeltyper.

Maskering af værdipapirer: Redaktører vil være begrænset til at få adgang til den redaktionelle leder i hele projektets varighed. Da artikler ikke vil blive tildelt til redaktører, vil de desuden ikke kunne se noget fra deres umiddelbare konti. Dette bør blokere dem fra den maskerede information og bevare projektets integritet. Redaktører vil være i stand til at søge efter anmeldere med specifik ekspertise fra en ekstern, renset nominativ version af Editorial Manager-databasen. De vil dog ikke vide, hvem der blandt de udvalgte anmeldere tog imod invitationen og skrev anmeldelsen. I denne forstand vil anmeldelsernes forfatterskab være maskeret for redaktøren.

Procedurer:

1. Spørgeskema: Alle forfattere af nye, kvalificerede indsendelser vil modtage en e-mail fra en forskningsassistent uden for forsøget, som vil forklare det igangværende forsøg. E-mailen vil invitere dem til at udfylde et valgfrit, kort Survey Monkey-spørgeskema, der beder om alder, køn, race, etnicitet, karriereposition og institutionens placering. Spørgeskemadataene vil blive indsamlet i en selvstændig database, som håndteres af forskningsassistenten. Manglende værdi forventes at være ligeligt fordelt i begge dele af undersøgelsen. For sekundær analyse kan de dog være korreleret med resultatet. Det samme spørgeskema vil blive sendt, men kun én gang til redaktionen.

Primært resultat: Forskel i andelen af ​​manuskripter indsendt inden for seks måneders vinduet, der accepteres til offentliggørelse (dvs. ikke afvist på noget tidspunkt); risikoforskel, ujusteret

Sekundært resultat: Forskel i andelen af ​​manuskripter indsendt inden for seks måneders vinduet, der sendes til peer review (dvs. ikke skrivebordsafvist); risikoforskel, ujusteret

Andel accepteret i den dobbeltmaskede gruppe: ~10 % Klinisk betydningsfuld forskel: 5 % Ramme: Superioritet N= 1500 (750 manuskripter i hver gruppe), 80 % evne til at opdage en forskel på 4,8 % (RR=1,48) i acceptrate med 5 % type I fejl for en tosidet test. Dette svarer til en acceptrate på 14,8 % for triple=masked. Derudover forventes forsøget at have 84 % effekt til at detektere en forskel på 5 % (RR=1,5), og 90 % effekt til at detektere en forskel på 5,5 % (RR=1,55) mens der forbliver en 5 % type I fejl for en tosidet test.

Den statistiske magt til at opdage forskelle, hvis de findes i undergrupper defineret efter artikeltype eller forfatteridentiteter, vil være meget lille på grund af det lille antal artikler. Det forventes, at andelen af ​​artikler med et mangfoldigt forfatterskab ikke vil overstige en tredjedel af afleveringerne i hver gruppe.

Etisk komité Protokollen er blevet fritaget for institutionelle revisionsnævn af IRB fra Queens College CUNY, hvor chefredaktøren og PI for støttebevillingen har sin primære udnævnelse (bilag B).