Triple-masking v Double-masking: a Trial of Scientific Publication in Public Health (TripleMasking)

Syfte:

För att avgöra huruvida maskering (dvs. trippelmaskad: redaktörer, författare, recensenter) eller inte (d.v.s. dubbelmaskad: författare, recensenter) identitet, senioritet, kön, ras, etnicitet och institutioner för författarna och granskarna till redaktionen leder till en större andel accepterade manuskript jämfört med dubbelmaskad recension. Dessutom kommer vi att genomföra utforskande analyser för att avgöra om skillnaderna är relaterade till författarnas och granskarnas identitet, senioritet, kön, ras, etnicitet och institutioner.

Försöksdesign: två grupp, parallell, överlägsenhetsförsök med 1:1 tilldelning

Studiemiljö: Försöket kommer enbart att äga rum vid American Journal of Public Health i en virtuell kapacitet. Alla inlämningar kommer att vara elektroniska via Editorial Manager (https://www.editorialmanager.com/ajph/default2.aspx). Kvalificerade manuskript i den förblindade redaktionella processarmen kommer att maskeras elektroniskt innan de tas in i försöket av redaktionsassistenten, som också kommer att placera alla manuskript i Dropbox-mappar för åtkomst av redaktörerna. Frågeformuläret som kommer att skickas till alla författare, recensenter och redaktörer finns i Survey Monkey och kommer att administreras via e-post och/eller textmeddelanden av någon utanför försöket.

Inklusioner: Alla kvalificerade, nya bidrag (forskning, anteckningar från fältet, icke-beställda redaktioner, analytiska uppsatser, systematiska översikter) för det ordinarie numret och tillägg från 5 september 2023 till 1 mars 2024.

Undantag: Beställda ledare, bokrecensioner, Brev till redaktören, Public Health of Consequence-redaktioner, Editor's Choice och återinlämningar

Randomiseringsprocedur: 1:1 tilldelning av berättigade artiklar till antingen trippelmaskad eller vanlig process i inlämningsordningen, efter uteslutning av icke-berättigade bidrag från redaktionsassistenten.

Planerad generering: Randomisering, stratifierad efter tre artikeltyper (dvs forskningsartiklar, analytisk uppsats, redaktionell och anteckningar från fältet), av block med slumpmässiga storlekar för att balansera artiklar efter typ över tid och för att dölja tilldelningsordning.

Administration/implementering: Redaktionsassistent fördelar bidragen efter datorgenererade tilldelningsorder för var och en av de tre artikeltyperna.

Maskering av värdepapper: Redaktörer kommer att vara begränsade från åtkomst till den redaktionella chefen under hela projektets varaktighet. Dessutom, eftersom artiklar inte kommer att tilldelas redaktörer, kommer de inte att kunna se något från sina omedelbara konton. Detta bör blockera dem från den maskerade informationen och bevara projektets integritet. Redaktörer kommer att kunna söka efter granskare med specifik expertis från en extern, rensad nominativ version av Editorial Manager-databasen. De kommer dock inte att veta vem av de utvalda granskarna som accepterade inbjudan och skrev recensionen. I denna mening kommer recensioners författarskap att maskeras för redaktören.

Tillvägagångssätt:

1. Frågeformulär: Alla författare till nya, kvalificerade bidrag kommer att få ett e-postmeddelande från en forskningsassistent utanför prövningen som förklarar den pågående prövningen. E-postmeddelandet kommer att bjuda in dem att fylla i ett valfritt, kort, Survey Monkey-enkät som frågar efter ålder, kön, ras, etnicitet, karriärposition och institutionsplats. Enkätdata kommer att samlas in i en fristående databas, som hanteras av forskningsassistenten. Saknat värde förväntas vara lika fördelat i båda grenarna av studien. Men för sekundär analys kan de vara korrelerade med resultatet. Samma frågeformulär kommer att skickas men endast en gång till redaktionen.

Primärt resultat: Skillnad i andelen manuskript som skickats in inom sexmånadersperioden som accepteras för publicering (dvs. inte avvisas i något skede); riskskillnad, ojusterad

Sekundärt resultat: Skillnad i andelen manuskript som skickats in inom sexmånadersperioden som skickas för referentgranskning (d.v.s. inte avvisade på skrivbordet); riskskillnad, ojusterad

Andel accepterad i den dubbelmaskerade gruppen: ~10% Kliniskt betydelsefull skillnad: 5% Ram: Överlägsenhet N= 1500 (750 manuskript i varje grupp), 80% förmåga att upptäcka en skillnad på 4,8% (RR=1,48) i acceptansgrad med 5 % typ I-fel för ett dubbelsidigt test. Detta översätts till en acceptansgrad på 14,8 % för trippel=maskerad. Dessutom beräknas försöket ha 84 % effekt för att upptäcka en skillnad på 5 % (RR=1,5), och 90 % effekt för att upptäcka en skillnad på 5,5 % (RR=1,55) medan det förblir ett 5 % typ I-fel för ett dubbelsidigt test.

Den statistiska förmågan att upptäcka skillnader om de finns i undergrupper definierade av artikeltyp eller författaridentiteter kommer att vara mycket liten på grund av det lilla antalet artiklar. Det förväntas att andelen artiklar med ett varierat författarskap inte kommer att överstiga en tredjedel av bidragen i varje grupp.

Etikkommitté Protokollet har undantagits från institutionell granskningsnämnd av IRB vid Queens College CUNY, där chefredaktören och PI för det stödjande anslaget har sin primära utnämning (Bilaga B).