Trojité maskování v. Dvojité maskování: zkouška vědecké publikace v oblasti veřejného zdraví (TripleMasking)

Cíl:

Chcete-li určit, zda maskování (tj. trojnásobné maskování: redaktoři, autoři, recenzenti) či nikoli (tj. dvojité maskování: autoři, recenzenti) identity, seniority, pohlaví, rasy, etnického původu a institucí autorů a recenzentů do redakce vede k většímu podílu akceptovaných rukopisů ve srovnání s dvojitě maskovanou recenzí. Kromě toho provedeme průzkumné analýzy, abychom určili, zda rozdíly souvisí s identitou, senioritou, pohlavím, rasou, etnickým původem a institucemi autorů a recenzentů.

Design studie: dvouskupinová, paralelní, zkouška nadřazenosti s alokací 1:1

Nastavení studie: Zkouška bude probíhat pouze ve virtuálním časopise American Journal of Public Health. Všechny příspěvky budou elektronické prostřednictvím redakčního manažera (https://www.editorialmanager.com/ajph/default2.aspx). Způsobilé rukopisy v zaslepené části redakčního procesu budou před vložením do zkušebního procesu elektronicky maskovány asistentem redakce, který také umístí všechny rukopisy do složek Dropboxu, aby k nim měli redaktoři přístup. Dotazník, který bude zaslán všem autorům, recenzentům a editorům, je uložen v Survey Monkey a bude administrován e-mailem a/nebo textovou zprávou někým mimo zkušební období.

Zahrnuje: Všechny způsobilé nové příspěvky (výzkumy, poznámky z terénu, nekomisované úvodníky, analytické eseje, systematické recenze) pro pravidelné číslo a přílohy od 5. září 2023 do 1. března 2024.

Vyloučení: Úvodníky na zakázku, recenze knih, Dopisy editorovi, úvodníky Public Health of Consequence, Volba editora a opakované příspěvky

Randomizační postup: 1:1 přidělení způsobilých článků do trojnásobně maskovaného nebo obvyklého procesu v pořadí zaslání, po vyloučení nezpůsobilých příspěvků asistentem redakce.

Plánované generování: Randomizace, stratifikovaná podle tří typů článků (tj. výzkumné články, analytické eseje, redakční práce a poznámky z terénu), podle bloků náhodných velikostí pro vyvážení článků podle typu v průběhu času a pro skrytí pořadí přidělení.

Administrace/implementace: Redakční asistent přiděluje příspěvky podle počítačově generovaných alokačních příkazů pro každý ze tří typů článků.

Maskovací cenné papíry: Redaktoři budou mít po dobu trvání projektu omezený přístup k redakčnímu manažerovi. Kromě toho, protože články nebudou přiřazeny editorům, nebudou moci vidět nic ze svých přímých účtů. To by jim mělo zabránit v přístupu k maskovaným informacím a zachovat integritu projektu. Redaktoři budou moci vyhledávat recenzenty se specifickými odbornými znalostmi z externí, vyčištěné nominativní verze databáze Editorial Manager. Nebudou však vědět, kdo z vybraných recenzentů přijal pozvání a napsal recenzi. V tomto smyslu bude autorství recenzí skryto před editorem.

Postupy:

1. Dotazník: Všichni autoři nových způsobilých příspěvků obdrží e-mail od externího výzkumného asistenta, který bude vysvětlovat probíhající studii. E-mail je vyzve k vyplnění volitelného krátkého dotazníku Survey Monkey s dotazem na věk, pohlaví, rasu, etnický původ, kariérní pozici a umístění instituce. Údaje z dotazníku budou shromažďovány v samostatné databázi, kterou bude zpracovávat asistent výzkumu. Očekává se, že chybějící hodnota bude rovnoměrně rozložena v obou větvích studie. Pro sekundární analýzu však mohou být korelovány s výsledkem. Stejný dotazník bude zaslán, ale pouze jednou redakci.

Primární výsledek: Rozdíl v podílu rukopisů předložených během šestiměsíčního období, které jsou přijaty k publikaci (tj. nebyly v žádné fázi odmítnuty); rozdíl rizika, neupravený

Sekundární výsledek: Rozdíl v podílu rukopisů odeslaných během šestiměsíčního období, které jsou odeslány k recenznímu řízení (tj. nebyly zamítnuty); rozdíl rizika, neupravený

Podíl akceptovaný ve dvojitě maskované skupině: ~10 % Klinicky významný rozdíl: 5 % Rámec: Nadřazenost N= 1500 (750 rukopisů v každé skupině), 80% schopnost detekovat rozdíl 4,8 % (RR=1,48) v míře přijetí s 5% chybou typu I pro oboustranný test. To znamená míru přijetí 14,8 % pro trojitý = maskovaný. Navíc se předpokládá, že pokus bude mít 84% sílu k detekci rozdílu 5% (RR=1,5), a 90% výkon pro detekci rozdílu 5,5% (RR=1,55) při zachování 5% chyby typu I pro oboustranný test.

Statistická schopnost detekovat rozdíly, pokud existují v podskupinách definovaných typem článku nebo identitou autorů, bude velmi malá kvůli malému počtu článků. Očekává se, že podíl článků s různým autorstvím nepřesáhne jednu třetinu příspěvků v každé skupině.

Etická komise Protokol byl vyjmut z institucionálního revizního výboru IRB Queens College CUNY, kde má své primární jmenování šéfredaktor a PI podpůrného grantu (příloha B).