Potrójne maskowanie a podwójne maskowanie: próba publikacji naukowej w zdrowiu publicznym (TripleMasking)

Cel:

Aby ustalić, czy maskowana jest (tj. potrójna maska: redaktorzy, autorzy, recenzenci), czy nie (tj. podwójna maska: autorzy, recenzenci) tożsamość, staż pracy, płeć, rasa, pochodzenie etniczne oraz instytucje autorów i recenzentów do redaktorów prowadzi do większego odsetka zaakceptowanych manuskryptów w porównaniu z recenzją podwójnie maskowaną. Dodatkowo przeprowadzimy analizy eksploracyjne, aby ustalić, czy różnice mają związek z tożsamością, stażem pracy, płcią, rasą, pochodzeniem etnicznym oraz instytucją autorów i recenzentów.

Projekt próby: dwugrupowa, równoległa próba przewagi z podziałem 1:1

Warunki badania: Badanie będzie odbywać się wyłącznie w trybie wirtualnym w American Journal of Public Health. Wszystkie zgłoszenia będą przesyłane elektronicznie za pośrednictwem Menedżera redakcji (https://www.editorialmanager.com/ajph/default2.aspx). Kwalifikujące się manuskrypty objęte zaślepionym działem redakcyjnym zostaną zamaskowane elektronicznie przed wprowadzeniem ich do rozprawy przez asystenta redakcyjnego, który umieści również wszystkie manuskrypty w folderach Dropbox, aby redaktorzy mieli do nich dostęp. Kwestionariusz, który zostanie wysłany do wszystkich autorów, recenzentów i redaktorów, znajduje się w Survey Monkey i będzie administrowany za pośrednictwem poczty elektronicznej i/lub wiadomości tekstowych przez osobę spoza badania.

Obejmuje: wszystkie kwalifikujące się nowe zgłoszenia (badania, notatki z terenu, niezamówione artykuły redakcyjne, eseje analityczne, recenzje systematyczne) do regularnego wydania i suplementów od 5 września 2023 r. do 1 marca 2024 r.

Nie obejmuje: artykułów wstępnych zamówionych, recenzji książek, listów do redaktora, artykułów wstępnych dotyczących zdrowia publicznego, wyboru redaktora i ponownych zgłoszeń

Procedura randomizacji: przydział kwalifikujących się artykułów w stosunku 1:1 do procesu potrójnego maskowania lub zwykłego w kolejności składania, po wykluczeniu niekwalifikujących się artykułów przez asystenta redakcyjnego.

Planowane generowanie: Randomizacja, podzielona według trzech typów artykułów (tj. artykułów naukowych, esejów analitycznych, artykułów redakcyjnych i notatek terenowych), według bloków o losowych rozmiarach, aby zrównoważyć artykuły według rodzaju w czasie i ukryć kolejność alokacji.

Administracja/wdrażanie: Asystent redakcyjny przydziela zgłoszenia zgodnie z wygenerowanymi komputerowo zamówieniami przydziału dla każdego z trzech typów artykułów.

Maskowanie zabezpieczeń: Redaktorzy będą mieli ograniczony dostęp do Menedżera Redakcji na czas trwania projektu. Dodatkowo, ponieważ artykuły nie będą przypisane do redaktorów, nie będą oni mogli zobaczyć niczego ze swoich bezpośrednich kont. Powinno to uniemożliwić im dostęp do zamaskowanych informacji i zachować integralność projektu. Redaktorzy będą mogli wyszukiwać recenzentów posiadających konkretną wiedzę specjalistyczną z zewnętrznej, oczyszczonej wersji mianownikowej bazy danych Menedżera redakcji. Nie będą jednak wiedzieć, kto spośród wybranych recenzentów przyjął zaproszenie i napisał recenzję. W tym sensie autorstwo recenzji będzie dla redaktora maskowane.

Procedury:

1. Kwestionariusz: Wszyscy autorzy nowych, kwalifikujących się zgłoszeń otrzymają wiadomość e-mail od asystenta badawczego spoza badania, która wyjaśni trwające badanie. E-mail poprosi ich o wypełnienie opcjonalnego, krótkiego kwestionariusza Survey Monkey, w którym należy podać wiek, płeć, rasę, pochodzenie etniczne, stanowisko zawodowe i lokalizację instytucji. Dane zawarte w kwestionariuszu będą gromadzone w samodzielnej bazie danych, obsługiwanej przez asystenta badawczego. Oczekuje się, że brakujące wartości będą równomiernie rozłożone w obu ramionach badania. Jednakże w przypadku analizy wtórnej mogą one być skorelowane z wynikiem. Ta sama ankieta zostanie wysłana, ale tylko raz, do redakcji.

Główny wynik: różnica w odsetku manuskryptów przesłanych w ciągu sześciu miesięcy, które zostały przyjęte do publikacji (tj. nie zostały odrzucone na żadnym etapie); różnica ryzyka, nieskorygowana

Wynik drugorzędny: różnica w odsetku manuskryptów przesłanych w ciągu sześciu miesięcy, które przesłano do recenzji (tj. nie zostały odrzucone); różnica ryzyka, nieskorygowana

Proporcja zaakceptowana w grupie podwójnie maskowanej: ~10% Klinicznie istotna różnica: 5% Struktura: Przewaga N= 1500 (750 manuskryptów w każdej grupie), 80% mocy do wykrycia różnicy 4,8% (RR=1,48) we współczynniku akceptacji z 5% błędem typu I dla testu dwustronnego. Przekłada się to na wskaźnik akceptacji wynoszący 14,8% dla potrójnej maski. Ponadto przewiduje się, że próba będzie miała 84% mocy do wykrycia różnicy 5% (RR = 1,5), i moc 90%, aby wykryć różnicę 5,5% (RR=1,55) pozostając jednocześnie 5% błędem typu I dla testu dwustronnego.

Moc statystyczna umożliwiająca wykrycie różnic, jeśli występują one w podgrupach określonych na podstawie rodzaju artykułu lub tożsamości autorów, będzie bardzo mała ze względu na małą liczbę artykułów. Oczekuje się, że odsetek artykułów o zróżnicowanym autorstwie nie przekroczy jednej trzeciej zgłoszeń w poszczególnych grupach.

Komisja ds. etyki Protokół został wyłączony z instytucjonalnej komisji odwoławczej przez IRB Queens College CUNY, gdzie redaktor naczelny i kierownik projektu grantu wspierającego ma swoje główne stanowisko (załącznik B).