Triple-masking v Double-masking: Kokeilu tieteellisestä julkaisusta kansanterveysalalla (TripleMasking)

Tavoite:

Sen määrittämiseksi, peitetäänkö (eli kolminkertaisesti naamioituneet: toimittajat, kirjoittajat, arvostelijat) vai ei (eli kaksoisnaamio: kirjoittajat, arvostelijat) tekijöiden ja arvioijien identiteetti, virka, sukupuoli, rotu, etnisyys ja instituutiot toimittajille johtaa suurempaan osaan hyväksyttyjä käsikirjoituksia verrattuna kaksoisnaamioituun arvosteluun. Lisäksi teemme tutkivia analyyseja selvittääksemme, liittyvätkö erot tekijöiden ja arvioijien identiteettiin, vanhuuteen, sukupuoleen, rotuun, etniseen alkuperään ja instituutioihin.

Kokeilusuunnittelu: kaksi ryhmää, rinnakkainen, paremmuuskoe 1:1-allokaatiolla

Tutkimusympäristö: Kokeilu suoritetaan vain American Journal of Public Health -lehdessä virtuaalisesti. Kaikki lähetykset toimitetaan sähköisesti Editorial Managerin kautta (https://www.editorialmanager.com/ajph/default2.aspx). Sokkoutetun toimitusprosessin tukikelpoiset käsikirjoitukset peitetään sähköisesti ennen kuin toimituksen assistentti syöttää ne kokeeseen, ja hän myös sijoittaa kaikki käsikirjoitukset Dropbox-kansioihin toimittajille. Kaikille kirjoittajille, arvioijille ja toimittajille lähetettävä kyselylomake sijaitsee Survey Monkeyssa, ja joku kokeilun ulkopuolinen vastaa sen sähköpostitse ja/tai tekstiviestinä.

Sisällytykset: Kaikki kelvolliset uudet lähetykset (tutkimukset, alan muistiinpanot, ei-tilatut toimitukset, analyyttiset esseet, systemaattiset katsaukset) normaalinumeroa ja lisäyksiä varten 5.9.2023–1.3.2024.

Poissuljetut: tilatut toimitukset, kirja-arvostelut, Kirjeet toimittajalle, Public Health of Consequence -toimitukset, Toimittajan valinta ja uudelleenlähetykset

Satunnaistusmenettely: kelvollisten artikkelien kohdistaminen 1:1 joko kolminkertaisesti peitettyyn tai tavanomaiseen prosessiin lähetysjärjestyksessä sen jälkeen, kun toimituksen avustaja on sulkenut pois kelvottomia artikkeleita.

Suunniteltu sukupolvi: Satunnaistaminen, joka on ositettu kolmen artikkelityypin mukaan (esim. tutkimusartikkelit, analyyttinen essee, pääkirjoitus ja huomautukset kentältä), satunnaisten kokojen lohkoilla, jotta artikkeleita voidaan tasapainottaa tyypin mukaan ajan kuluessa ja allokointijärjestyksen piilottamiseksi.

Hallinta/toteutus: Toimitusavustaja allokoi lähetykset tietokoneella luotujen jakotilausten mukaisesti kullekin kolmelle artikkelityypille.

Suojapaperit: Toimittajia rajoitetaan pääsemästä Editorial Manageriin projektin ajan. Lisäksi koska artikkeleita ei osoiteta toimittajille, he eivät voi nähdä mitään välittömistä tileistään. Tämän pitäisi estää heitä pääsemästä peitetyistä tiedoista ja säilyttää projektin eheys. Toimittajat voivat etsiä tarkastajia, joilla on erityisasiantuntemusta Editorial Manager -tietokannan ulkoisesta, puhdistetusta nimellisversiosta. He eivät kuitenkaan tiedä, kuka valituista arvioijista hyväksyi kutsun ja kirjoitti arvostelun. Tässä mielessä arvostelujen kirjoittaja on naamioitu toimittajalle.

Toimenpiteet:

1. Kyselylomake: Kaikki uusien, kelvollisten hakemusten kirjoittajat saavat sähköpostin kokeen ulkopuoliselta tutkimusavustajalta, jossa selitetään meneillään oleva kokeilu. Sähköpostissa heitä pyydetään täyttämään valinnainen, lyhyt Survey Monkey -kysely, jossa kysytään ikää, sukupuolta, rotua, etnistä taustaa, ura-asemaa ja oppilaitoksen sijaintia. Kyselyn tiedot kerätään itsenäiseen tietokantaan, jota käsittelee tutkimusassistentti. Puuttuvan arvon odotetaan jakautuvan tasaisesti tutkimuksen molemmissa osissa. Toissijaisessa analyysissä ne voivat kuitenkin korreloida tuloksen kanssa. Sama kyselylomake lähetetään toimittajille, mutta vain kerran.

Ensisijainen tulos: Ero kuuden kuukauden kuluessa lähetettyjen käsikirjoitusten osuudessa, jotka hyväksytään julkaistavaksi (eli joita ei hylätty missään vaiheessa); riskiero, oikaisematon

Toissijainen tulos: Ero kuuden kuukauden aikana lähetettyjen käsikirjoitusten osuudessa, jotka lähetetään vertaisarviointiin (eli niitä ei ole hylätty); riskiero, oikaisematon

Hyväksytty osuus kaksoisnaamariryhmässä: ~10 % Kliinisesti merkityksellinen ero: 5 % Viitekehys: Ylivoimaisuus N= 1500 (750 käsikirjoitusta kussakin ryhmässä), 80 %:n teho havaita 4,8 % (RR=1,48) ero hyväksymisasteessa 5 %:n tyypin I virhe kaksipuolisessa testissä. Tämä tarkoittaa 14,8 %:n hyväksymisastetta triple=masked. Lisäksi kokeen ennustetaan olevan 84 %:n teho 5 %:n eron havaitsemiseksi (RR=1,5), ja 90 % teho 5,5 % eron havaitsemiseksi (RR=1,55) mutta silti 5 %:n tyypin I virhe kaksipuolisessa testissä.

Tilastollinen kyky havaita eroja, jos niitä esiintyy artikkelityypin tai tekijöiden identiteetin määrittämissä alaryhmissä, on hyvin pieni, koska artikkeleita on vähän. Eri kirjoittajina olevien artikkeleiden osuuden odotetaan olevan enintään kolmasosa kunkin ryhmän kirjoituksista.

Eettinen komitea Queens Collegen CUNY:n IRB on vapauttanut pöytäkirjan instituutioiden arviointilautakunnasta, jossa päätoimittaja ja tukiapurahan päätoimittaja on nimitetty ensisijaisesti (Liite B).