Drievoudige maskering versus Dubbele maskering: een proef met wetenschappelijke publicaties in de volksgezondheid (TripleMasking)

Doel:

Om te bepalen of de identiteit, anciënniteit, geslacht, ras, etniciteit en instellingen van de auteurs en van de reviewers wel of niet worden gemaskeerd (d.w.z. dubbel gemaskeerd: auteurs, reviewers) aan de redactie leidt tot een groter aandeel geaccepteerde manuscripten vergeleken met dubbelblinde beoordeling. Daarnaast zullen we verkennende analyses uitvoeren om te bepalen of de verschillen verband houden met de identiteit, anciënniteit, geslacht, ras, etniciteit en instellingen van de auteurs en van de reviewers.

Proefopzet: parallelle superioriteitsproef met twee groepen en 1:1 toewijzing

Studiesetting: De proef zal uitsluitend virtueel plaatsvinden in het American Journal of Public Health. Alle inzendingen worden elektronisch gedaan via de Editorial Manager (https://www.editorialmanager.com/ajph/default2.aspx). In aanmerking komende manuscripten in de geblindeerde redactionele procestak worden elektronisch gemaskeerd voordat ze aan de proef worden toegevoegd door de redactieassistent, die ook alle manuscripten in Dropbox-mappen plaatst waartoe de redactie toegang heeft. De vragenlijst die naar alle auteurs, reviewers en redacteuren wordt gestuurd, is ondergebracht in Survey Monkey en zal via e-mail en/of sms worden beheerd door iemand buiten de proef.

Inclusies: alle in aanmerking komende nieuwe inzendingen (onderzoek, aantekeningen uit het veld, redactionele artikelen zonder opdracht, analytische essays, systematische reviews) voor het reguliere nummer en supplementen van 5 september 2023 tot 1 maart 2024.

Uitsluitingen: redactionele artikelen in opdracht, boekrecensies, brieven aan de redacteur, redactionele artikelen over de volksgezondheid, Editor's Choice en herinzendingen

Randomisatieprocedure: 1:1 toewijzing van in aanmerking komende artikelen aan een drievoudig gemaskeerd of gebruikelijk proces in de volgorde van inzending, na uitsluiting van niet-in aanmerking komende inzendingen door de redactieassistent.

Geplande generatie: Randomisatie, gestratificeerd op basis van drie artikeltypen (dwz onderzoeksartikelen, analytisch essay, redactioneel commentaar en aantekeningen uit het veld), door blokken van willekeurige grootte om artikelen op type in de loop van de tijd in evenwicht te brengen en om de toewijzingsvolgorde te verbergen.

Administratie/implementatie: De redactieassistent wijst de inzendingen toe volgens computergegenereerde toewijzingsopdrachten voor elk van de drie artikeltypen.

Maskeren van effecten: Redacteuren hebben gedurende de looptijd van het project geen toegang tot de Editorial Manager. Omdat artikelen niet aan redacteuren worden toegewezen, kunnen ze bovendien niets zien van hun directe accounts. Dit zou hen moeten blokkeren voor de gemaskeerde informatie en de integriteit van het project moeten behouden. Redacteuren kunnen reviewers met specifieke expertise zoeken in een externe, opgeschoonde nominatieve versie van de Editorial Manager-database. Ze zullen echter niet weten wie van de geselecteerde reviewers de uitnodiging heeft geaccepteerd en de review heeft geschreven. In die zin wordt het auteurschap van recensies verborgen voor de redacteur.

Procedures:

1. Vragenlijst: Alle auteurs van nieuwe, in aanmerking komende inzendingen ontvangen een e-mail van een onderzoeksassistent van buiten het onderzoek, waarin uitleg wordt gegeven over het lopende onderzoek. In de e-mail worden ze uitgenodigd om een ​​optionele, korte Survey Monkey-vragenlijst in te vullen waarin wordt gevraagd naar leeftijd, geslacht, ras, etniciteit, carrièrepositie en locatie van de instelling. De vragenlijstgegevens worden verzameld in een zelfstandige database, beheerd door de onderzoeksassistent. De verwachting is dat de ontbrekende waarden gelijk verdeeld zijn in beide armen van het onderzoek. Voor secundaire analyse kunnen ze echter gecorreleerd zijn met de uitkomst. Dezelfde vragenlijst wordt slechts één keer naar de redactie gestuurd.

Primaire uitkomst: verschil in het aandeel manuscripten dat binnen de periode van zes maanden wordt ingediend en dat wordt geaccepteerd voor publicatie (dat wil zeggen dat het in geen enkel stadium wordt afgewezen); risicoverschil, niet aangepast

Secundaire uitkomst: verschil in het aandeel manuscripten dat binnen de periode van zes maanden wordt ingediend en voor peer review wordt verzonden (dat wil zeggen, niet door een bureau afgewezen); risicoverschil, niet aangepast

Aandeel geaccepteerd in de dubbelgemaskerde groep: ~10% Klinisch betekenisvol verschil: 5% Kader: Superioriteit N= 1500 (750 manuscripten in elke groep), 80% vermogen om een ​​verschil van 4,8% (RR=1,48) in acceptatiepercentage te detecteren met 5% type I-fout voor een tweezijdige test. Dit vertaalt zich naar een acceptatiepercentage van 14,8% voor de triple=masked. Bovendien wordt verwacht dat de proef een power van 84% zal hebben om een ​​verschil van 5% (RR=1,5) te detecteren. en 90% vermogen om een ​​verschil van 5,5% te detecteren (RR=1,55) terwijl het een type I-fout van 5% blijft voor een tweezijdige test.

Het statistische vermogen om verschillen te detecteren als deze bestaan ​​in subgroepen die zijn gedefinieerd op basis van artikeltype of auteursidentiteit, zal zeer klein zijn vanwege het kleine aantal artikelen. De verwachting is dat het aandeel artikelen met een divers auteurschap niet groter zal zijn dan een derde van de inzendingen in elke groep.

Ethische commissie Het protocol is vrijgesteld van de institutionele beoordelingsraad door de IRB van Queens College CUNY, waar de hoofdredacteur en PI van de ondersteunende subsidie ​​zijn primaire benoeming heeft (bijlage B).