Dreifache Maskierung vs. Doppelmaskierung: ein Versuch wissenschaftlicher Veröffentlichungen im öffentlichen Gesundheitswesen (TripleMasking)

Ziel:

Um festzustellen, ob die Identität, das Dienstalter, das Geschlecht, die Rasse, die ethnische Zugehörigkeit und die Institutionen der Autoren und Gutachter maskiert werden (d. h. dreifach maskiert: Herausgeber, Autoren, Rezensenten) oder nicht (d. h. doppelt maskiert: Autoren, Rezensenten). an die Herausgeber führt im Vergleich zur doppelt maskierten Begutachtung zu einem größeren Anteil angenommener Manuskripte. Darüber hinaus werden wir explorative Analysen durchführen, um festzustellen, ob die Unterschiede mit der Identität, dem Dienstalter, dem Geschlecht, der Rasse, der ethnischen Zugehörigkeit und den Institutionen der Autoren und Gutachter zusammenhängen.

Versuchsdesign: Paralleler Zweigruppen-Überlegenheitsversuch mit 1:1-Zuteilung

Studiensetting: Die Studie findet ausschließlich virtuell im American Journal of Public Health statt. Alle Einreichungen erfolgen elektronisch über den Editorial Manager (https://www.editorialmanager.com/ajph/default2.aspx). Geeignete Manuskripte im Zweig „Blinded Editorial Process“ werden elektronisch maskiert, bevor sie vom Redaktionsassistenten in die Studie aufgenommen werden. Außerdem legt er alle Manuskripte in Dropbox-Ordnern ab, damit die Redakteure darauf zugreifen können. Der Fragebogen, der an alle Autoren, Gutachter und Herausgeber gesendet wird, ist in Survey Monkey gespeichert und wird per E-Mail und/oder SMS von einer externen Person verwaltet.

Einschlüsse: Alle förderfähigen, neuen Einreichungen (Recherche, Notizen aus der Praxis, nicht in Auftrag gegebene Leitartikel, analytische Essays, systematische Rezensionen) für die reguläre Ausgabe und die Beilagen vom 5. September 2023 bis 1. März 2024.

Ausschlüsse: In Auftrag gegebene Leitartikel, Buchrezensionen, Leserbriefe, Leitartikel zu Public Health of Consequence, Editor's Choice und Wiedereinreichungen

Randomisierungsverfahren: 1:1-Zuweisung der geeigneten Artikel entweder zum dreifach maskierten oder zum üblichen Verfahren in der Reihenfolge der Einreichung, nach Ausschluss nicht geeigneter Beiträge durch den Redaktionsassistenten.

Geplante Generierung: Randomisierung, geschichtet nach drei Artikeltypen (z. B. Forschungsartikel, analytischer Aufsatz, Leitartikel und Notizen aus der Praxis), nach Blöcken zufälliger Größe, um Artikel nach Typ im Laufe der Zeit auszugleichen und die Zuordnungsreihenfolge zu verbergen.

Administration/Durchführung: Redaktionsassistent ordnet die Einreichungen nach computergenerierten Zuteilungsanweisungen für jeden der drei Artikeltypen zu.

Maskierung von Sicherheiten: Redakteuren ist für die Dauer des Projekts der Zugriff auf den Redaktionsmanager untersagt. Da Artikel außerdem nicht den Redakteuren zugewiesen werden, können diese in ihren unmittelbaren Konten nichts sehen. Dies sollte sie von den maskierten Informationen abhalten und die Integrität des Projekts wahren. Redakteure können in einer externen, bereinigten Nominativversion der Editorial Manager-Datenbank nach Gutachtern mit spezifischem Fachwissen suchen. Sie erfahren jedoch nicht, wer von den ausgewählten Gutachtern die Einladung angenommen und die Bewertung verfasst hat. In diesem Sinne wird die Urheberschaft von Rezensionen gegenüber dem Herausgeber verschleiert.

Verfahren:

1. Fragebogen: Alle Autoren neuer, teilnahmeberechtigter Einreichungen erhalten eine E-Mail von einem wissenschaftlichen Mitarbeiter außerhalb der Studie, in der die laufende Studie erläutert wird. In der E-Mail werden sie aufgefordert, einen optionalen, kurzen Survey Monkey-Fragebogen auszufüllen, in dem sie nach Alter, Geschlecht, Rasse, ethnischer Zugehörigkeit, beruflicher Position und Standort der Einrichtung gefragt werden. Die Fragebogendaten werden in einer eigenständigen Datenbank gesammelt, die vom wissenschaftlichen Mitarbeiter verwaltet wird. Es wird erwartet, dass fehlende Werte in beiden Teilen der Studie gleichmäßig verteilt sind. Für die Sekundäranalyse können sie jedoch mit dem Ergebnis korrelieren. Derselbe Fragebogen wird nur einmal an die Redaktion gesendet.

Primärer Endpunkt: Unterschied im Anteil der innerhalb des Sechsmonatszeitraums eingereichten Manuskripte, die zur Veröffentlichung angenommen (d. h. zu keinem Zeitpunkt abgelehnt) werden; Risikodifferenz, unbereinigt

Sekundäres Ergebnis: Unterschied im Anteil der innerhalb des Sechsmonatszeitraums eingereichten Manuskripte, die zur Peer-Review geschickt werden (d. h. nicht vom Schreibtisch abgelehnt werden); Risikodifferenz, unbereinigt

Akzeptierter Anteil in der Doppelmaskierungsgruppe: ~10 % Klinisch bedeutsamer Unterschied: 5 % Rahmen: Überlegenheit N = 1500 (750 Manuskripte in jeder Gruppe), 80 % Leistung zur Erkennung eines Unterschieds von 4,8 % (RR = 1,48) in der Akzeptanzrate mit 5 % Typ-I-Fehler für einen zweiseitigen Test. Dies entspricht einer Akzeptanzrate von 14,8 % für die Triple=Maske. Darüber hinaus wird erwartet, dass der Versuch eine Aussagekraft von 84 % hat, um einen Unterschied von 5 % (RR = 1,5) zu erkennen. und 90 % Leistung, um einen Unterschied von 5,5 % zu erkennen (RR=1,55) Bei einem zweiseitigen Test verbleibt jedoch ein Typ-I-Fehler von 5 %.

Die statistische Aussagekraft, Unterschiede zu erkennen, wenn sie in Untergruppen vorhanden sind, die durch Artikeltyp oder Autorenidentität definiert sind, ist aufgrund der geringen Anzahl von Artikeln sehr gering. Es wird erwartet, dass der Anteil der Artikel mit unterschiedlicher Autorschaft ein Drittel der Einreichungen in jeder Gruppe nicht überschreitet.

Ethikkommission Das Protokoll wurde vom IRB des Queens College CUNY vom institutionellen Prüfungsausschuss ausgenommen, wo der Chefredakteur und PI des unterstützenden Stipendiums seine Hauptanstellung hat (Anhang B).