Тройная маскировка против двойной маскировки: испытание научных публикаций в области общественного здравоохранения (TripleMasking)

Цель:

Определить, маскируются ли (т. е. тройная маска: редакторы, авторы, рецензенты) или нет (т. е. двойная маска: авторы, рецензенты) личность, старшинство, пол, раса, этническая принадлежность и учреждения авторов и рецензентов. в редакцию приводит к большей доле принятых рукописей по сравнению с двойным рецензированием. Кроме того, мы проведем исследовательский анализ, чтобы определить, связаны ли различия с личностью, старшинством, полом, расой, этнической принадлежностью и учреждениями авторов и рецензентов.

Дизайн исследования: две группы, параллельные, исследование превосходства с распределением 1:1.

Условия исследования: испытание будет проходить исключительно в Американском журнале общественного здравоохранения в виртуальном формате. Все материалы будут подаваться в электронном виде через менеджера редакции (https://www.editorialmanager.com/ajph/default2.aspx). Рукописи, отвечающие критериям слепого редакционного процесса, будут замаскированы в электронном виде перед тем, как они будут включены в исследование помощником редактора, который также поместит все рукописи в папки Dropbox, чтобы редакторы могли получить к ним доступ. Анкета, которая будет разослана всем авторам, рецензентам и редакторам, хранится в Survey Monkey и будет администрироваться по электронной почте и/или посредством текстовых сообщений лицом, не участвующим в исследовании.

Включено: все соответствующие критериям новые материалы (исследования, заметки с мест, несанкционированные редакционные статьи, аналитические эссе, систематические обзоры) для регулярного выпуска и приложений с 5 сентября 2023 г. по 1 марта 2024 г.

Исключения: редакционные статьи по заказу, рецензии на книги, письма в редакцию, редакционные статьи, имеющие значение для общественного здравоохранения, выбор редактора и повторные подачи.

Процедура рандомизации: распределение подходящих статей 1:1 к тройной маске или обычному процессу в порядке подачи после исключения неподходящих статей помощником редактора.

Планируемое создание: рандомизация, стратифицированная по трем типам статей (т. е. исследовательские статьи, аналитические эссе, редакционные статьи и заметки с мест), по блокам случайных размеров для балансировки статей по типам с течением времени и для сокрытия порядка распределения.

Администрирование/реализация: Помощник редактора распределяет материалы в соответствии с приказами о распределении, созданными компьютером, для каждого из трех типов статей.

Маскировка безопасности: редакторам будет ограничен доступ к менеджеру редакции на время проекта. Кроме того, поскольку статьи не будут назначены редакторам, они не смогут ничего видеть из своих непосредственных учетных записей. Это должно заблокировать их от замаскированной информации и сохранить целостность проекта. Редакторы смогут искать рецензентов с конкретным опытом во внешней очищенной именной версии базы данных менеджера редакции. Однако они не будут знать, кто из выбранных рецензентов принял приглашение и написал рецензию. В этом смысле авторство рецензии будет скрыто от редактора.

Процедуры:

1. Анкета. Все авторы новых, отвечающих критериям заявок, получат электронное письмо от научного сотрудника, не участвующего в исследовании, с объяснением текущего исследования. В электронном письме им будет предложено заполнить дополнительную короткую анкету Survey Monkey с указанием возраста, пола, расы, этнической принадлежности, карьерной позиции и местоположения учреждения. Данные анкеты будут собраны в отдельную базу данных, которой будет управлять научный сотрудник. Ожидается, что недостающее значение будет одинаково распределено в обеих группах исследования. Однако при вторичном анализе они могут быть коррелированы с результатом. Одна и та же анкета будет отправлена ​​в редакцию только один раз.

Основной результат: разница в доле рукописей, представленных в течение шестимесячного периода и принятых к публикации (т. е. не отклоненных ни на каком этапе); разница рисков, нескорректированная

Вторичный результат: разница в доле рукописей, представленных в течение шестимесячного периода и отправленных на рецензирование (т. е. не отклоненных письменным столом); разница рисков, нескорректированная

Доля принятых в группе с двойной маской: ~10% Клинически значимая разница: 5% Структура: Превосходство N = 1500 (750 рукописей в каждой группе), 80% способность обнаружить разницу 4,8% (ОР = 1,48) в проценте принятия с ошибкой I рода 5% для двустороннего теста. Это соответствует уровню принятия 14,8% для тройки = в маске. Кроме того, прогнозируется, что исследование будет иметь 84%-ную способность обнаружить разницу в 5% (ОР = 1,5), и мощность 90 % для обнаружения разницы в 5,5 % (RR=1,55). оставаясь при этом ошибкой I рода в размере 5% для двустороннего теста.

Статистическая способность обнаружить различия, если они существуют в подгруппах, определяемых типом статьи или личностью авторов, будет очень небольшой из-за небольшого количества статей. Ожидается, что доля статей разного авторства не превысит трети поданных в каждой группе.

Комитет по этике Протокол был исключен из институционального наблюдательного совета IRB Куинс-Колледжа CUNY, где главный редактор и руководитель поддерживающего гранта имеет свою основную должность (Приложение B).