在同行评审中测试作者偏倚的存在
在同行评审过程中,生物医学期刊对盲法问题没有达成共识。 一些期刊试图在提交给审稿人进行同行评审之前从潜在手稿中删除所有作者身份的标识符,而其他期刊则更愿意让作者身份保持透明。 尽管同行评审仍然是手稿评估的黄金标准,但编辑部之间缺乏标准化的盲化过程可能是出版偏倚的一个来源,并使不同期刊上发表的手稿的比较更难以解释。
盲法同行评审系统的支持者认为,对作者身份的了解可能会使审稿人容易对这些作者以前的研究、感知的专业知识、机构、国籍或性别产生偏见。 这使判断偏离了科学工作的优点,并将关于作者身份和背景的先入为主的观念引入了审查过程。 相反,透明作者身份的支持者认为,了解作者身份会使审稿人更容易提供更适当的评论。 开放作者识别允许审稿人将当前手稿与作者以前发表的作品进行比较,并识别或识别潜在的重要利益冲突。
因此,研究人员提出了一项实验研究,以解决盲法是否会影响审稿人建议接受同行评审研究的可能性的问题。 研究人员计划与一家期刊合作,让大量审稿人对伪造的手稿进行同行评审;作者将以不公开的形式(作者姓名/机构未向审稿人显示)或公开形式发送这份“测试”手稿,同行审稿人可以看到几位知名的、备受推崇的作者及其机构的姓名. 手稿否则将是相同的。
合作期刊 Clinical Orthopedics and Related Research 允许公开和盲化同行评审,定期采用这两种方法(作者可以在提交给 CORR 时选择他们喜欢的评审类型),因此审稿人不太可能因为看到两种格式的手稿。
本研究的主要目标是确定一份手稿的识别是否具有杰出作者群体(开放作者身份)是否会影响审稿人推荐该手稿发表的可能性。
此外,研究人员计划故意在手稿中放置几个错误,并计算审稿人发现这些错误的频率,以确定审稿人是否不那么批判地阅读著名作者的作品。
调查人员还将比较审稿人对(相同的)方法部分的评分,以确定识别出具有杰出作者的手稿是否会导致审稿人对方法的严谨性给予更高的评分。
本研究检验以下具体假设:
- 着名作者姓名和机构在测试手稿上的可见性将增加手稿被同行审稿人推荐发表的可能性。 (主要研究终点)
- 著名作者姓名和机构的可见性将降低审稿人发现实验手稿中故意放置“错误”的可能性。
- 尽管实验手稿的方法部分是相同的,但著名作者姓名和机构的知名度将与审稿人对方法部分的得分增加有关。
笔记:
研究方案的所有要素都得到了华盛顿大学人类受试者审查委员会的批准,包括该研究的审查员招募选择退出设计,因为审查员不知道他们评估的论文是研究的一部分被认为很重要。 为了尽量减少潜在的伤害,作者选择了一种干预措施作为捏造的测试手稿的主题,这种干预措施无法立即在审稿人自己的中心(手术室中的特定团队培训过程)付诸实践。 此外,参与的审稿人在数据收集完成时被告知哪篇论文是测试手稿,因此他们不会根据捏造的研究结果进行这种团队培训。
为了降低观察者 (Hawthorne) 效应的风险,重要的是要尽量减少参与审阅者在研究进行时了解研究的可能性。 为此,研究人员选择不在试验登记处预先登记该研究。
研究概览
研究类型
注册 (实际的)
阶段
- 不适用
参与标准
资格标准
适合学习的年龄
接受健康志愿者
有资格学习的性别
描述
纳入标准:
- 在 CORR 的审稿人数据库的相关子专业部分注册同行审稿人。
排除标准:
- 选择退出的审稿人(通过电子方式、电话或邮寄方式)。
学习计划
合作者和调查者
调查人员
- 首席研究员:Seth L Leopold, MD、University of Washington
出版物和有用的链接
一般刊物
- van Rooyen S, Godlee F, Evans S, Black N, Smith R. Effect of open peer review on quality of reviews and on reviewers' recommendations: a randomised trial. BMJ. 1999 Jan 2;318(7175):23-7. doi: 10.1136/bmj.318.7175.23.
- McNutt RA, Evans AT, Fletcher RH, Fletcher SW. The effects of blinding on the quality of peer review. A randomized trial. JAMA. 1990 Mar 9;263(10):1371-6.
- Justice AC, Cho MK, Winker MA, Berlin JA, Rennie D. Does masking author identity improve peer review quality? A randomized controlled trial. PEER Investigators. JAMA. 1998 Jul 15;280(3):240-2. doi: 10.1001/jama.280.3.240. Erratum In: JAMA 1998 Sep 16;280(11):968.
- Fisher M, Friedman SB, Strauss B. The effects of blinding on acceptance of research papers by peer review. JAMA. 1994 Jul 13;272(2):143-6. Erratum In: JAMA 1994 Oct 19;272(15):1170.
- Emerson GB, Warme WJ, Wolf FM, Heckman JD, Brand RA, Leopold SS. Testing for the presence of positive-outcome bias in peer review: a randomized controlled trial. Arch Intern Med. 2010 Nov 22;170(21):1934-9. doi: 10.1001/archinternmed.2010.406.
- Okike K, Hug KT, Kocher MS, Leopold SS. Single-blind vs Double-blind Peer Review in the Setting of Author Prestige. JAMA. 2016 Sep 27;316(12):1315-6. doi: 10.1001/jama.2016.11014. No abstract available.
研究记录日期
研究主要日期
学习开始
初级完成 (实际的)
研究完成 (实际的)
研究注册日期
首次提交
首先提交符合 QC 标准的
首次发布 (估计)
研究记录更新
最后更新发布 (估计)
上次提交的符合 QC 标准的更新
最后验证
更多信息
此信息直接从 clinicaltrials.gov 网站检索,没有任何更改。如果您有任何更改、删除或更新研究详细信息的请求,请联系 register@clinicaltrials.gov. clinicaltrials.gov 上实施更改,我们的网站上也会自动更新.