삼중 마스킹 v 이중 마스킹: 공중 보건 분야의 과학 출판 시험 (TripleMasking)

목표:

저자와 심사자의 신원, 연공서열, 성별, 인종, 민족, 기관을 마스킹(즉, 삼중 마스크: 편집자, 저자, 리뷰어)할지 여부(즉, 이중 마스크: 저자, 리뷰어)를 결정합니다. 편집자에게 검토를 요청하면 이중 마스크 검토에 비해 승인된 원고의 비율이 더 높아집니다. 또한, 그 차이가 저자와 심사자의 신원, 직위, 성별, 인종, 민족, 제도와 관련이 있는지 확인하기 위해 탐색적 분석을 수행할 것입니다.

시험 설계: 1:1 할당을 통한 2개 그룹, 병렬, 우월성 시험

연구 설정: 임상시험은 미국 공중보건저널(American Journal of Public Health)에서만 가상으로 진행됩니다. 모든 제출은 편집 관리자(https://www.editorialmanager.com/ajph/default2.aspx)를 통해 전자적으로 이루어집니다. 블라인드 편집 프로세스 부서에 있는 적격 원고는 편집 보조원이 재판에 들어가기 전에 전자적으로 마스킹되며 편집자가 액세스할 수 있도록 모든 원고를 Dropbox 폴더에 보관합니다. 모든 저자, 검토자 및 편집자에게 전송될 설문지는 Survey Monkey에 보관되며 임상시험 외부인이 이메일 및/또는 문자 메시지를 통해 관리합니다.

포함 사항: 2023년 9월 5일부터 2024년 3월 1일까지 정기호 및 보충 자료에 대한 모든 적격하고 새로운 제출물(연구, 현장 메모, 비위탁 사설, 분석 에세이, 체계적 리뷰).

제외: 의뢰받은 사설, 서평, 편집자에게 보내는 편지, Public Health of Consequence 사설, 편집자의 선택 및 재제출

무작위 배정 절차: 편집 보조원이 부적격 투고를 제외시킨 후 적격 기사를 투고 순서대로 삼중 마스크 또는 일반 프로세스에 1:1 할당합니다.

계획된 생성: 세 가지 기사 유형(예: 연구 기사, 분석 에세이, 사설 및 현장 메모)으로 계층화된 무작위화, 시간이 지남에 따라 기사 유형별로 균형을 맞추고 할당 순서를 숨기기 위해 임의 크기의 블록을 기준으로 합니다.

관리/실행: 편집 보조원은 세 가지 기사 유형 각각에 대해 컴퓨터 생성 할당 순서에 따라 제출물을 할당합니다.

보안 마스킹: 편집자는 프로젝트 기간 동안 편집 관리자에 액세스하는 것이 제한됩니다. 또한 기사는 편집자에게 할당되지 않으므로 편집자는 즉시 계정에서 아무 것도 볼 수 없습니다. 이렇게 하면 숨겨진 정보로부터 해당 정보를 차단하고 프로젝트의 무결성을 보존할 수 있습니다. 편집자는 Editorial Manager 데이터베이스의 정리된 외부 지명 버전에서 특정 전문 지식을 갖춘 리뷰어를 검색할 수 있습니다. 그러나 선택된 리뷰어 중 누가 초대를 수락하고 리뷰를 작성했는지는 알 수 없습니다. 이런 의미에서 리뷰의 저자는 편집자에게 가려집니다.

절차:

1. 설문지: 적격한 신규 제출의 모든 저자는 진행 중인 임상시험을 설명하는 임상시험 외부 연구 보조원으로부터 이메일을 받게 됩니다. 이메일은 연령, 성별, 인종, 민족, 직업 위치 및 기관 위치를 묻는 선택적인 짧은 Survey Monkey 설문지를 작성하도록 초대합니다. 설문지 데이터는 연구 보조원이 처리하는 독립형 데이터베이스에 수집됩니다. 결측값은 연구의 두 부문에 균등하게 분포될 것으로 예상됩니다. 그러나 2차 분석의 경우 결과와 상관관계가 있을 수 있습니다. 동일한 설문지가 편집자에게 한 번만 전송됩니다.

주요 결과: 6개월 이내에 제출된 원고 중 출판이 승인된(즉, 어떤 단계에서도 거부되지 않은) 비율의 차이 위험 차이, 조정되지 않음

2차 결과: 6개월 이내에 제출된 원고 중 피어 리뷰를 위해 전송된 원고 비율의 차이(즉, 데스크에서 거부되지 않음) 위험 차이, 조정되지 않음

이중 마스크 그룹에서 승인된 비율: ~10% 임상적으로 의미 있는 차이: 5% 프레임워크: 우수성 N= 1500(각 그룹의 750개 원고), 승인률에서 4.8%(RR=1.48)의 차이를 탐지하는 80% 검정력 양측 검정의 경우 제1종 오류가 5%입니다. 이는 트리플=마스킹에 대한 합격률이 14.8%임을 의미합니다. 또한 이 시험은 5%(RR=1.5)의 차이를 탐지하는 데 84%의 검정력을 가질 것으로 예상됩니다. 5.5%(RR=1.55)의 차이를 탐지하기 위한 90% 검정력 양측 검정에서는 제1종 오류가 5%로 유지됩니다.

기사 유형이나 저자 신원에 따라 정의된 하위 그룹에 차이가 존재하는 경우 차이를 탐지하는 통계적 검정력은 기사 수가 적기 때문에 매우 작습니다. 저자가 다양한 논문의 비율은 각 그룹 제출물의 1/3을 초과하지 않을 것으로 예상됩니다.

윤리 위원회 이 프로토콜은 Queens College CUNY의 IRB에 의해 기관 검토 위원회에서 면제되었습니다. 이 위원회에서는 지원 보조금의 편집장과 PI가 주요 임명을 맡고 있습니다(부록 B).