암 분야의 무작위 시험 결과 해석에 대한 "스핀"의 영향 (SPIIN)

연구자들은 무작위화 단위가 초록인 RCT를 계획했습니다. 본 연구의 계획, 구현, 분석 및 작성은 CONSORT 선언문12을 따랐습니다.

설계

연구자들은 스핀이 있는 a)와 스핀이 없는 b) 초록의 결과 해석을 비교하는 RCT를 수행했습니다.

1. 스핀을 이용한 무작위 시험의 초록 식별. 연구자들은 발표된 부정적인 RCT 샘플을 선택했습니다(예: 통계적으로 유의미하지 않은 결과) 이전 연구에서 확인된 추상적인 결론이 바뀌었습니다. 포함 기준은 1) 통계적으로 유의미하지 않은 1차 결과가 있는 RCT, 2) 추상적 결론의 반전이었습니다.
2. 초록의 수정 선택된 초록은 "스핀"을 포함하지 않도록 체계적으로 다시 작성되었습니다. 모든 초록은 저자명, 참고문헌, 게재된 저널명을 제외하고 동일한 형식으로 작성되었으며, 치료법명은 일반 용어를 사용하여 마스킹되었습니다.
3. 평가 초록은 무작위 시험의 교신저자, 특정 연구비 전문가 및 http://clinicaltrials.gov에 등록된 시험 조사관에 의해 평가되었습니다. 전문가들이 우리 연구에 참여하도록 초대되었습니다. 그들은 우리 연구의 목적에 대해 알지 못했습니다. 각 임상의는 스핀이 포함된 초록 1개 또는 스핀이 포함되지 않은 초록 1개를 무작위로 평가했습니다.
4. 1차 종료점은 참가자의 추상 결과 해석이었습니다. 연구에 참여한 모든 독자는 무작위 시험의 초록을 평가하고 다음 질문에 답했습니다. 이 초록을 바탕으로 치료법 A가 환자에게 유익할 것이라고 생각하십니까?

무작위화 특성

무작위화 목록은 30개의 블록으로 설정되었습니다. 따라서 각 참가자는 스핀이 포함된 초록 1개 또는 스핀이 포함되지 않은 초록 1개를 평가할 수 있습니다.

목록과 블록 크기는 조사관에게 공개되지 않았습니다. 컴퓨터화된 무작위 시스템을 사용하여 할당 은폐를 획득했습니다.

참가자가 시스템에 로그온했지만 초록을 평가하지 않은 경우 평가가 제외되고 초록은 자동으로 다음 참가자에게 할당되었습니다.

자격 기준

본 연구에 참여한 평가자는 다음과 같다.

1. 암 분야에서 발표된 RCT의 "교신저자"입니다. 연구자들은 PubMed를 통해 Medline을 체계적으로 검색하여 2012년과 필요한 경우 2011, 2010년의 모든 RCT 간행물을 식별했습니다. 조사관들은 해당 항목에 대한 '교신저자'의 이메일을 모두 수집했다.
2. 암 분야의 프랑스 국가 보조금 전문가 모든 잠재적 참가자는 임상 시험 초록 결과 해석에 관한 연구에 참여하도록 이메일로 초대되었습니다. 참여하기로 동의한 경우 평가할 초록에 액세스할 수 있는 인터넷 링크를 사용했습니다.
3. http://clinicaltrials.gov에 등록된 시험 조사자.

개입 및 비교

스핀이 포함된 초록 선택 우리는 이전 연구 및 인력 수집13-16에서 암 분야의 치료를 평가하고 다음과 같이 추상 결론에 스핀이 있는 2개의 병렬 암 음성 RCT(즉, 통계적으로 유의하지 않은 기본 결과)의 초록 30개를 선택했습니다. 이전에 개발된 분류13. 안전성에만 관련된 연구 또는 다른 연구 목표에 초점을 맞춘 매우 특이한 유형의 연구 또는 동일한 치료법을 비교했지만 용량이나 투여 방식 또는 치료 기간이 다른 연구는 제외했습니다. 또한 표본 크기가 작은(<100) RCT의 초록도 제외했습니다. 초록은 1부터 30까지 번호가 지정되었으며 다음과 같은 두 가지 범주로 분류되었습니다. 10개의 초록(번호 11/12/14/16/20/22/24/27/28/30)과 높은 수준의 스핀(즉, 초록에 대한 승인 없음) 결론적으로 통계적으로 유의미하지 않은 주요 결과) 및 스핀 수준이 낮은 경우 20입니다.

스핀 없는 초록 개발 스핀이 있는 초록은 스핀 없이 체계적으로 다시 작성되었습니다. 한 연구자는 상자에 설명된 특정 지침에 따라 각 초록을 다시 작성했습니다. 모든 초록의 단어 수는 +/-25로 동일했습니다. 스핀이 없는 모든 초록은 다른 연구자에 의해 독립적으로 평가되었으며 불일치가 있는 경우 논의되었으며 도달한 합의에 따라 초록이 수정되었습니다.

따라서 각 연구에 대해 연구자들은 스핀이 포함된 버전과 스핀이 포함되지 않은 버전의 2가지 버전의 초록을 보유했습니다.

스핀이 있는 초록과 없는 초록은 동일한 타이포그래피를 사용하여 원본 초록의 형식으로 제시되었습니다. 저자명, 참고문헌, 저널명, 등록번호, 임상시험명 또는 약어, 논문 제목은 삭제되었으며, 치료명과 설명은 체계적으로 일반 용어(예: 치료 A 및 비교약 B)로 가려졌습니다. 필요한 경우 치료를 식별하는 데 도움이 될 수 있는 일부 정보가 삭제되었습니다.

결과

1차 결과 1차 종료점은 참가자의 초록 해석이었습니다. 모든 연구 참가자는 각 초록을 평가했습니다. 그들은 다음 질문에 0(전혀 가능성 없음)부터 10(매우 가능성 있음) 등급으로 답변했습니다.

• 이 초록을 토대로 치료법 A가 환자에게 유익할 것이라고 생각하십니까? (답: 0-10의 숫자 척도)

2차 결과

2차 평가변수는 연구 품질, 연구 중요성, 전문 읽기에 대한 관심도, 출판 가능성에 대한 평가였습니다. 각 초록에 대해 참가자들은 다음과 같이 답변했습니다.

• 연구 방법론의 전반적인 엄격성을 평가하십니까? (스케일 0-10)
• 연구의 중요성을 평가합니다(0~10등급).
• 이 초록에 설명된 연구에 대한 전체 기사를 읽고 싶으십니까? (스케일 0-10)
• 이 치료법을 평가하는 또 다른 임상시험을 진행하는 것이 흥미로울 것이라고 생각하십니까? (스케일 0-10)

눈이 멀다

일차 평가변수는 참가자의 초록 해석입니다. 이 결과는 매우 주관적입니다. 최근 연구에 따르면 주관적인 1차 평가변수를 사용하는 무작위 시험에서 눈가림의 부족으로 인해 치료 효과가 과대평가되는 것으로 나타났습니다17. 편견을 최소화하기 위해 연구자들은 참가자들이 연구 가설에 대해 눈을 멀게 할 것을 제안했습니다. 모든 참가자에게는 임상시험 초록 해석에 관한 설문조사에 참여하고 있다는 정보가 전달되었습니다. 결과를 보고할 때 연구가 종료되기 전에 연구의 목적과 가정에 대해 알려주지 않았습니다.

수집된 기타 데이터 조사관은 삭제된 단어와 각 초록에 추가된 단어 측면에서 초록의 변경 사항도 수집했습니다.

표본의 크기

각 참가자는 스핀이 포함된 초록 1개 또는 스핀이 포함되지 않은 초록 1개를 읽습니다. 초록에 대한 266개의 평가 샘플은 90%의 검정력과 알파 위험이 다음과 같은 예비 연구를 기반으로 한 2.5의 예비 연구를 기반으로 1점의 평균 차이와 공통 표준 편차를 가정하여 1차 결과로 0.4의 효과 크기를 표시하는 데 필요합니다. 5%. 스핀이 포함된 30개의 초록과 스핀이 포함되지 않은 30개의 초록이 제공됩니다. 이론적으로 각 초록은 무작위 그룹에 따라 동일한 횟수로 읽어야 합니다. 이러한 모든 요소를 ​​고려하면 300명의 참가자(각 부문에 150명)가 필요합니다. 각 초록은 각 그룹에서 5번 읽습니다(스핀 수준이 낮은 초록은 200번(각 그룹당 100번) 읽으며, 스핀 수준이 높은 초록은 100번(각 그룹당 50번) 읽습니다.)

통계 분석

통계 분석은 임상 역학 센터의 통계학자가 통계 분석 소프트웨어(SAS) v9.3을 사용하여 독립적이고 맹목적으로 수행됩니다. 데이터베이스를 검색하기 전에 통계 분석 계획을 개발하고 검증합니다. 통계 분석 계획은 원래 계획된 통계 분석에 영향을 미치는 프로토콜 수정이나 기타 변경 사항을 고려하여 연구 중에 수정됩니다. 모든 버전은 검토를 위해 파일에 보관됩니다. T 테스트는 1차 및 2차 결과 분석에 사용됩니다. 이 통계 계획은 이용 가능한 데이터에 따라 수정될 수 있습니다. 예를 들어, 특정 비네팅에 대한 판독값 수가 그룹 내에서 불균형한 경우 다중 수준 모델(클러스터 데이터에 대한 혼합 모델)을 사용하여 두 부문 간의 기본 결과 측정에 대한 조정 평균을 비교합니다. 이는 통계 분석이 각 그룹의 초록의 불균형한 재분배에 대해 조정된다는 것을 의미합니다. 동일한 모델이 2차 결과와 스핀 수준이 높은 하위 그룹 초록에 적용됩니다.

2차 분석에서는 ICC 간의 차이에 대한 95% 신뢰 구간을 계산하여 스핀이 있는 초록과 스핀이 없는 초록의 독자 간의 클래스 내 상관 관계(ICC)를 비교합니다(부트스트랩 방법 사용).