불확실성 삼각 측정을 통한 대규모 언어 모델의 확장 가능한 임상 감독 (SCOUT)
2026년 2월 14일 업데이트: China National Center for Cardiovascular Diseases
관상동맥심장병 진단에서 대규모 언어 모델 출력의 확장 가능한 임상 감독을 위한 모델 불가지론적 메타 검증 프레임워크(SCOUT)의 전향적 평가: 다중 판독자, 무작위, 교차 시험
이 전향적, 다중 판독자, 무작위 교차 임상시험은 SCOUT(Scalable Clinical Oversight via Uncertainty Triangulation)를 평가합니다. SCOUT는 모델 불가지론적 메타 검증 프레임워크로, 세 가지 직교적 불확실성 신호(모델 이질성, 확률적 불일치, 추론 비판)를 삼각측량하여 신뢰할 수 없는 대규모 언어 모델(LLM) 예측을 임상의에게 선택적으로 연기합니다.
이 임상시험은 SCOUT 지원 검토가 관상동맥 심장병(CHD) 하위 유형 분류에서 AI 생성 진단의 표준 수동 검토와 비교하여 열등하지 않은 진단 정확도를 유지하면서 의사 검토 시간을 단축할 수 있는지 평가합니다.
연구 개요
상세 설명
배경: 대규모 언어 모델이 임상 워크플로우에 점점 더 많이 배포되고 있지만, 모든 AI 출력물에 대해 임상의의 검토를 요구하는 것은 그 도입을 동기 부여하는 효율성 향상을 무효화합니다. SCOUT는 알고리즘적 메타 검증을 통해 이 효율성-안전성 역설을 해결합니다.<\/p>
SCOUT 프레임워크는 사례 수준 불확실성을 결정하기 위해 세 가지 직교적 외부 신호를 삼각 측량합니다: (1) 모델 이질성 - 구조적으로 다른 보조 LLM이 주 모델과 일치하는지 여부; (2) 확률적 불일치 - 동일 모델에서 반복 샘플링이 서로 다른 출력을 생성하는지 여부; (3) 추론 비판 - 외부 검사 모델이 사고 연쇄 추론에서 논리적 결함을 식별하는지 여부.<\/p>
이 교차 시험에서 다양한 경력의 7명의 임상의(초년차 레지던트 2명, 상급 레지던트 3명, 주치의 2명)가 각각 표준 수동 검토 및 SCOUT 지원 검토 워크플로우 하에서 모든 110건의 사례를 검토합니다. 본 연구는 워크플로우 효율성(주요 종료점)과 진단 정확도(보조 종료점)를 평가합니다.<\/p>
연구 유형
중재적
등록 (추정된)
7
단계
- 해당 없음
연락처 및 위치
이 섹션에서는 연구를 수행하는 사람들의 연락처 정보와 이 연구가 수행되는 장소에 대한 정보를 제공합니다.
연구 연락처
- 이름: Xiaojin Gao, Dr.
- 전화번호: +86 010 88322415
- 이메일: sophie_gao@sina.com
참여기준
연구원은 적격성 기준이라는 특정 설명에 맞는 사람을 찾습니다. 이러한 기준의 몇 가지 예는 개인의 일반적인 건강 상태 또는 이전 치료입니다.
자격 기준
공부할 수 있는 나이
- 성인
- 고령자
건강한 자원 봉사자를 받아들입니다
아니
설명
포함 기준:
- 푸와이 병원의 전문의 자격증 소지자 또는 수련 중인 심장내과 의사
- 세 가지 경험 계층에 걸친 구성: 주니어 레지던트, 시니어 레지던트, 전임의
제외 기준:
- SCOUT 프레임워크 개발 또는 최적화에 참여한 임상의
- 골드 스탠다드 판정 과정에 참여한 임상의
공부 계획
이 섹션에서는 연구 설계 방법과 연구가 측정하는 내용을 포함하여 연구 계획에 대한 세부 정보를 제공합니다.
연구는 어떻게 설계됩니까?
디자인 세부사항
- 주 목적: 특수 증상
- 할당: 무작위
- 중재 모델: 크로스오버 할당
- 마스킹: 없음(오픈 라벨)
무기와 개입
참가자 그룹 / 팔 |
개입 / 치료 |
|---|---|
|
활성 비교기: 대조군 (표준 수동 검토)
의사는 AI 예측과 추론에 접근할 수 있는 상태에서 대조군 세트(n=54)의 모든 사례를 수동으로 검토합니다.
선택적 연기는 없습니다.
|
의사는 AI 모델의 예측과 추론에 접근할 수 있는 원본 의료 기록을 사용하여 54건의 사례를 완전히 수동으로 검토하지만, SCOUT 불확실성 계층화 또는 선택적 연기를 사용하지 않습니다.
|
|
실험적: 실험적(SCOUT 지원 검토)
의사들은 SCOUT 프레임워크를 통해 중재 세트(n=56)를 처리합니다.
불확실성이 낮은 사례는 자동 승인되며, 불확실성이 높은 사례는 완전한 감사 추적을 포함한 의사 검토를 거칩니다.
|
SCOUT 지원 검토(중재군): 의사는 SCOUT 프레임워크를 통해 처리된 56건의 사례를 검토합니다.
저위험 불확실성 사례(D(x)=0)의 경우, AI 예측은 의사 검토 없이 자동으로 수락됩니다.
고위험 불확실성 사례(D(x)=1)의 경우, 의사는 주 모델의 사고 연쇄 추론 및 메타 검증 감사 결과에 접근하여 사례를 검토합니다.
주 모델은 사고 연쇄 프롬프팅을 적용한 DeepSeek-V3.1입니다.
|
연구는 무엇을 측정합니까?
주요 결과 측정
결과 측정 |
측정값 설명 |
기간 |
|---|---|---|
|
의사별 케이스당 평균 검토 시간 (분)
기간: 연구 완료까지 평균 2시간.
|
각 군별로 각 임상의가 각 사례에 대해 진단 결정을 검토하고 내리는 데 소요된 평균 시간.
분 단위로 측정됨.
|
연구 완료까지 평균 2시간.
|
2차 결과 측정
결과 측정 |
측정값 설명 |
기간 |
|---|---|---|
|
진단 정확도 (%)
기간: 연구 완료까지 평균 2시간.
|
각 군에서의 정확한 관상동맥질환 하위유형 분류(STEMI, NSTEMI, 불안정협심증, 만성 관상동맥 증후군) 비율.
|
연구 완료까지 평균 2시간.
|
|
계산적 투자 수익률 (ROI)
기간: 연구 완료까지 평균 2시간.
|
의사 시간 절감 비율(산밍 의료 개혁 벤치마크의 표준화된 분당 임금으로 평가) 대 SCOUT 추론의 계산 비용, 임상의 경력 수준별로 층화된
|
연구 완료까지 평균 2시간.
|
공동 작업자 및 조사자
여기에서 이 연구와 관련된 사람과 조직을 찾을 수 있습니다.
연구 기록 날짜
이 날짜는 ClinicalTrials.gov에 대한 연구 기록 및 요약 결과 제출의 진행 상황을 추적합니다. 연구 기록 및 보고된 결과는 공개 웹사이트에 게시되기 전에 특정 품질 관리 기준을 충족하는지 확인하기 위해 국립 의학 도서관(NLM)에서 검토합니다.
연구 주요 날짜
연구 시작 (추정된)
2026년 2월 19일
기본 완료 (추정된)
2026년 2월 28일
연구 완료 (추정된)
2026년 2월 28일
연구 등록 날짜
최초 제출
2026년 2월 9일
QC 기준을 충족하는 최초 제출
2026년 2월 14일
처음 게시됨 (실제)
2026년 2월 17일
연구 기록 업데이트
마지막 업데이트 게시됨 (실제)
2026년 2월 17일
QC 기준을 충족하는 마지막 업데이트 제출
2026년 2월 14일
마지막으로 확인됨
2026년 2월 1일
추가 정보
이 연구와 관련된 용어
개별 참가자 데이터(IPD) 계획
개별 참가자 데이터(IPD)를 공유할 계획입니까?
예
IPD 계획 설명
이 연구에서 보고된 결과의 기반이 되는 개인 참가자의 비식별화된 데이터는 공개될 예정입니다.
IPD 공유 기간
주요 결과 발표 후 1개월부터 시작하여 최대 60개월 동안 이용 가능합니다.
IPD 공유 액세스 기준
해당 저자에게 합리적인 요청이 있을 경우 자료를 제공받을 수 있습니다.
요청자는 방법론적으로 타당한 연구 계획서를 제출하고 자료 사용 협약서에 서명해야 합니다.
IPD 공유 지원 정보 유형
- 연구_프로토콜
- 수액
- ICF
- ANALYTIC_CODE
- CSR
약물 및 장치 정보, 연구 문서
미국 FDA 규제 의약품 연구
아니
미국 FDA 규제 기기 제품 연구
아니
이 정보는 변경 없이 clinicaltrials.gov 웹사이트에서 직접 가져온 것입니다. 귀하의 연구 세부 정보를 변경, 제거 또는 업데이트하도록 요청하는 경우 register@clinicaltrials.gov. 문의하십시오. 변경 사항이 clinicaltrials.gov에 구현되는 즉시 저희 웹사이트에도 자동으로 업데이트됩니다. .