불확실성 삼각 측정을 통한 대규모 언어 모델의 확장 가능한 임상 감독 (SCOUT)

배경: 대규모 언어 모델이 임상 워크플로우에 점점 더 많이 배포되고 있지만, 모든 AI 출력물에 대해 임상의의 검토를 요구하는 것은 그 도입을 동기 부여하는 효율성 향상을 무효화합니다. SCOUT는 알고리즘적 메타 검증을 통해 이 효율성-안전성 역설을 해결합니다.<\/p>

SCOUT 프레임워크는 사례 수준 불확실성을 결정하기 위해 세 가지 직교적 외부 신호를 삼각 측량합니다: (1) 모델 이질성 - 구조적으로 다른 보조 LLM이 주 모델과 일치하는지 여부; (2) 확률적 불일치 - 동일 모델에서 반복 샘플링이 서로 다른 출력을 생성하는지 여부; (3) 추론 비판 - 외부 검사 모델이 사고 연쇄 추론에서 논리적 결함을 식별하는지 여부.<\/p>

이 교차 시험에서 다양한 경력의 7명의 임상의(초년차 레지던트 2명, 상급 레지던트 3명, 주치의 2명)가 각각 표준 수동 검토 및 SCOUT 지원 검토 워크플로우 하에서 모든 110건의 사례를 검토합니다. 본 연구는 워크플로우 효율성(주요 종료점)과 진단 정확도(보조 종료점)를 평가합니다.<\/p>