신장학 임상시험에서 인공지능 피드백을 통한 추론 강화 (REFINe)

이 연구는 신장학 임상 사례를 해결할 때, 고추론 대규모 언어 모델(GPT-5)의 실시간 진단 제안을 임상의에게 제공하는 것이 진단 정확도, 확신도 및 효율성을 향상시키는지 평가합니다. 시험에 사용할 모델을 선택하기 전에, 연구팀은 GPT-5, GPT-5-mini, O3, GPT-4o, Llama-4 Maverick-17B, Gemini-2.5-Pro, Qwen-3 VL-235B Thinking, DeepSeek-V3.2-Exp, MedGEMMA-27B, Claude Sonnet-4.5, Magistral-Medium-2509를 포함한 파일럿 신장학 사례 세트를 통해 여러 최첨단 모델을 벤치마크했습니다. GPT-5(고추론)가 가장 높은 진단 성능, 안정성 및 해석 가능성을 보여주었으며, 중재군에서 사용된 AI 시스템으로 선택되었습니다.

참가자에는 의과대학생, 레지던트, 펠로우 및 현직 의사가 포함됩니다. 계정을 생성한 후, 참가자는 인구통계학적 설문지(전문 분야, 경력 연수, 진료 유형, 연령대, AI 친숙도)를 작성하고, 사례에 접근하기 전에 연구 목적으로 이 데이터 사용에 명시적으로 동의해야 합니다. 직접적인 신원 식별 정보는 수집되지 않습니다.

참가자는 AI 지원군 또는 대조군에 무작위 배정됩니다(직업적 지위별 계층화 포함). 각 참가자는 프랑스어 또는 영어로 된 10개의 신장학 사례를 할당받으며, 여러 세션에 걸쳐 완료할 수 있습니다. 사례가 제출되면 다시 검토할 수 없습니다("되돌아가기 불가"). 사례별 완료 시간은 자동으로 기록됩니다.

대조군

참가자는 각 사례를 보고 최대 세 개의 진단("상위 3")을 제공한 후, 확신도 평가(0-10)를 합니다.

AI 지원군

참가자는 먼저 AI 도움 없이 초기 상위 3 진단과 확신도 평가를 입력합니다. 그런 다음 시스템이 GPT-5의 진단 제안을 표시한 후, 참가자는 진단을 한 번 수정할 수 있습니다. 사례는 제출 후 잠깁니다.

연구는 다음을 수집합니다:

• 초기 및 최종 진단,
• AI 제안 전과 (해당 시) 후의 확신도 평가,
• 완료 시간,
• 참가자 인구통계학적 변수,
• AI 모델 자체의 진단 출력.

부분 완료가 허용되며, 완료된 모든 사례는 분석에 기여합니다.

주요 및 부차적 결과에는 진단 정확도(상위 3 및 상위 1), AI 전후 정확도 향상, 진단 확신도 변화, AI 유도 진단 오류, 인간 대 AI 벤치마킹, 완료 시간 효율성 지표, 할당된 사례 완료 비율이 포함됩니다.

주요 분석은 대조군(의사 단독)과 실험군(AI 모델 지원 의사) 간의 진단 정확도를 비교할 것입니다. 정확도는 이분형 결과(정확한 진단 대 부정확한 진단)로 분석됩니다. 각 참가자가 여러 임상 사례를 평가하기 때문에, 정확도는 연구군에 대한 고정 효과와 참가자 및 사례에 대한 랜덤 절편을 포함한 혼합 효과 로지스틱 회귀를 사용하여 모델링됩니다. 이 접근 방식은 클러스터링과 사례 간 난이도 변동을 고려합니다. 주요 가설 검정은 양측 α = 0.05를 사용합니다. 효과 크기는 95% 신뢰 구간을 가진 오즈비로 보고됩니다. 부차적 분석은 상호작용 항을 사용하여 정확도가 인구통계학적 요인(예: 경력 수준, 전문 분야)에 따라 변하는지 탐색할 것입니다.

각 참가자가 여러 사례를 평가하기 때문에, 팀은 참가자 및 사례에 대한 랜덤 절편을 포함한 혼합 효과 로지스틱 회귀 모델을 사용하여 시뮬레이션 기반 검정력 분석도 수행했으며, 참가자 내 ICC를 0.10으로 가정했습니다. 이러한 가정 하에, 참가자당 10개의 사례를 가진 총 100명의 참가자(군당 50명)는 진단 정확도의 임상적으로 의미 있는 향상을 감지하는 데 >99%의 검정력을 제공합니다. 따라서 연구자들은 총 약 100명의 참가자를 등록할 계획입니다.

이 연구는 임상의가 복잡한 신장학 사례를 평가할 때, AI 보강 추론이 진단 성능과 의사 결정을 의미 있게 향상시키는지 정량화하는 것을 목표로 합니다.