중국에서 일반인-대규모 언어 모델 협업의 진단 및 분류 능력
2026년 9월 5일 업데이트: Zhang Min, Huazhong University of Science and Technology
비전문가와 대형 언어 모델 협업의 진단 및 분류 역량: 중국 내 국가적 사후검사 무작위 대조 실험
이 무작위 대조 시험의 목표는 대규모 언어 모델이 일반인들의 일반 질병 자가 진단 및 분류 능력 향상에 어떤 역할을 하는지 평가하는 것입니다. 이 연구가 답하고자 하는 주요 질문은 다음과 같습니다:
- 도움 없이 처음 추측했을 때와 비교하여, LLM을 사용하는 것이 참가자들이 일반 질병에 대해 더 정확한 자가 진단 및 치료 결정을 내리는 데 도움이 되는가?
- 일반 검색 엔진 사용, LLM 단독 사용, 또는 의사들의 결정과 비교하여 사람들이 LLM과 함께 작업할 때 얼마나 더 나은가? 연구자들은 무작위로 LLM 그룹(DeepSeek 사용) 또는 검색 엔진 그룹에 할당된 참가자들을 비교하여 LLM 지원 접근법이 더 나은 임상적 판단으로 이어지는지 확인할 것입니다.
참가자들은 다음과 같은 작업을 수행합니다:
- 48개의 짧고 현실적인 건강 상황 시나리오 중 하나를 읽습니다;
- 가능한 원인을 최대 세 가지까지 가장 가능성 높은 순서부터 낮은 순서로 나열하고, 치료 수준을 선택하여 무엇이 문제일지 초기 추측을 합니다: 즉시 치료를 받기, 하루 안에 의사를 방문하기, 일주일 안에 의사를 방문하기, 또는 의료 치료 없이 집에서 관리하기.
- 할당된 도구(DeepSeek 또는 표준 검색 엔진)를 사용하여 정보를 조회하고 추측 및 치료 결정을 업데이트합니다;
- 도구 사용 후 최종 진단 및 치료 선택을 제출합니다. 또한, 연구 팀은 동일한 상황 시나리오에서 다른 4개의 AI 모델(GPT-4o, GPT-o1, DeepSeek-v3, DeepSeek-r1)과 33명의 경험 있는 일반 의사들의 성능을 평가했습니다.
연구 개요
연구 유형
중재적
등록 (실제)
6360
단계
- 해당 없음
연락처 및 위치
이 섹션에서는 연구를 수행하는 사람들의 연락처 정보와 이 연구가 수행되는 장소에 대한 정보를 제공합니다.
연구 장소
-
-
Hubei
-
Wuhan, Hubei, 중국
- Tongji Medical College of Huazhong University of Science & Technology School of Medicine and Health Management
-
-
참여기준
연구원은 적격성 기준이라는 특정 설명에 맞는 사람을 찾습니다. 이러한 기준의 몇 가지 예는 개인의 일반적인 건강 상태 또는 이전 치료입니다.
자격 기준
공부할 수 있는 나이
- 성인
- 고령자
건강한 자원 봉사자를 받아들입니다
아니
설명
포함 기준:
- 만 18세 이상
- 중국 본토 거주자
- Credamo 플랫폼에서 고품질 온라인 설문조사 참여 경력 (역사적 설문조사 수락률 ≥ 80% 및 개인 신용 점수 ≥ 70)
제외 기준:
- 불완전한 설문조사 응답
- 내장된 품질 확인 항목 실패
- 비합리적으로 짧은 완료 시간 (검색 엔진 그룹: <180초; LLM 그룹: <360초)
- 비진단적 또는 관련 없는 응답 제공 (예: "알 수 없음", "모름")
- 모든 항목에서 동일한 응답 패턴의 일관성
공부 계획
이 섹션에서는 연구 설계 방법과 연구가 측정하는 내용을 포함하여 연구 계획에 대한 세부 정보를 제공합니다.
연구는 어떻게 설계됩니까?
디자인 세부사항
- 주 목적: 건강 서비스 연구
- 할당: 무작위
- 중재 모델: 병렬 할당
- 마스킹: 하나의
무기와 개입
참가자 그룹 / 팔 |
개입 / 치료 |
|---|---|
|
실험적: 일반인-LLM 통합 그룹
참가자들은 도구의 도움 없이 임상 진단 및 분류 질문에 대해 초기 답변을 한 후, 대규모 언어 모델(Deepseek v3 또는 r1)을 사용하여 건강 정보를 검색하고 동일한 질문에 다시 답변하도록 요청받았습니다
|
이 그룹의 참가자들은 초기 진단 및 분류 결정을 제공한 후 임상 사례와 관련된 의학 정보를 검색하기 위해 대규모 언어 모델(DeepSeek)을 사용했습니다.
그들은 통찰력을 수집하기 위해 모델과 자유롭게 상호작용하도록 지시받았으며, 그 후 진단과 분류 권고사항을 업데이트했습니다.
이 중재는 개인 건강 결정을 위한 AI 도구의 실제 사용을 시뮬레이션합니다.
|
|
활성 비교기: 일반인 검색 엔진 그룹
참가자들은 도구를 사용하지 않고 임상 진단 및 분류 질문에 대해 먼저 답변한 후, 검색 엔진을 사용하여 건강 정보를 검색하고 동일한 질문에 다시 답변해야 했습니다
|
이 그룹의 참가자들은 초기 진단 및 분류 결정 후 임상 비네트 정보를 찾기 위해 주요 인터넷 검색 엔진(예: Baidu, Google, Bing)을 사용했습니다.
그들은 자유롭게 검색할 수 있었지만 명시된 AI 챗봇이나 대규모 언어 모델 플랫폼을 사용하는 것은 허용되지 않았습니다.
이 그룹은 전형적인 자기 주도적 온라인 건강 정보 탐색 행동을 나타냅니다.
|
연구는 무엇을 측정합니까?
주요 결과 측정
결과 측정 |
측정값 설명 |
기간 |
|---|---|---|
|
상위 3개 진단 정확도
기간: 중재 직후 (동일 설문 세션 내)
|
주요 진단 결과는 할당된 도구(LLM 또는 검색 엔진)를 사용한 후 상위 세 가지 감별 진단에 올바른 진단을 포함한 참가자의 비율로 정의되었습니다.
정확도는 48개의 임상 비네트 각각에 대해 평가되었으며 각 그룹의 모든 참가자 전체에서 집계되었습니다.
|
중재 직후 (동일 설문 세션 내)
|
|
분류 정확도 (4단계 정확 일치)
기간: 중재 직후 (동일한 설문 세션 내에서)
|
분류 정확도는 참가자가 기준 표준과 일치하는 올바른 분류 수준(응급 치료, 1일 이내, 1주일 이내, 자가 치료)을 선택한 비율로 정의되었습니다.
분류 범주당 12개의 비네트가 있었습니다.
|
중재 직후 (동일한 설문 세션 내에서)
|
2차 결과 측정
결과 측정 |
측정값 설명 |
기간 |
|---|---|---|
|
상위 1 진단 정확도
기간: 중재 직후 (동일한 설문조사 세션 내)
|
할당된 도구를 사용한 후 올바른 진단을 최상위(첫 번째) 진단으로 선택한 참가자의 비율입니다.
이것은 일반인의 최종 진단 판단의 정밀도를 측정합니다.
|
중재 직후 (동일한 설문조사 세션 내)
|
|
트리아지 정확도 (2등급 이진 일치)
기간: 개입 직후 (동일한 설문 세션 내)
|
개입 직후 (동일한 설문 세션 내)
|
공동 작업자 및 조사자
여기에서 이 연구와 관련된 사람과 조직을 찾을 수 있습니다.
수사관
- 수석 연구원: Chenxi Liu, Huazhong University of Science and Technology
연구 기록 날짜
이 날짜는 ClinicalTrials.gov에 대한 연구 기록 및 요약 결과 제출의 진행 상황을 추적합니다. 연구 기록 및 보고된 결과는 공개 웹사이트에 게시되기 전에 특정 품질 관리 기준을 충족하는지 확인하기 위해 국립 의학 도서관(NLM)에서 검토합니다.
연구 주요 날짜
연구 시작 (실제)
2025년 4월 27일
기본 완료 (실제)
2025년 7월 1일
연구 완료 (실제)
2025년 7월 1일
연구 등록 날짜
최초 제출
2025년 11월 17일
QC 기준을 충족하는 최초 제출
2025년 11월 25일
처음 게시됨 (실제)
2025년 11월 26일
연구 기록 업데이트
마지막 업데이트 게시됨 (실제)
2026년 9월 10일
QC 기준을 충족하는 마지막 업데이트 제출
2026년 9월 5일
마지막으로 확인됨
2025년 10월 1일
추가 정보
이 연구와 관련된 용어
기타 연구 ID 번호
- JCYJ20240813115806009
개별 참가자 데이터(IPD) 계획
개별 참가자 데이터(IPD)를 공유할 계획입니까?
예
IPD 계획 설명
According to the ethical agreements, individual participant data cannot be deposited in a public data repository and can be made available for research purposes upon request.
Researchers can request the de-identified data by submitting a data use agreement (DUA) to the Medical Ethics Committee of Tongji Medical College, Huazhong University of Science and Technology.
The DUA must state that the data will be used for research purposes only and that no attempt will be made to re-identify participants.
Upon approval of the request, the data will be made available.
The contact information is as follows: tongjilunli@vip.163.com
(email); +86-27-83691785 (fax); Office 12, 16th Floor, Teaching Building 2, School of Basic Medicine, Tongji Medical College, No. 13 Hangkong Road, Wuhan, Hubei Province, China (address).
약물 및 장치 정보, 연구 문서
미국 FDA 규제 의약품 연구
아니
미국 FDA 규제 기기 제품 연구
아니
이 정보는 변경 없이 clinicaltrials.gov 웹사이트에서 직접 가져온 것입니다. 귀하의 연구 세부 정보를 변경, 제거 또는 업데이트하도록 요청하는 경우 register@clinicaltrials.gov. 문의하십시오. 변경 사항이 clinicaltrials.gov에 구현되는 즉시 저희 웹사이트에도 자동으로 업데이트됩니다. .