中国非专业人员与大型语言模型协作的诊断与分诊能力
2026年9月5日 更新者:Zhang Min、Huazhong University of Science and Technology
《非专业人士与大型语言模型协作的诊断和分类能力评估:一项在中国的全国性前后测随机对照试验》
这项随机对照试验的目的是评估大型语言模型在提高普通人自我诊断和分诊常见疾病能力方面的作用。 它旨在回答的主要问题是:
- 与没有任何帮助时的初步猜测相比,使用LLM是否有助于参与者对常见疾病做出更准确的自我诊断和护理决策?
- 与使用常规搜索引擎、单独使用LLM或医生决策相比,人们与LLM合作时的表现要好多少? 研究人员将比较随机分配到LLM组(使用DeepSeek)或搜索引擎组的参与者,以确定LLM辅助方法是否能带来更好的临床判断。
参与者将:
- 阅读48个简短、逼真的健康情景描述之一;
- 通过列出最多三个可能的原因(按可能性从高到低排序)并选择护理级别:立即就医、一天内看医生、一周内看医生或在家自行管理无需医疗护理,对可能存在的问题做出初步猜测;
- 使用指定的工具(DeepSeek或标准搜索引擎)查找信息并更新他们的猜测和护理决策;
- 在使用工具后提交他们的最终诊断和护理选择。 此外,研究团队还在相同的情景描述上评估了其他四个AI模型(GPT-4o、GPT-o1、DeepSeek-v3和DeepSeek-r1)以及33名经验丰富的全科医生的表现。
研究概览
研究类型
介入性
注册 (实际的)
6360
阶段
- 不适用
联系人和位置
本节提供了进行研究的人员的详细联系信息,以及有关进行该研究的地点的信息。
学习地点
-
-
Hubei
-
Wuhan、Hubei、中国
- Tongji Medical College of Huazhong University of Science & Technology School of Medicine and Health Management
-
-
参与标准
研究人员寻找符合特定描述的人,称为资格标准。这些标准的一些例子是一个人的一般健康状况或先前的治疗。
资格标准
适合学习的年龄
- 成人
- 年长者
接受健康志愿者
不
描述
纳入标准:
- 年龄18岁或以上
- 目前居住在中国大陆
- 在Credamo平台有高质量参与在线调查的历史(历史调查接受率≥80%且个人信用评分≥70)
排除标准:
- 调查回答不完整
- 未通过嵌入式质量检查项目
- 完成时间不合理地短(搜索引擎组<180秒;LLM组<360秒)
- 提供非诊断性或无关回答(例如"未知"、"不知道")
- 所有项目回答模式完全一致
学习计划
本节提供研究计划的详细信息,包括研究的设计方式和研究的衡量标准。
研究是如何设计的?
设计细节
- 主要用途:卫生服务研究
- 分配:随机化
- 介入模型:并行分配
- 屏蔽:单身的
武器和干预
参与者组/臂 |
干预/治疗 |
|---|---|
|
实验性的:普通人-人工智能语言模型整合组
在最初在没有工具辅助的情况下回答临床诊断和分诊问题后,参与者被要求使用大型语言模型(Deepseek v3 或 r1)检索健康信息,然后再次回答相同的问题
|
该组参与者在提供初步诊断和分诊决策后,使用大型语言模型(DeepSeek)搜索与临床案例相关的医疗信息。他们被指示自由与模型互动以收集见解,然后更新其诊断和分诊建议。该干预措施模拟了在现实世界中使用AI工具进行个人健康决策的过程
|
|
有源比较器:非专业人士-搜索引擎群组
参与者在最初不使用工具回答临床诊断和分诊问题后,被要求使用搜索引擎检索健康信息,然后再次回答相同的问题
|
该组参与者在做出初步诊断和分诊决策后,使用主流互联网搜索引擎(如百度、谷歌、必应)查找有关临床病例的信息。
他们可以自由搜索,但不允许使用任何指定的AI聊天机器人或大型语言模型平台。
该组代表了典型的自主在线健康信息寻求行为。
|
研究衡量的是什么?
主要结果指标
结果测量 |
措施说明 |
大体时间 |
|---|---|---|
|
前3名诊断准确性
大体时间:干预后立即(在同一调查会话中)
|
主要诊断结果定义为使用指定工具(LLM 或搜索引擎)后,在鉴别诊断前三位中包含正确诊断的参与者比例。
针对 48 个临床案例分别评估准确性,并在每组所有参与者中汇总。
|
干预后立即(在同一调查会话中)
|
|
分诊准确度(4类精确匹配)
大体时间:干预后立即(在同一调查会话内)
|
分诊准确性定义为选择正确分诊级别(急诊护理、一天内、一周内或自我护理)且与参考标准匹配的参与者比例。每个分诊类别有12个情景案例。
|
干预后立即(在同一调查会话内)
|
次要结果测量
结果测量 |
措施说明 |
大体时间 |
|---|---|---|
|
Top-1 诊断准确率
大体时间:干预后立即(在同一调查会话内)
|
参与者在使用指定工具后,将正确诊断选为其首选(第一)诊断的比例。
这衡量了非专业人士最终诊断判断的精确度。
|
干预后立即(在同一调查会话内)
|
|
分诊准确性(二分类匹配)
大体时间:干预后立即(同一调查会话内)
|
干预后立即(同一调查会话内)
|
合作者和调查者
在这里您可以找到参与这项研究的人员和组织。
调查人员
- 首席研究员:Chenxi Liu、Huazhong University of Science and Technology
研究记录日期
这些日期跟踪向 ClinicalTrials.gov 提交研究记录和摘要结果的进度。研究记录和报告的结果由国家医学图书馆 (NLM) 审查,以确保它们在发布到公共网站之前符合特定的质量控制标准。
研究主要日期
学习开始 (实际的)
2025年4月27日
初级完成 (实际的)
2025年7月1日
研究完成 (实际的)
2025年7月1日
研究注册日期
首次提交
2025年11月17日
首先提交符合 QC 标准的
2025年11月25日
首次发布 (实际的)
2025年11月26日
研究记录更新
最后更新发布 (实际的)
2026年9月10日
上次提交的符合 QC 标准的更新
2026年9月5日
最后验证
2025年10月1日
更多信息
与本研究相关的术语
其他研究编号
- JCYJ20240813115806009
计划个人参与者数据 (IPD)
计划共享个人参与者数据 (IPD)?
是的
IPD 计划说明
According to the ethical agreements, individual participant data cannot be deposited in a public data repository and can be made available for research purposes upon request.
Researchers can request the de-identified data by submitting a data use agreement (DUA) to the Medical Ethics Committee of Tongji Medical College, Huazhong University of Science and Technology.
The DUA must state that the data will be used for research purposes only and that no attempt will be made to re-identify participants.
Upon approval of the request, the data will be made available.
The contact information is as follows: tongjilunli@vip.163.com
(email); +86-27-83691785 (fax); Office 12, 16th Floor, Teaching Building 2, School of Basic Medicine, Tongji Medical College, No. 13 Hangkong Road, Wuhan, Hubei Province, China (address).
药物和器械信息、研究文件
研究美国 FDA 监管的药品
不
研究美国 FDA 监管的设备产品
不
此信息直接从 clinicaltrials.gov 网站检索,没有任何更改。如果您有任何更改、删除或更新研究详细信息的请求,请联系 register@clinicaltrials.gov. clinicaltrials.gov 上实施更改,我们的网站上也会自动更新.