肾脏病学试验中基于人工智能反馈的推理增强 (REFINe)
肾脏病学中基于生成式人工智能反馈的推理增强（REFINe）：肾脏病学诊断中生成式人工智能支持的随机评估
本临床试验旨在探究人工智能（AI）如何帮助医生在肾脏医学领域进行诊断。 研究人员希望了解一种名为大型语言模型（LLM）的AI工具，是否能帮助医生更频繁地做出正确诊断，并增强他们对答案的信心。
在开始研究之前，研究团队测试了多种AI模型，并选择了表现最佳者之一——一个设置为使用高推理能力的GPT-5级模型。
本研究旨在回答的主要问题包括：
- 当医生能看到AI建议时，他们是否更频繁地做出正确诊断？
- 查看AI建议是否会改变医生对自身诊断的信心程度？
研究人员将比较接受AI建议的医生与未接受AI建议的医生，以观察AI如何影响诊断准确性、信心和决策过程。
参与者将完成最多10个在线临床病例。 对于每个病例，他们将：
- 阅读一个简短的医疗场景
- 提出最多三种可能的诊断
（若属于AI组）查看AI的建议，并决定是否更改其答案
本研究还将分析参与者回答每个病例所需的时间，以及AI表现与人类答案的对比情况。
研究概览
详细说明
本研究评估当临床医生在解决肾脏病学临床案例时，为其提供来自高推理能力大语言模型（GPT-5）的实时诊断建议，是否能够提高诊断准确性、信心和效率。 在选择用于试验的模型之前，研究团队在一组肾脏病学试点案例中对多个先进模型进行了基准测试，包括：GPT-5、GPT-5-mini、O3、GPT-4o、Llama-4 Maverick-17B、Gemini-2.5-Pro、 Qwen-3 VL-235B Thinking、DeepSeek-V3.2-Exp、 MedGEMMA-27B、Claude Sonnet-4.5 和 Magistral-Medium-2509。 GPT-5（高推理能力）展示了最高的诊断性能、稳定性和可解释性，因此被选为干预组中使用的AI系统。
参与者包括医学生、住院医师、专科培训医师和执业医师。 创建账户后，参与者需完成一份人口统计学问卷（专业、经验年限、执业类型、年龄类别、AI熟悉程度），并且在访问案例前必须明确同意将这些数据用于研究目的。 不收集直接识别身份的信息。
参与者被随机分组（按专业身份分层）至AI支持组或对照组。 每位参与者被分配10个法语或英语的肾脏病学案例，并可在多个会话中完成。 一旦提交案例，便无法重新访问（“不可回溯”）。 每个案例的完成时间会自动记录。
对照组
参与者查看每个案例并提供最多三个诊断（“Top-3”），随后进行信心评分（0-10分）。
AI支持组
参与者首先在不借助AI帮助的情况下输入初始的Top-3诊断和信心评分。 随后系统会显示GPT-5的诊断建议，之后参与者可以修改一次他们的诊断。 案例提交后即被锁定。
本研究收集：
- 初始和最终诊断，
- AI建议前和（如适用）后的信心评分，
- 完成时间，
- 参与者人口统计学变量，
- 以及AI模型自身的诊断输出。
允许部分完成；所有已完成的案例都将纳入分析。
主要和次要结局指标包括诊断准确性（Top-3和Top-1）、AI使用前后的准确性提升、诊断信心的变化、AI引发的诊断错误、人类与AI的基准比较、完成时间效率指标，以及分配案例的完成比例。
主要分析将比较对照组（仅医生）与实验组（AI模型辅助的医生）之间的诊断准确性。 准确性将作为二元结局（正确诊断 vs 错误诊断）进行分析。 由于每位参与者评估多个临床案例，准确性将使用混合效应逻辑回归模型进行分析，该模型包含研究组别的固定效应以及参与者和案例的随机截距。 这种方法考虑了案例间的聚类效应和难度差异。 主要假设检验使用双侧α = 0.05。 效应大小将以比值比和95%置信区间报告。 次要分析将通过交互项探讨准确性是否因人口统计学因素（例如，经验水平、专业）而异。
由于每位参与者评估多个案例，团队还使用混合效应逻辑回归模型（包含参与者和案例的随机截距）进行了基于模拟的效能分析，假设参与者内ICC为0.10。 在这些假设下，总样本量为100名参与者（每组50名），每名参与者评估10个案例，能够提供>99%的效能来检测诊断准确性上具有临床意义的改善。 因此，研究者计划总共招募约100名参与者。
本研究旨在量化当临床医生评估复杂的肾脏病学案例时，AI增强的推理是否能显著改善诊断性能和决策。
研究类型
注册 (估计的)
阶段
- 不适用
联系人和位置
学习联系方式
- 姓名：Raphaël BENTEGEAC, MD, MPH
- 电话号码：+33651204000
- 邮箱：raphael.bentegeac@univ-lille.fr
学习地点
-
-
-
Lille、法国、59000
- 招聘中
- Lille University Hospital (online study)
-
接触：
- Raphaël BENTEGEAC, MD, MPH
- 电话号码：+33651204000
- 邮箱：raphael.bentegeac@chu-lille.fr
-
接触：
- Aghiles HAMROUN, MD, PhD
- 邮箱：aghiles.hamroun@univ-lille.fr
-
-
参与标准
资格标准
适合学习的年龄
- 成人
- 年长者
接受健康志愿者
描述
纳入标准：
年龄在18岁或以上的成年人。
能够阅读并回答英语或法语的临床病例描述。
能够使用配备互联网连接的计算机或智能手机。
在线提供知情同意。
参与者应至少具备基本的医学培训背景（例如医学生、住院医师、专科培训医师或执业临床医生），但无需提供正式证明。
排除标准：
年龄在18岁以下的个人。
无法完成在线研究流程。
曾参与本研究所用人工智能系统的设计、开发或评估工作。
学习计划
研究是如何设计的？
设计细节
- 主要用途：诊断
- 分配：随机化
- 介入模型：并行分配
- 屏蔽：无（打开标签）
武器和干预
参与者组/臂 |
干预/治疗 |
|---|---|
|
实验性的：带AI建议的组
该组的参与者将完成与对照组相同的临床案例情景。
对于每个案例，他们将收到由大型语言模型（GPT-5，高推理配置）生成的建议诊断，该模型是在内部基准测试后选定的。
参与者可以在输入自己的最终诊断答案前查看AI建议。
不提供额外信息、提示或指导。
干预措施仅包括在案例解决任务期间显示AI生成的诊断建议。
|
该干预措施包括在临床病例解决任务期间显示AI生成的诊断建议。
阅读每个病例后，参与者将看到由大型语言模型（GPT-5，高推理配置）生成的首选诊断建议，该建议经过内部基准测试筛选。
AI建议每个病例仅出现一次，无法再次请求或修改。
参与者可在查看建议后修改其诊断答案，但之后无法返回病例。
不提供额外指导、辅导或交互功能。
|
|
无干预：未使用AI建议的组
该组的参与者将独立完成临床案例情景，不参考任何AI生成的诊断建议。
他们将阅读每个情景，并仅根据所提供的信息给出自己的诊断答案。
不提供外部决策支持或额外材料。
|
研究衡量的是什么？
主要结果指标
结果测量 |
措施说明 |
大体时间 |
|---|---|---|
|
人工智能支持与无支持情况下的最终诊断准确性（前3位）
大体时间：从第一个情景问题回答开始直到研究结束（最长12个月）。
|
对于每位参与者，正确主要诊断包含在参与者最终前三位诊断中的情景比例。 比较AI组（接受AI建议后）与对照组（无AI）的最终前三位诊断准确率。 正确诊断病例（前三位）的百分比。 |
从第一个情景问题回答开始直到研究结束（最长12个月）。
|
次要结果测量
结果测量 |
措施说明 |
大体时间 |
|---|---|---|
|
最终诊断准确率（top-1）：有AI辅助与无AI辅助对比
大体时间：从第一个小插曲回答直到研究结束（最长12个月）。
|
对于每位参与者，正确主要诊断包含在参与者最终首选诊断中的情景比例。
比较AI组（获得AI建议后）与对照组（无AI）的最终首选诊断准确率。
正确诊断病例的百分比（首选诊断）。
|
从第一个小插曲回答直到研究结束（最长12个月）。
|
|
AI建议前后前三位诊断准确率的变化（仅限AI组）
大体时间：从第一个小插曲回答开始直到研究结束（最多12个月）。
|
在AI辅助组中，参与者首先在没有AI建议的情况下提供初始答案（最多三个诊断），然后查看AI生成的建议，并可以修改一次答案；之后无法再返回该病例场景。 对于每位参与者，研究者计算所有完成病例场景中初始答案与最终答案之间前三名准确率的差异。 前三名诊断准确率的百分比变化 |
从第一个小插曲回答开始直到研究结束（最多12个月）。
|
|
AI建议前后诊断准确率（仅限AI组）的变化
大体时间：从第一个情景问题回答开始直到研究结束（最长12个月）。
|
在人工智能辅助组中，参与者首先在没有AI建议的情况下提供一个初始答案（最多三个诊断），然后查看AI生成的建议，并可修改一次答案；之后无法返回该病例描述。 对于每位参与者，研究人员计算所有已完成病例描述中初始答案与最终答案在Top-1准确率上的差异。 Top-1诊断准确率的百分比变化 |
从第一个情景问题回答开始直到研究结束（最长12个月）。
|
|
人工智能建议前的诊断置信度（0-10）：对照组与人工智能组
大体时间：从第一个情景问题回答开始直至研究结束（最长12个月）。
|
两组参与者均需在获得任何AI建议前，对其前三项诊断建议的置信度进行评分（0-10分制）。 在AI组中，此评分称为“AI前”评分。在对照组中，此为单一置信度评分（因不展示AI建议）。 研究人员将比较两组间的AI前置信度评分，按每位参与者完成的所有病例汇总分析。 |
从第一个情景问题回答开始直至研究结束（最长12个月）。
|
|
人工智能建议后最终诊断置信度（0-10）：对照组 vs 人工智能组
大体时间：从第一个小插曲回答开始直到研究结束（最长12个月）。
|
在所有已完成病例中，各试验组之间比较前三位诊断建议的最终诊断置信度（0-10分制）。 在人工智能组中，此为使用AI后的置信度评分。 在对照组中，此为相同的置信度评分（参与者未获得AI建议）。 |
从第一个小插曲回答开始直到研究结束（最长12个月）。
|
|
AI建议前后诊断信心变化（0-10分）（仅AI组）
大体时间：从回答第一个小插图开始直至研究结束（最长12个月）。
|
在AI干预组中，参与者在查看AI建议前后，均需对其前三名诊断提供置信度评分（0-10分制）。 对于每位参与者，研究者将计算所有已完成病例的组内变化（AI干预后评分减去AI干预前评分）。 置信度评分变化（0-10分制） |
从回答第一个小插图开始直至研究结束（最长12个月）。
|
|
人工智能导致的诊断错误（仅限人工智能组）
大体时间：从第一个情境问题回答开始直到研究结束（最多12个月）。
|
在参与者初始Top-1诊断正确的已完成的临床情景中，经过AI建议后最终Top-1诊断变为错误的比例。
|
从第一个情境问题回答开始直到研究结束（最多12个月）。
|
|
AI建议后前3位诊断的变化（仅限AI组）
大体时间：从第一个情景问题回答开始直到研究结束（最长12个月）。
|
在AI组已完成的病例中，Top-3诊断在AI介入前后答案不同的比例。
|
从第一个情景问题回答开始直到研究结束（最长12个月）。
|
|
前三诊断准确率：所有人类答案与AI准确率对比
大体时间：从回答第一个情景问题开始直至研究结束（最长12个月）。
|
对于每个病例场景，将人类参与者在任何人工智能建议前的Top-3诊断准确率（结合两个研究组参与者在接受AI辅助前的数据）与同一病例场景中人工智能模型的Top-3诊断准确率进行比较。 报告的结果为准确率差异，定义为AI的Top-3准确率减去人类在接受AI辅助前的Top-3准确率，以百分点表示，并在所有已完成的病例场景层面进行计算。 Top-3诊断准确率的百分点差异 |
从回答第一个情景问题开始直至研究结束（最长12个月）。
|
|
前 3 诊断准确性：AI 辅助后的人类最终答案与 AI 准确性对比（仅 AI 组）
大体时间：从第一个情景问题回答完成直至研究结束（最长12个月）。
|
对于AI支持组中完成的每个病例场景，将人类参与者在查看AI建议后的前三名诊断准确性与AI模型的前三名诊断准确性进行比较。 （前三名准确性是单一指标）报告的结果是准确性差异，定义为AI前三名准确性减去人类在AI辅助后的前三名准确性，以百分点表示，并在AI组所有已完成的病例场景层面进行计算。 AI与人类之间前三名诊断准确性的百分点差异 |
从第一个情景问题回答完成直至研究结束（最长12个月）。
|
|
每项情景任务在有AI支持和无AI支持情况下的完成时间
大体时间：从第一个情景问题回答开始直至研究结束（最长12个月）。
|
对于每个情景，平台记录从情景打开到答案提交的时间。 在对照组中，每个情景记录一个完成时间。 在AI支持组中，完成时间在查看AI建议之前记录一次，并在查看AI建议之后再次记录。 结果报告了研究组之间完成时间的差异，以秒为单位表示，并基于所有已完成的情景计算得出。 秒（完成时间差异） |
从第一个情景问题回答开始直至研究结束（最长12个月）。
|
|
已完成分配小插图的比例
大体时间：从第一个小插曲回答开始直到研究结束（最长12个月）。
|
对于每位参与者，比较各组在研究期间完成的10个情景故事的比例。
|
从第一个小插曲回答开始直到研究结束（最长12个月）。
|
合作者和调查者
研究记录日期
研究主要日期
学习开始 (实际的)
初级完成 (估计的)
研究完成 (估计的)
研究注册日期
首次提交
首先提交符合 QC 标准的
首次发布 (实际的)
研究记录更新
最后更新发布 (实际的)
上次提交的符合 QC 标准的更新
最后验证
更多信息
此信息直接从 clinicaltrials.gov 网站检索，没有任何更改。如果您有任何更改、删除或更新研究详细信息的请求，请联系 register@clinicaltrials.gov. clinicaltrials.gov 上实施更改，我们的网站上也会自动更新.