提高初级保健中人工智能分诊的准确性
我们为什么要进行这项研究? 当患者联系全科医生诊所时,第一步是确定他们需要什么样的帮助以及需要多快获得帮助。 这被称为“分诊”,对患者安全至关重要。
人工智能(AI)可以帮助加快分诊速度。 虽然人工智能已在英国国民医疗服务体系中使用,但我们尚不清楚其准确性如何,或者是否对所有患者都公平对待。
我们将要做什么?
我们将从英格兰地区使用名为Patchs的AI分诊系统的全科医生诊所收集匿名患者数据。 该项目将持续四年。 我们将分四个步骤分析数据:
- 研究使用Patchs但未启用AI分诊功能的诊所数据,了解他们目前如何进行患者分诊以及面临哪些问题。
- 利用使用Patchs系统(同时包含启用和未启用AI分诊功能)的诊所数据,提高AI分诊的准确性。
- 通过分析使用Patchs且关闭AI分诊功能的诊所数据,评估优化后AI系统的工作效果。
- 将改进后的AI分诊系统提供给已在使用的诊所。
在每一步骤中,我们都会核查来自不同背景的患者是否得到公平对待。
我们将如何分析数据? 我们将使用统计方法比较AI与临床工作人员作出的分诊决策。 这项分析还将用于验证AI系统是否对不同背景的患者公平有效。
我们将带来什么改变? 我们的研究将揭示分诊过程中存在的问题,并说明改进后的AI系统如何帮助患者更快获得所需护理。
研究概览
详细说明
背景 全科医生诊所工作人员通过分诊联系他们的患者,以优化资源利用并保障患者安全。 大多数全科医生诊所使用在线咨询系统,允许患者通过在线表格联系诊所。 患者无需与工作人员交谈即可提交咨询,从而绕过了常规分诊流程。 在线咨询系统可使用"人工智能"(AI)进行分诊,但对其性能的研究尚显不足。 我们(曼彻斯特大学;UoM)拟通过与具备可选AI分诊功能的在线咨询系统提供商(Patchs)合作来填补这一空白。
研究问题 总体研究问题:能否开发出能复现临床医生分诊决策的AI模型?
- 患者和全科医生诊所在初级保健分诊中面临哪些挑战及其驱动因素?
- 哪种AI模型在初级保健分诊中表现最佳?
- AI分诊性能在不同地理区域是否保持稳定?
- AI分诊性能是否随时间推移保持稳定?
- AI分诊性能与当前临床实践相比如何?
- AI分诊在投入临床实践后性能是否发生变化?
- AI分诊是否对所有患者公平有效? 方法 工作流1:分诊问题量化。 我们将分析禁用AI分诊功能的Patchs全科诊所历史匿名数据。 在公开数据可获的情况下,我们将与未使用Patchs的对照诊所进行实践层面数据对比。 通过描述性和推断性分析,探究潜在分诊问题及其影响因素(如患者护理延迟)。
工作流2:AI开发。 利用使用Patchs的全科诊所历史匿名数据,通过四种方法(逻辑回归、XGBoost、长短期记忆网络LSTM、大语言模型LLM)构建新版AI分诊模型。 采用地理区域内外交叉验证,通过随机效应meta分析和亚组分析评估性能与公平性(如跨种族)。 与现行AI分诊模型进行性能对比。 最佳表现AI模型的最终版本将基于完整数据集开发。
工作流3:前瞻性背景评估。 通过在"后台"运行模型,获取最佳AI模型对未启用AI分诊的Patchs诊所前瞻性收集数据的预测结果。 按前述方法进行亚组分析以评估公平性。
工作流4:前瞻性实施评估。 依照Patchs正常软件更新流程,为已使用AI分诊的诊所升级最佳性能模型版本。 前瞻性测量诊所工作人员和患者对新版分诊预测的认可频率,验证其在实际诊疗中的表现。 按前述方法进行亚组分析以评估公平性。
预期效益 有助于理解全科诊所当前在线咨询分诊面临的困境。 若成功开发改进的AI模型,可提升患者安全(如帮助患者更快获得救治)并减轻诊所工作负荷(如自动化分诊流程)。 工作流4中的诊所及患者将立即受益。 为尚未采用AI分诊的诊所提供是否引入该技术的决策依据。
研究类型
注册 (估计的)
阶段
- 不适用
联系人和位置
学习联系方式
- 姓名:Benjamin C Brown, MRCGP, PhD
- 电话号码:+44 161 306 9966
- 邮箱:benjamin.brown@manchester.ac.uk
学习地点
-
-
-
London、英国
- 招聘中
- NHS GP practices
-
-
参与标准
资格标准
适合学习的年龄
- 孩子
- 成人
- 年长者
接受健康志愿者
描述
纳入标准:
- 使用Patchs系统的全科医生诊所
排除标准:
- 不适用
学习计划
研究是如何设计的?
设计细节
- 主要用途:卫生服务研究
- 分配:非随机化
- 介入模型:并行分配
- 屏蔽:三倍
武器和干预
参与者组/臂 |
干预/治疗 |
|---|---|
|
实验性的:AI分诊
使用AI分诊的全科医生诊所
|
Patchs AI 可在患者使用 Patchs 在线咨询系统时,自动处理全科医生诊所的部分分诊和工作流程。
其旨在辅助而非取代人类决策。
Patchs AI 通过减少人工任务来降低全科医生诊所的工作负荷,并通过帮助患者更快获得适当护理来提升患者安全。
Patchs AI 利用患者信息及其在线咨询内容,建议紧急程度、临床主题、医务人员角色及咨询开展方式。
基于这些建议,系统可为患者提供相关健康信息、通过提问获取更多信息,和/或建议其联系其他护理服务提供者。
全科医生诊所工作人员和患者可接受或拒绝 Patchs AI 的建议,相关反馈将用于系统安全监测及模型再训练。
|
|
有源比较器:无AI分诊
未使用AI分诊的全科诊所
|
使用不含AI分诊功能的Patchs系统,即仅进行人工分诊
|
研究衡量的是什么?
主要结果指标
结果测量 |
措施说明 |
大体时间 |
|---|---|---|
|
F1分数
大体时间:从入组到研究结束,预计为4年
|
各AI分诊模块的F1分数(其精确率与召回率的调和平均值)
|
从入组到研究结束,预计为4年
|
合作者和调查者
出版物和有用的链接
有用的网址
研究记录日期
研究主要日期
学习开始 (实际的)
初级完成 (估计的)
研究完成 (估计的)
研究注册日期
首次提交
首先提交符合 QC 标准的
首次发布 (实际的)
研究记录更新
最后更新发布 (实际的)
上次提交的符合 QC 标准的更新
最后验证
更多信息
与本研究相关的术语
其他研究编号
- 340776
- 7hzfm (其他标识符:Open Science Framework)
计划个人参与者数据 (IPD)
计划共享个人参与者数据 (IPD)?
IPD 计划说明
药物和器械信息、研究文件
研究美国 FDA 监管的药品
研究美国 FDA 监管的设备产品
此信息直接从 clinicaltrials.gov 网站检索,没有任何更改。如果您有任何更改、删除或更新研究详细信息的请求,请联系 register@clinicaltrials.gov. clinicaltrials.gov 上实施更改,我们的网站上也会自动更新.