动态人工智能:通过远程管理和预测建模进行数字创新,将慢性阻塞性肺病护理与基于人工智能的见解相结合:可接受性、可行性和安全性研究 (DYNAMIC AI)
通过远程管理和预测建模进行数字创新,将慢性阻塞性肺病护理与基于人工智能的见解相结合:可接受性、可行性和安全性研究
研究概览
详细说明
背景:慢性阻塞性肺病的需求、挑战和机遇。
慢性阻塞性肺疾病(COPD)是全球医疗保健面临的挑战。 虽然慢性阻塞性肺病患者的护理质量存在差距,但慢性阻塞性肺病恶化是造成大部分疾病负担、不良后果和医疗费用的原因。 慢性阻塞性肺病患者优先考虑避免病情加重和由此导致的住院治疗。 《慢性阻塞性肺病患者宪章》(2021 年 3 月)呼吁采取积极主动的预防性管理,以降低病情加重和过早死亡的风险1。 利用共同设计的数字工具和可穿戴传感器和基于人工智能的预测模型等新兴创新进行数字化转型,为解决这些慢性阻塞性肺病护理质量差距并实现护理重新定位提供了机会。
动态:NHS GG&C COPD 数字服务转型、实施和证据。
“DYNAMIC”(通过远程管理和预测建模整合慢性阻塞性肺病护理的数字创新)计划于 2018 年启动。 这是基于 NHS GG&C 呼吸医学与苏格兰西部创新团队以及 LenusHealth(当时的 StormID)之间的创新合作伙伴关系。 初始资金来自 InnovateUK 的数字健康技术催化剂奖。 随后苏格兰政府的技术支持护理 (TEC) 计划资助继续提供服务并允许扩大供应规模。
我们的愿景是通过开发、实施和评估共同设计的数字工具来启动慢性阻塞性肺病服务的数字化转型。 我们根据用户体验测试周期共同设计了“LenusCOPD”患者和临床医生网络应用程序和支持网站。 我们的目标是建立患者在随访期间可持续使用的工具,并支持慢性阻塞性肺病的共同管理,以期减少高危慢性阻塞性肺病队列中与呼吸系统相关的入院人数和占用床位天数。 在“接收者”观察队列研究和随后扩大的“动态 SCOT”服务评估中收集了证据。
RECEIVER / DYNAMIC-SCOT2 的主要结果:
- 参与者继续使用 LenusCOPD 患者应用程序,入职后 1 年以上,平均每人每周有 3.5 次互动。
- 在前一年有严重急性加重病史的参与者接受 LenusCOPD 治疗后,与 COPD 相关的住院率和占用床位天数有所减少,再入院的中位时间为 380 天,而当代匹配对照患者队列的中位时间为 50 天。
- 入院或死亡的中位时间在对照组中为 43 天,在 RECEIVER 组中为 338 天,在前一年出现严重恶化的 DYNAMIC-SCOT 参与者中为 400 天。
- 对照患者的 12 个月入院或死亡风险为 74%,RECEIVER 患者为 53%,DYNAMIC-SCOT 子队列参与者为 47%。
这些可行性和实用性结果支持扩大这些数字工具的采用。 在苏格兰政府新的 TEC 资金支持下,NHS GG&C 2022-2024 将继续扩大提供 LenusCOPD 核心服务。 目前已有约 400 名患者加入 COPD 数字服务(2022 年 3 月),随着 LenusCOPD 用于支持 COPD 诊断、定期检查和肺康复服务的康复和重新定位,用户数量预计还会增加。 这种持续的采用和我们的创新合作伙伴关系提供了测试床基础设施来实施和评估其他创新,包括本临床研究中提出的 MDT 决策支持的人工智能见解。
理由:经过训练和验证的 COPD 风险预测模型
上述挑战为使用人工智能开发患者风险预测模型提供了机会。 作为服务一部分收集的数据与历史电子健康记录数据一起用于创建一套风险预测模型。 开发每个模型都采取以下步骤。
- 数据探索 - 数据探索和可视化,以识别数据集的特征、偏差和其他问题。
- 问题表述——如何定义感兴趣的目标变量,以及使用什么建模方法。
- 数据分割 - 定义分割用于训练、验证和测试的数据集的策略。
- 数据清理和缺失数据处理 - 识别错误数据、数据集中的异常值,并定义处理缺失数据的策略(插补、排除、允许缺失值)。
- 特征工程 - 将原始数据转换和聚合为用于模型训练的特征的过程。 特征工程可以从数据中获得更深入的见解。
- 模型训练 - 探索不同的机器学习算法并为当前问题选择最佳候选算法。 然后将处理后的特征用于模型训练。
- 模型验证 - 使用保留测试数据集验证和报告模型性能。
- 模型可解释性——使用第三方方法使模型预测尽可能可解释和解释。
- 模型公平性 - 检查感兴趣的子组的模型性能以及潜在的模型重新训练以解决任何不平等问题。
有关模型开发的完整详细信息,请参阅研究者手册和模型批准报告。 每个模型的输出是代表每个患者发生感兴趣事件的概率的数字。
干涉
我们共同设计了在 COPD-MDT 中为临床医生提供基于实时 AI 模型的 12 个月死亡率和 3 个月再入院风险评分所需的所有组件。 为了确保 COPD 数字服务的生产不受 AI Insights 研究的影响,将开发一个单独的临床医生仪表板来显示这些模型预测。 恶化模型的输出将是发送给患者的“登记”消息,强调他们的数据可能存在一些变化,促使他们审查其自我管理计划和/或在需要时联系临床团队寻求建议。 表 1 对此进行了总结,签入消息示例如图 1 所示。
运行这些模型所需的所有源数据源均已使用 Azure 数据科学 VM(虚拟机)在 NHS GG&C Azure 租赁中建立。 干预措施包括:-
同意程序
更多详细信息请参见 CIP 第 10.4 节和“DYNAMIC-AI 同意的标准操作程序”文件。 LenusCOPD 数字服务支持网站 https://support.nhscopd.scot 提供详细的患者信息以及支持同意过程的解释视频链接。 在获得所有研究批准之前,研究信息不会在该开放获取网站上发布。 网络内容可在批准前进行审查:https://support.test.nhscopd.scot/dynamic-ai
LenusCOPD 患者应用程序包含同意屏幕,受邀患者可以在其中查看有关研究的信息并接受、拒绝或推迟同意,并通过支持网站访问更多信息,或请求与研究团队进行讨论。 LenusCOPD 临床医生仪表板 AI 见解同意页面包含用于在患者应用程序中激活同意、在患者请求时撤销同意以及审核同意状态的用户界面。
人工智能洞察数据管道这些基于云的数字连接摄取并汇总来自同意参与者的相关健康记录数据(人口统计、诊断、入院、处方、实验室结果)。 数据经过聚合、假名化并转换为适合 AI 洞察服务使用的格式。 提供此数据的流程由 NHS GG&C SafeHaven 团队批准和支持,并具有标准操作程序。
AI 洞察模型服务管道基于云的数字管道从数据管道中获取预处理数据以供机器学习模型使用,为同意的参与者提供模型预测和可解释性,供 AI Insights Clinician 应用程序使用。
人工智能洞察服务这包括基于云的电子健康系统后端功能和流程,它们接收指令并执行操作以确保干预的顺利进行。
AI 见解数据库 AI Insights 数字服务的数据存储。 原始数据和汇总数据可以作为模型性能报告导出,供数据科学和临床主管审查,导出到临床试验单位进行独立分析,并长期保留(根据 IRAS 文件)。
AI 见解临床医生应用程序 该 Web 应用程序为临床医生提供临床仪表板(图 1 和 2),用于查看和导出患者列表,并审查来自同意参与者的机器学习模型结果、可解释性和公平性数据。
学习目标
假设
慢性阻塞性肺病患者会发现可以接受并同意使用他们的常规医疗数据来向他们的临床团队提供人工智能洞察风险预测分数,并将数据用于持续的模型训练和验证。
在“AI 洞察”应用程序中提供 AI 模型得出的 12 个月死亡率 COPD 风险预测评分以供 COPD AI-MDT 审查在技术上是可行且安全的。
主要目标
确定:
- COPD 患者的可接受性和
- 技术可行性和
- 安全
向 NHS GG&C 的 COPD 临床医生多学科团队会议展示基于 LenusCOPD AI 见解应用程序的基于人工智能的实时 12 个月死亡率风险预测评分。
主要可行性、可接受性和安全性测量
这些将被描述性地报告,因为没有引导数据来通知功率计算或先验成功度量。
- 可接受性的评估将基于同意参加 DYNAMIC-AI 研究的受邀患者比例。
- 对技术可行性的评估将是在 LenusCOPD 中拥有足够源数据的参与者的比例,这些参与者计算了 12 个月死亡率模型风险评分并在 AI-insights 模型应用程序中呈现供 MDT 审查。
- 安全性评估将基于与设备相关的不良事件的发生以及模型风险评分的前瞻性评估——临床医生基于模型风险评分和预测事件校准的行动:发生的事件。
次要目标
通过 12 个月死亡风险预测模型获得详细的可接受性和技术可行性经验。
扩展用于训练和验证 3 个月呼吸相关入院和 COPD 恶化风险预测模型的数据集。
如果验证性能数据的审查表明这些模型已准备好用于临床采用,则评估技术可行性(模型应用程序中具有实时评分的同意参与者的比例)以及 3 个月呼吸相关入院和 COPD 恶化模型的描述性采用经验。
COPD 多学科团队利用实时 AI 见解建立初步经验和实用数据集。
二次探索性评估
详细的可接受性数据
查看其他支持信息(视频和书面材料)的受邀患者比例。
需要个别临床医生输入信息以告知其同意决定的受邀患者的比例,这些讨论的主题包括对研究的可接受性/同意的任何分歧以及同意使用数据进行模型训练的分歧。
详细的技术可行性和模型性能数据
在模型性能报告中捕获。 整个临床研究的系列数据包括:
- 缺少模型分数的参与者数量和原因(每个功能组缺少数据、数据刷新延迟、参与者退出等)。
- 使用每个模型运行的保留测试数据集计算模型性能指标,包括 AUC-ROC、精确召回 AUC、分类报告和混淆矩阵。
- 为利益群体计算模型公平性指标。
- 模型的全局和局部可解释性,以说明模型决策和生物合理性
- 模型风险预测的性能与 LenusCOPD 中捕获的事件(12 个月时死亡、呼吸系统相关入院、病情加重)的比较。
- 模型性能中的漂移变异性以及对原因的探索性评估(例如 缺失数据的解决、基础源数据的变化、患者病情的波动),以了解模型性能或个人风险评分中任何已识别的意外变化。
扩展用于训练和验证 3 个月呼吸相关入院和 COPD 恶化风险预测模型的数据集
数据将从同意的参与者处收集。 更新的模型性能报告将由研究指导委员会审查。 如果这些和主要终点的中期分析令人满意,这些模型将被添加到实时服务中。
MDT 使用实时 COPD AI 见解的初步经验和效用数据 在 COPD AI-MDT 中讨论的患者数量。
从 MDT 模型风险评分审查中采取的临床行动,记录在 LenusCOPD 事件和注释中。
如果急性加重模型用于现场临床使用:
- 由恶化模型的高风险评分触发的报到消息数量 - 每个患者以及 LenusCOPD 消息中捕获的队列总数。
- LenusCOPD 笔记中记录的暂时或永久关闭恶化模型签入消息的参与者比例。
- 签到消息的结果 - 患者发起联系、其他事件,在 LenusCOPD 消息和注释中捕获。
患者事件(死亡、入院、COPD 恶化;在 LenusCOPD 中捕获)按照模型风险评分前瞻性发生。 注意到模型触发的干预 MDT 审查、消息传递、临床医生行动、患者行动,以建立有关风险预测触发行动的影响及其对这些预测的后续准确性的潜在影响的初步经验数据。 评估将比较模型性能与预期事件,考虑到模型触发审查/行动的患者与没有触发审查/行动的患者。 该评估将得到其他卫生委员会采用 LenusCOPD 管理服务所获得的外部回顾性验证数据的补充。 有干预和无干预的组的模型表现也将与数据科学团队共享,以便进一步完善模型和重新训练。
相关评估 到本次调查开始为止,人工智能洞察模型的持续开发正在 DYNAMIC 项目和 RECEIVER 试验评估中进行。 AI 见解模型性能的外部验证将使用来自 NHS GG&C 以外组织的去识别化电子健康记录和 LenusCOPD 服务数据进行。 人工智能见解的协同设计、临床用户体验和可接受性测试将继续并行进行。 这些单独的评估得到所有适当的批准、治理和文档的支持。
调查计划
学习规划
这项临床调查将根据英国健康和社会关怀研究政策框架(2017)进行。
这是一项观察性队列实施有效性研究。 整个试验期间将每 3 个月进行一次中期有效性评估,并由研究指导委员会审查主要终点报告。 这些中期评估的结果可能会引发调整实施或干预的建议 - 例如 同意信息的变更、技术更新。 研究管理委员会将考虑对实施策略或干预措施提出的调整,并对本 CIP 和相关研究文件进行任何必要的修改,提交申办者和 REC 考虑。 只有在所有审查完成并获得批准后,才会进行实施更改。 该研究的最终报告将详细说明根据中期评估所做的任何改变。
研究类型
注册 (估计的)
联系人和位置
学习联系方式
- 姓名:Jacqueline Anderson
- 邮箱:Jacqueline.Anderson@ggc.scot.nhs.uk
研究联系人备份
- 姓名:Ruairidh Davison
- 邮箱:Ruairidh.Davison@ggc.scot.nhs.uk
学习地点
-
-
Scotland
-
Glasgow、Scotland、英国、G51 4TF
- 招聘中
- Queen Elizabeth University Hospital
-
接触:
- Jacqueline Anderson
- 邮箱:Jacqueline.Anderson@ggc.scot.nhs.uk
-
接触:
- Ruairidh Davison
- 邮箱:Ruairidh.Davison@ggc.scot.nhs.uk
-
-
参与标准
资格标准
适合学习的年龄
- 孩子
- 成人
- 年长者
接受健康志愿者
取样方法
研究人群
描述
纳入标准:
NHS 苏格兰 COPD 数字服务的当前活跃用户。 NHS GG&C COPD 多学科团队的住院医师和护理人员。 使用 COPD 数字服务的要求包括同意、使用技术(智能手机、平板电脑、电脑和日常互联网接入)、理解书面英语的能力以及 COPD 的确诊诊断
-
排除标准:
缺乏知情同意的规定。
-
学习计划
研究是如何设计的?
设计细节
研究衡量的是什么?
主要结果指标
结果测量 |
措施说明 |
大体时间 |
|---|---|---|
|
患者的接受度
大体时间:12个月
|
评估 COPD 患者向 NHS GG&C 的 COPD 临床医生多学科团队会议提供基于 LenusCOPD AI 见解应用程序的实时人工智能 12 个月死亡率风险预测评分的可接受性: 评估将基于同意参加 DYNAMIC-AI 研究的受邀患者比例。 |
12个月
|
|
技术可行性
大体时间:12个月
|
向 NHS GG&C 的 COPD 临床医生多学科团队会议提供来自 LenusCOPD AI 见解应用程序的基于人工智能的实时 12 个月死亡率风险预测评分的技术可行性: 可行性评估将根据在 LenusCOPD 方面拥有足够源数据并且计算出 12 个月死亡率模型风险评分并在 AI-insights 模型应用程序中呈现以供 MDT 审查的参与者的比例 |
12个月
|
|
安全
大体时间:12个月
|
向 NHS GG&C 的 COPD 临床医生多学科团队会议提供来自 LenusCOPD AI 见解应用程序的基于人工智能的实时 12 个月死亡率风险预测评分的安全性 安全性评估将基于设备相关不良事件的发生以及模型风险评分的前瞻性评估 - 临床医生根据模型风险评分和预测事件校准采取的行动:发生的事件 |
12个月
|
次要结果测量
结果测量 |
措施说明 |
大体时间 |
|---|---|---|
|
可接受性和技术可行性经验
大体时间:12个月
|
通过 12 个月死亡风险预测模型获得详细的可接受性和技术可行性经验。
|
12个月
|
|
扩展用于训练和验证的数据集
大体时间:12个月
|
扩展用于训练和验证 3 个月呼吸相关入院和 COPD 恶化风险预测模型的数据集
|
12个月
|
|
评估技术可行性和描述性采用经验
大体时间:12个月
|
如果验证性能数据的审查表明这些模型已准备好用于临床采用,则评估技术可行性(模型应用程序中具有实时评分的同意参与者的比例)以及 3 个月呼吸相关入院和 COPD 恶化模型的描述性采用经验
|
12个月
|
|
初步经验和实用数据集
大体时间:12个月
|
COPD 多学科团队利用实时 AI 见解建立初步经验和实用数据集。
|
12个月
|
合作者和调查者
研究记录日期
研究主要日期
学习开始 (实际的)
初级完成 (估计的)
研究完成 (估计的)
研究注册日期
首次提交
首先提交符合 QC 标准的
首次发布 (实际的)
研究记录更新
最后更新发布 (实际的)
上次提交的符合 QC 标准的更新
最后验证
更多信息
与本研究相关的术语
其他研究编号
- INGN20RM641
计划个人参与者数据 (IPD)
计划共享个人参与者数据 (IPD)?
药物和器械信息、研究文件
研究美国 FDA 监管的药品
研究美国 FDA 监管的设备产品
此信息直接从 clinicaltrials.gov 网站检索,没有任何更改。如果您有任何更改、删除或更新研究详细信息的请求,请联系 register@clinicaltrials.gov. clinicaltrials.gov 上实施更改,我们的网站上也会自动更新.