鼓励 ML 识别的高危患者接种流感疫苗
鼓励通过流感并发症风险的机器学习模型识别的高危患者接种流感疫苗
当前研究的目的是测试不同的干预措施,以确定在“人工智能”(AI) 或机器学习 (ML) 算法识别的高危人群中促进流感疫苗接种的最有效方法。 具体目标是:
- 评估通过 EHR 数据的 ML 分析确定为流感并发症高风险的卫生系统患者告知他们处于高风险(a)没有额外解释,(b)解释这一决定来自对他们的医疗记录的分析,以及 (c) 人工智能或机器学习算法做出这一决定的额外解释。
- 评估相同三种干预措施对同一患者流感诊断的影响。
研究概览
详细说明
背景
平均而言,每个流感季节有 8% 的美国人口会感染流感(Tokars 等人,2018 年)。 自 2010 年以来,流感每年造成的疾病负担包括 9-4500 万人患病、140,000-810,000 人住院和 12,000-61,000 人死亡(CDC 2020)。 CDC 建议所有 6 个月以上的人都接种流感疫苗,极少数情况除外;几乎任何人都可以从疫苗中受益,这可以减少疾病、误工、住院和死亡 (CDC 2019a)。 在 COVID-19 大流行期间,流感疫苗接种对于高危患者尤为重要,这样可以减少流感病例并节约资源。
虽然大多数人未经治疗就从流感中康复,但老年人、有合并症的人和其他高危人群可能会出现肺炎、其他呼吸道疾病和死亡等并发症。 宾夕法尼亚州和新泽西州的大型卫生系统 Geisinger 已与 Medial EarlySign(Medial;www.earlysign.com)合作开发机器学习 (ML) 算法,以识别有患严重(中度至重度)流感相关风险的患者根据他们现有的电子健康记录 (EHR) 数据计算并发症。 Geisinger 将在 2020-21 流感季节期间部署该系统,并通过特殊信息联系已识别的患者(除了卫生系统在每个流感季节所做的标准努力之外)以鼓励接种疫苗。 在 COVID-19 大流行期间,流感疫苗接种对于高危患者尤为重要,这样可以减少流感病例并节约资源。
已发表的结果表明,Medial 的 ML 系统可以识别其他情况下的高风险患者(Goshen 等人,2018 年;Zack 等人,2019 年)。 然而,几乎没有证据表明 (a) 告知患者他们处于高风险中是否会使他们更有可能接受疫苗接种; (b) 患者对被告知其风险状况的反应是对其健康记录进行分析的结果; (c) 告知患者他们的风险状态是由“算法”、“机器学习”和/或“人工智能”确定的,这是否会增加或减少他们接种疫苗的可能性。 本研究将解决文献中的这些差距,鉴于 AI/ML 系统在整个医疗保健领域的预期未来增长,这些差距尤为重要。
Medial 的算法是可互操作的健康信息交换 (HIE)(健康信息技术共享患者数据的能力)如何提高医疗保健效率和有效性的一个示例。 然而,患者可能不会意识到这些好处,也不会意识到医疗保健已经变得更加整合和协作。 对 HIE 患者隐私问题的系统回顾发现,根据研究,15-74% 的患者表达了隐私问题,并得出结论,患者的观点仍然知之甚少。 一条明确提及对患者病历审查的流感外展信息可能会适得其反,因为患者对自己的健康记录失去控制的感觉反应很差。
关于人们如何回应来自算法或机器的建议或信息,存在相互矛盾的证据。 Dietvorst 等人。 (2015) 记录了一种“算法厌恶”模式,在这种模式下,人们选择劣等人而不是优秀的算法预测,尤其是在他们观察到算法出错之后。 相反,Logg 等人。 (2018) 描述了“算法欣赏”,在这种情况下,人们在认为建议来自算法时比在认为来自人类时更多地遵循建议。 最后,Bigman 和 Gray (2019) 发现人们厌恶做出“道德决定”的算法,包括选择是否对高风险患者进行手术的(虚构的)医疗决定。 在目前的情况下,该算法只是建议患者采取已经成为护理标准的行动(每年注射一次流感疫苗),没有机会观察到错误的建议,因此假设“算法欣赏”会使人们对被告知算法的作用做出积极反应。 因此,本研究将解决两个重要的研究问题:
- 是否告知患者他们有流感并发症的高风险 (a) 增加他们接种流感疫苗的可能性; (b) 降低他们在接下来的流感季节被诊断为流感和/或流感样症状的可能性?
- 是否告知患者他们的高风险状态是通过 (a) 分析他们的医疗记录(对比 通过没有指定的方法); (b) 通过 AI/ML 算法*分析他们的病历(而不是通过未指定的方法或人类病历分析)影响他们接种流感疫苗和/或诊断出流感和/或流感样症状的可能性在接下来的流感季节?
我们的具体目标是:
- 评估通过 EHR 数据的 ML 分析确定为流感并发症高风险的卫生系统患者告知他们处于高风险(a)没有额外解释,(b)的情况下对流感疫苗接种率的影响解释该决定来自对他们的医疗记录的分析,以及 (c) 人工智能或 ML 算法做出该决定的附加解释。
- 评估相同三种干预措施对同一患者流感诊断的影响。
研究策略
该研究将包括在 2008 年 1 月 1 日至 2020 年 1 月 30 日期间接受过 Geisinger 初级保健医生 (PCP) 一次或多次就诊且没有流感疫苗禁忌症的 17 岁以上的当前 Geisinger 患者。 Medial 将根据其 ML 算法(基于编码的 EHR 数据)提供流感并发症风险评分,在此基础上将包括风险最高的前 10% 的患者。 基于第二个 ML 模型中的先前行为和其他预测因素,Medial 还将提供每位患者在研究流感季节期间接种疫苗的可能性;这些值和主要风险评分将用作探索性数据分析中的协变量。 预计风险最高 10% 的患者人数为 56,000 人。
在过去的 3 个流感季节中,平均每个季节有 55% 的 65 岁以上盖辛格患者接种疫苗,因此我们将在功效分析中将其用作控制条件的代理基准率。 该研究将有 92% 的功效来检测条件之间疫苗接种结果的 2% 或更大的绝对差异(55% 对 57%,双尾 alpha 为 0.05),假设每个条件将有 56,000/4= 14,000 名患者。 对于流感诊断的罕见结果,我们有 95% 的能力检测到 0.8% 或更大的绝对差异——与这个高风险人群中估计的 3.9% 比率(基于 CDC 对 65 岁以上人群的估计 [Tokars 等人) ., 2018]) 到 3.1% 的比率。
主要研究结果将是目标患者在 2020-21 赛季(9 月至 3 月)期间的流感疫苗接种率和流感诊断率。 还将测量次要的探索性结果:目标患者的其他家庭成员的流感疫苗接种率和诊断率;非目标患者的流感疫苗接种率和诊断率,这些患者的风险评分刚好低于目标患者的临界值(“亚阈值风险”);目标患者、家庭成员和亚阈值风险人群中流感并发症和流感样症状的发生率;以及其他相关医疗保健利用结果的比率,例如急诊就诊和住院治疗。
广义线性混合模型 (GLMM) 将检查主要研究结果作为研究组(受试者间)的函数,其中患者就诊的 PCP 和/或诊所作为随机效应变量,假设类内相关系数高。 GLMM 将在二分结果变量(例如,流感疫苗接种、流感诊断)的情况下指定二元分布和对数链接函数,在任何高度正偏的计数变量(例如,急诊就诊和住院(在泊松分布模型的情况下,过度分散通常仍然存在)。 对于这些探索性分析,还将分析患者内部变化(与一年前同期相比)。 此外,每位患者将通过最多三种方式收到相同类型的通信 (a/b/c/d)——打印信件到他们的邮寄地址,短信到他们的手机,和/或通过 Geisinger 的患者门户的安全消息,具体取决于关于每位患者的存档信息。 用于每个患者的通信渠道将在以后的分析中是协变量的。
*注意:该研究不一定会在 b、c 和 d 组的消息中使用术语“AI”、“ML”或“算法”;相反,这些信息将被设计为患者听众可读和理解,同时仍包括将干预措施彼此区分开来的关键概念。
研究类型
注册 (实际的)
阶段
- 不适用
联系人和位置
学习地点
-
-
Pennsylvania
-
Danville、Pennsylvania、美国、17822
- Geisinger
-
-
参与标准
资格标准
适合学习的年龄
接受健康志愿者
描述
纳入标准:
- 研究时的当前 Geisinger 患者
- 根据 Medial 机器学习算法(对编码 EHR 数据运行)的流感并发症风险评分确定,属于最高风险患者的前 10%
- 可能会限制纳入接受 Geisinger 初级保健的患者,具体取决于非 Geisinger PCP 患者的算法表现
排除标准:
- 有接种流感疫苗的禁忌症
- 已选择不通过所有正在测试的方式接收来自 Geisinger 的通信
学习计划
研究是如何设计的?
设计细节
- 主要用途:预防
- 分配:随机化
- 介入模型:并行分配
- 屏蔽:双倍的
武器和干预
参与者组/臂 |
干预/治疗 |
|---|---|
|
无干预:控制
除了卫生系统的正常努力之外,该群体没有接受额外的疫苗接种干预。
尽管一些患者目前由于非 ML 评估认为他们处于并发症的高风险中而成为流感疫苗接种鼓励的目标,但这些患者并未被告知他们处于高风险中或他们已成为目标。
|
|
|
实验性的:仅限高风险
该群体收到消息,告诉他们他们已被确定为流感并发症的高危人群,但未具体说明卫生系统如何或为何认为这种情况。
|
邮寄信件、短信和/或患者门户消息
|
|
实验性的:基于医疗记录的高风险
这群人收到消息,告诉他们通过分析他们的病历,他们被确定为流感并发症的高危人群。
|
邮寄信件、短信和/或患者门户消息
邮寄信件、短信和/或患者门户消息
其他名称:
|
|
实验性的:基于算法的高风险
该组收到消息,告诉他们通过 AI/ML 系统分析他们的医疗记录,他们已被确定为流感并发症的高风险人群。
|
邮寄信件、短信和/或患者门户消息
邮寄信件、短信和/或患者门户消息
其他名称:
邮寄信件、短信和/或患者门户消息
其他名称:
|
|
无干预:亚阈值患者
该组患者患流感和并发症的风险位居前 11-20%,略低于干预组中患流感和并发症风险位列前 10% 的患者。
这组患者未接受干预,但会接受流感疫苗监测,以与目标患者进行比较。
|
|
|
无干预:家庭成员
这组患者与目标高风险患者(第 1-4 组)共享一个地址。
该组未接受干预,但会监测干预的溢出效应。
|
研究衡量的是什么?
主要结果指标
结果测量 |
措施说明 |
大体时间 |
|---|---|---|
|
流感疫苗接种率
大体时间:到流感季节结束(2021 年 5 月 31 日),大约 9 个月的评估时间
|
患者接受了流感疫苗接种
|
到流感季节结束(2021 年 5 月 31 日),大约 9 个月的评估时间
|
|
按风险等级划分的流感疫苗接种率
大体时间:到流感季节结束(2021 年 5 月 31 日),大约 9 个月的评估时间
|
患者接受了流感疫苗接种 注意:对于接受风险沟通的患者,前 3% 的患者总是被告知他们处于前 3% 的风险中。 那些处于最高 4-10% 风险中的人被随机告知他们处于最高 10% 的风险或高风险中。 风险最高 3% 和最高 4-10% 的对照患者被分配到最高 3%,并分别随机分配到最高 10% 或高风险组,与患者接触组中的患者同时,即使没有联系这些对照患者。 |
到流感季节结束(2021 年 5 月 31 日),大约 9 个月的评估时间
|
|
高置信度流感诊断率
大体时间:到流感季节结束(2021 年 5 月 31 日),大约 9 个月的评估时间
|
患者通过阳性 PCR/抗原/分子检测得到流感诊断
|
到流感季节结束(2021 年 5 月 31 日),大约 9 个月的评估时间
|
次要结果测量
结果测量 |
措施说明 |
大体时间 |
|---|---|---|
|
“疑似流感”诊断率
大体时间:到流感季节结束(2021 年 5 月 31 日),大约 9 个月的评估时间
|
根据 ICD 代码或 Tamiflu 给药或阳性 PCR/抗原/分子测试评估,患者接受了可能是流感的诊断。
请注意,此结果是“高置信度流感诊断率”结果的超集。
|
到流感季节结束(2021 年 5 月 31 日),大约 9 个月的评估时间
|
|
流感并发症发生率
大体时间:到流感季节结束后的3个月(2021年8月31日),大约12个月的评估时间
|
患者被诊断出患有流感相关并发症
|
到流感季节结束后的3个月(2021年8月31日),大约12个月的评估时间
|
|
急诊就诊从干预前到干预后的变化
大体时间:干预前 12 个月内(时间 1)和干预后 12 个月内(时间 2)
|
急诊就诊的患者数量,检查时间 1 和时间 2 的相对就诊率
|
干预前 12 个月内(时间 1)和干预后 12 个月内(时间 2)
|
|
住院治疗从干预前到干预后的变化
大体时间:干预前 12 个月内(时间 1)和干预后 12 个月内(时间 2)
|
患者就诊次数,检查时间 1 和时间 2 的相对就诊率
|
干预前 12 个月内(时间 1)和干预后 12 个月内(时间 2)
|
|
家庭成员之间的流感疫苗接种
大体时间:到流感季节结束(2021 年 5 月 31 日),大约 9 个月的评估时间
|
目标患者的非目标家庭成员已接种流感疫苗
|
到流感季节结束(2021 年 5 月 31 日),大约 9 个月的评估时间
|
|
家庭成员的高可信度流感诊断
大体时间:到流感季节结束(2021 年 5 月 31 日),大约 9 个月的评估时间
|
目标患者的非目标家庭成员接受了流感诊断(通过阳性 PCR/抗原/分子检测)
|
到流感季节结束(2021 年 5 月 31 日),大约 9 个月的评估时间
|
|
家庭成员中的“疑似流感”诊断
大体时间:到流感季节结束(2021 年 5 月 31 日),大约 9 个月的评估时间
|
目标患者的非目标家庭成员被诊断为可能是流感(通过 ICD 代码或达菲管理或阳性 PCR/抗原/分子测试评估)
|
到流感季节结束(2021 年 5 月 31 日),大约 9 个月的评估时间
|
|
家庭成员之间的流感并发症
大体时间:到流感季节结束后的3个月(2021年8月31日),大约12个月的评估时间
|
目标患者的非目标家庭成员被诊断出患有流感相关并发症
|
到流感季节结束后的3个月(2021年8月31日),大约12个月的评估时间
|
|
亚阈值风险人群接种流感疫苗
大体时间:到流感季节结束(2021 年 5 月 31 日),大约 9 个月的评估时间
|
非目标亚阈值风险患者接受了流感疫苗接种
|
到流感季节结束(2021 年 5 月 31 日),大约 9 个月的评估时间
|
|
亚阈值风险人群的高置信度流感诊断
大体时间:到流感季节结束(2021 年 5 月 31 日),大约 9 个月的评估时间
|
非目标亚阈值风险患者接受了流感诊断(通过阳性 PCR/抗原/分子检测)
|
到流感季节结束(2021 年 5 月 31 日),大约 9 个月的评估时间
|
|
亚阈值风险人群的“疑似流感”诊断
大体时间:到流感季节结束(2021 年 5 月 31 日),大约 9 个月的评估时间
|
非目标亚阈值风险患者接受了可能是流感的诊断(通过 ICD 代码或达菲管理或阳性 PCR/抗原/分子测试评估)
|
到流感季节结束(2021 年 5 月 31 日),大约 9 个月的评估时间
|
|
低于阈值风险人群的流感并发症
大体时间:到流感季节结束后的3个月(2021年8月31日),大约12个月的评估时间
|
非目标亚阈值风险患者被诊断为流感相关并发症
|
到流感季节结束后的3个月(2021年8月31日),大约12个月的评估时间
|
合作者和调查者
调查人员
- 首席研究员:Christopher Chabris, PhD、Geisinger Clinic
出版物和有用的链接
一般刊物
- Rothberg MB, Haessler SD. Complications of seasonal and pandemic influenza. Crit Care Med. 2010 Apr;38(4 Suppl):e91-7. doi: 10.1097/CCM.0b013e3181c92eeb.
- Bigman YE, Gray K. People are averse to machines making moral decisions. Cognition. 2018 Dec;181:21-34. doi: 10.1016/j.cognition.2018.08.003. Epub 2018 Aug 11.
- Dietvorst BJ, Simmons JP, Massey C. Algorithm aversion: people erroneously avoid algorithms after seeing them err. J Exp Psychol Gen. 2015 Feb;144(1):114-26. doi: 10.1037/xge0000033. Epub 2014 Nov 17.
- Goshen R, Choman E, Ran A, Muller E, Kariv R, Chodick G, Ash N, Narod S, Shalev V. Computer-Assisted Flagging of Individuals at High Risk of Colorectal Cancer in a Large Health Maintenance Organization Using the ColonFlag Test. JCO Clin Cancer Inform. 2018 Dec;2:1-8. doi: 10.1200/CCI.17.00130.
- Logg, J.M., Minson, J.A., & Moore, D.A. (2019). Algorithm appreciation: People prefer algorithmic to human judgment. Organizational Behavior and Human Decision Processes, 151, 90-103. https://doi.org/10.1016/j.obhdp.2018.12.005
- Shen N, Bernier T, Sequeira L, Strauss J, Silver MP, Carter-Langford A, Wiljer D. Understanding the patient privacy perspective on health information exchange: A systematic review. Int J Med Inform. 2019 May;125:1-12. doi: 10.1016/j.ijmedinf.2019.01.014. Epub 2019 Feb 1.
- Tokars JI, Olsen SJ, Reed C. Seasonal Incidence of Symptomatic Influenza in the United States. Clin Infect Dis. 2018 May 2;66(10):1511-1518. doi: 10.1093/cid/cix1060.
- Turner D, Wailoo A, Nicholson K, Cooper N, Sutton A, Abrams K. Systematic review and economic decision modelling for the prevention and treatment of influenza A and B. Health Technol Assess. 2003;7(35):iii-iv, xi-xiii, 1-170. doi: 10.3310/hta7350.
- WHO Guidelines for Pharmacological Management of Pandemic Influenza A(H1N1) 2009 and Other Influenza Viruses. Geneva: World Health Organization; 2010 Feb. Available from http://www.ncbi.nlm.nih.gov/books/NBK138515/
- Zack CJ, Senecal C, Kinar Y, Metzger Y, Bar-Sinai Y, Widmer RJ, Lennon R, Singh M, Bell MR, Lerman A, Gulati R. Leveraging Machine Learning Techniques to Forecast Patient Prognosis After Percutaneous Coronary Intervention. JACC Cardiovasc Interv. 2019 Jul 22;12(14):1304-1311. doi: 10.1016/j.jcin.2019.02.035. Epub 2019 Jun 26.
- Centers for Disease Control and Prevention. (2020). Disease Burden of Influenza. https://www.cdc.gov/flu/ about/burden/index.html (Jan 10).
- Centers for Disease Control and Prevention. (2019a). Who Needs a Flu Vaccine and When. https://www.cdc.gov/flu/prevent/vaccinations.htm (Oct 11).
- Centers for Disease Control and Prevention. (2019b). Flu Vaccination Coverage, United States, 2018-19 Influenza Season. https://www.cdc .gov/flu/fluvaxview/coverage-1819estimates.htm
研究记录日期
研究主要日期
学习开始 (实际的)
初级完成 (实际的)
研究完成 (实际的)
研究注册日期
首次提交
首先提交符合 QC 标准的
首次发布 (实际的)
研究记录更新
最后更新发布 (实际的)
上次提交的符合 QC 标准的更新
最后验证
更多信息
与本研究相关的术语
计划个人参与者数据 (IPD)
计划共享个人参与者数据 (IPD)?
IPD 计划说明
IPD 共享时间框架
IPD 共享访问标准
IPD 共享支持信息类型
- 研究方案
- 树液
- 分析代码
药物和器械信息、研究文件
研究美国 FDA 监管的药品
研究美国 FDA 监管的设备产品
此信息直接从 clinicaltrials.gov 网站检索,没有任何更改。如果您有任何更改、删除或更新研究详细信息的请求,请联系 register@clinicaltrials.gov. clinicaltrials.gov 上实施更改,我们的网站上也会自动更新.