环境人工智能抄写技术的随机对照试验 (AIScribe RCT)
两种环境人工智能抄写技术的随机对照试验,以提高文档效率并减少医师倦怠
这是大型学术卫生系统中238位门诊医生的三臂务实RCT,将两种AI Scribe工具或通常的护理对照组中的一个随机分配为1:1:1。 为期两个月的研究将观察并比较系统范围内的每个工具的效果(预期的2025年春季)。 我们将使用协变量受限的随机化在票据,调查测量水平的倦怠水平和每周诊所天数中平衡手臂。
该计划的主要目的是提高加利福尼亚大学洛杉矶大学(UCLA)Health的质量,效率和业务运营,而该计划并未用于研究目的。 该操作计划的结果将为UCLA卫生系统中所有提供商的AI Scribe工具提供广泛的信息。 然而,加州大学洛杉矶分校研究团队计划严格检查和发布此干预措施在整个卫生系统中的影响,这就是为什么研究团队预先注册该计划的原因。
研究概览
详细说明
这项研究将评估所有组的面向操作的结果。 值得注意的是,所有小组最终将随着时间的流逝而接受所有干预措施。 此外,该计划的主要目的是运作。 换句话说,根据该计划的结果,其中一种工具最终将在整个卫生系统中被广泛选择和运营。
参与者被随机分为三组之一。 需要随机分组来克服12月的世俗趋势,季节性和假期影响,以及其他因素,使人对AI工具的关系与结果之间的关系混淆。
这项研究的主要目的是评估两种环境AI Scribe技术对临床医生在EHR文档上所花费的时间的变化的影响,并将每个抄写员与对照组进行比较。 次要目标包括评估AI抄写员对倦怠,医师满意度和生产力等临床医生指标的影响。 此外,研究团队打算对指导业务决策的工具进行经济评估分析。 研究小组还将分析医师报告AI工具对患者安全,公平性以及该计划的任何意外后果的影响。
研究类型
注册 (实际的)
阶段
- 不适用
联系人和位置
学习地点
-
-
California
-
Los Angeles、California、美国、90024
- UCLA Health System
-
-
参与标准
资格标准
适合学习的年龄
- 孩子
- 成人
- 年长者
接受健康志愿者
描述
纳入标准:
- UCLA卫生系统内的门诊医生,每周至少要举行半天的诊所
排除标准:
- 学员提供者(例如居民,医学生)和联盟医疗保健专业人员(例如RNS,PAS)
- 参加专门与学员一起工作的人
学习计划
研究是如何设计的?
设计细节
- 主要用途:卫生服务研究
- 分配:随机化
- 介入模型:单组作业
- 屏蔽:单身的
武器和干预
参与者组/臂 |
干预/治疗 |
|---|---|
|
其他:Nabla,虚拟AI Scribe Technology的供应商
该部门的参与者将利用Nabla的AI Scribe工具,并将继续由Scribe Software支持的通常的临床文档过程,该过程与EHR集成并自动将生成的文本添加到注释中。
Nabla AI Scribe工具是转录的,不提供临床决策支持。
|
AI Scribe Technologies捕获了医生患者对话以创建成绩单,然后以临床注释的形式总结了转录本。 这些工具已集成到EHR中,并将生成的文本自动添加到提供商注释中。 所有医生都必须通知患者记录并获得其口头同意,并跟踪患者拒绝同意的患者实例。 Nabla利用其专有的语音到文本将对话转变为书面上下文,并结合了符合HIPAA的大型语言模型(LLM),例如Azure Openai的GPT-4。 Nabla不存储任何音频。 |
|
其他:虚拟AI抄写技术的供应商B
该部门的参与者将利用供应商B的AI Scribe工具,并将继续其通常的临床文档流程,并由Scribe Software支持,该过程与EHR集成并自动将生成的文本添加到注释中。
AI Scribe工具是转录的,不提供临床决策支持。
|
AI Scribe Technologies捕获了医生患者对话以创建成绩单,然后以临床注释的形式总结了转录本。
这些工具已集成到EHR中,并将生成的文本自动添加到提供商注释中。
所有医生都必须通知患者记录并获得其口头同意,并跟踪患者拒绝同意的患者实例。
|
|
无干预:没有抄写员
该手臂的参与者将无法使用AI Scribe工具,并将继续其通常的临床文档流程
|
研究衡量的是什么?
主要结果指标
结果测量 |
措施说明 |
大体时间 |
|---|---|---|
|
每个音符中时间的改变
大体时间:研究第2个月
|
主要结局指标是提供者在试验第二个月的笔记平均时间相对于入组前六个月的基线平均时间的变化。
此变化将在自然对数尺度上计算。
对于该结局指标,不会收集患者层面的信息。
|
研究第2个月
|
次要结果测量
结果测量 |
措施说明 |
大体时间 |
|---|---|---|
|
提供者倦怠分数
大体时间:学习月2
|
迷你Z 2.0调查是一种经过验证的10个项目仪器,旨在衡量影响医疗保健专业人员工作场所满意度和倦怠的关键因素。
每个项目都以李克特量表(1-5)评分,得分较高,表明更大的结果 - 更高的工作满意度,电子记录文档的足够时间以及压力较低。
对于构成负面的项目(例如,由于工作或对电子病历的挫败感引起的压力),较高的分数表明不满意的水平较低。
总分从10到50不等,分数≥40代表一个快乐的工作场所。
对于此结果措施,不会收集任何患者级别的信息。
|
学习月2
|
|
更改EHR信号(活动)数据 - 睡衣时间
大体时间:学习月2
|
我们将在注册信号指标之前6个月的回顾性基线进行调查,包括每天的睡衣时间。
使用此数据将决定提供者时间如何在EHR中使用。
对于此结果措施,不会收集任何患者级别的信息。
|
学习月2
|
|
医疗服务者任务负荷评分
大体时间:研究第2个月
|
Provider task load adapted from the NASA Task Load Index (TLX), a validated tool for assessing perceived workload across six sub-scales: mental demand, physical demand, temporal demand, performance, effort, and frustration.
For this study, we adapted the TLX to focus on note-writing workload, including four sub-scales (mental demand, temporal demand, physical demand, and effort) as done previously.
Each sub-scale is rated from 0 (low task load) to 100 (high task load) and summed together for a total score scale of 0 (low task load) to 400 (high task load), lower is better.
No patient level information will be collected for this outcome measure.
|
研究第2个月
|
|
供应商专业满足感
大体时间:研究第2个月
|
《职业成就感指数》(Professional Fulfillment Index, PFI)是一个经过验证的16项工具,采用5分的李克特量表(0-4)来衡量职业成就感、工作疲惫感和人际关系疏离感。
在这项研究中,我们使用4项的工作疲惫感分量表,该分量表是其中4项的均值,得分低(0)表示疲惫程度较低,得分高(4)表示疲惫程度较高。
该结果测量不会收集任何患者层面的信息。
|
研究第2个月
|
|
被视为贬损者、被动者或促进者的医生人数
大体时间:研究第2个月
|
由医生自行报告满意度调查,考虑记录的准确性、患者安全、公平性以及其他潜在的非预期后果,并使用1-10的评分标准评估其整体推荐该工具的可能性。
评分越高(10分)表示满意度越高且越可能推荐,而评分越低(1分)则表示不满意且不可能推荐。
根据评分,将医生分类为“推荐者”(评分9-10)、“被动者”(评分7-8)和“贬损者”(评分低于或等于6)。
此分类符合普遍接受的“净推荐值”分类标准。
该结局指标不收集任何患者级别的信息。
|
研究第2个月
|
|
提供者RVU的变化
大体时间:研究第2个月
|
研究团队将通过RVU使用医生级别的账单信息,确定其在入组前6个月的历史基线变化的生产力。
此结果指标不会收集任何患者级别的信息。
|
研究第2个月
|
|
电子健康档案信号(活动)数据的变化 - 计划工作时间外的时间
大体时间:研究第二个月
|
我们将检查入组前6个月回顾性基线的变化,包括每个排班日非预定工时内的信号指标。
使用这些数据将确定提供者在EHR中的时间利用情况。
不会为此结局指标收集任何患者层面的信息。
|
研究第二个月
|
|
电子病历信号(活动)数据的变化 - 非计划天数的时间
大体时间:研究第2个月
|
我们将检查从入组前6个月的回顾性基线开始的变化,在信号指标中,包括在非预定日花费在系统中的时间。
使用此数据将确定提供者在电子健康记录中的时间利用情况。
不会为该结果指标收集患者层面的信息。
|
研究第2个月
|
合作者和调查者
出版物和有用的链接
一般刊物
- Trockel M, Bohman B, Lesure E, Hamidi MS, Welle D, Roberts L, Shanafelt T. A Brief Instrument to Assess Both Burnout and Professional Fulfillment in Physicians: Reliability and Validity, Including Correlation with Self-Reported Medical Errors, in a Sample of Resident and Practicing Physicians. Acad Psychiatry. 2018 Feb;42(1):11-24. doi: 10.1007/s40596-017-0849-3. Epub 2017 Dec 1.
- Sinsky C, Colligan L, Li L, Prgomet M, Reynolds S, Goeders L, Westbrook J, Tutty M, Blike G. Allocation of Physician Time in Ambulatory Practice: A Time and Motion Study in 4 Specialties. Ann Intern Med. 2016 Dec 6;165(11):753-760. doi: 10.7326/M16-0961. Epub 2016 Sep 6.
- Linzer M, McLoughlin C, Poplau S, Goelz E, Brown R, Sinsky C; AMA-Hennepin Health System (HHS) burnout reduction writing team. The Mini Z Worklife and Burnout Reduction Instrument: Psychometrics and Clinical Implications. J Gen Intern Med. 2022 Aug;37(11):2876-2878. doi: 10.1007/s11606-021-07278-3. Epub 2022 Jan 19. No abstract available.
- Gianfrancesco MA, Tamang S, Yazdany J, Schmajuk G. Potential Biases in Machine Learning Algorithms Using Electronic Health Record Data. JAMA Intern Med. 2018 Nov 1;178(11):1544-1547. doi: 10.1001/jamainternmed.2018.3763.
- Garcia P, Ma SP, Shah S, Smith M, Jeong Y, Devon-Sand A, Tai-Seale M, Takazawa K, Clutter D, Vogt K, Lugtu C, Rojo M, Lin S, Shanafelt T, Pfeffer MA, Sharp C. Artificial Intelligence-Generated Draft Replies to Patient Inbox Messages. JAMA Netw Open. 2024 Mar 4;7(3):e243201. doi: 10.1001/jamanetworkopen.2024.3201.
- Cruz Rivera S, Liu X, Chan AW, Denniston AK, Calvert MJ; SPIRIT-AI and CONSORT-AI Working Group; SPIRIT-AI and CONSORT-AI Steering Group; SPIRIT-AI and CONSORT-AI Consensus Group. Guidelines for clinical trial protocols for interventions involving artificial intelligence: the SPIRIT-AI extension. Nat Med. 2020 Sep;26(9):1351-1363. doi: 10.1038/s41591-020-1037-7. Epub 2020 Sep 9.
- McCoy LG, Manrai AK, Rodman A. Large Language Models and the Degradation of the Medical Record. N Engl J Med. 2024 Oct 31;391(17):1561-1564. doi: 10.1056/NEJMp2405999. Epub 2024 Oct 26. No abstract available.
- Hendrix N, Veenstra DL, Cheng M, Anderson NC, Verguet S. Assessing the Economic Value of Clinical Artificial Intelligence: Challenges and Opportunities. Value Health. 2022 Mar;25(3):331-339. doi: 10.1016/j.jval.2021.08.015. Epub 2021 Oct 9.
- Rotenstein L, Melnick ER, Iannaccone C, Zhang J, Mugal A, Lipsitz SR, Healey MJ, Holland C, Snyder R, Sinsky CA, Ting D, Bates DW. Virtual Scribes and Physician Time Spent on Electronic Health Records. JAMA Netw Open. 2024 May 1;7(5):e2413140. doi: 10.1001/jamanetworkopen.2024.13140.
- Cao DY, Silkey JR, Decker MC, Wanat KA. Artificial intelligence-driven digital scribes in clinical documentation: Pilot study assessing the impact on dermatologist workflow and patient encounters. JAAD Int. 2024 Feb 20;15:149-151. doi: 10.1016/j.jdin.2024.02.009. eCollection 2024 Jun. No abstract available.
- Owens LM, Wilda JJ, Grifka R, Westendorp J, Fletcher JJ. Effect of Ambient Voice Technology, Natural Language Processing, and Artificial Intelligence on the Patient-Physician Relationship. Appl Clin Inform. 2024 Aug;15(4):660-667. doi: 10.1055/a-2337-4739. Epub 2024 Jun 4.
- Haberle T, Cleveland C, Snow GL, Barber C, Stookey N, Thornock C, Younger L, Mullahkhel B, Ize-Ludlow D. The impact of nuance DAX ambient listening AI documentation: a cohort study. J Am Med Inform Assoc. 2024 Apr 3;31(4):975-979. doi: 10.1093/jamia/ocae022.
- Liu TL, Hetherington TC, Stephens C, McWilliams A, Dharod A, Carroll T, Cleveland JA. AI-Powered Clinical Documentation and Clinicians' Electronic Health Record Experience: A Nonrandomized Clinical Trial. JAMA Netw Open. 2024 Sep 3;7(9):e2432460. doi: 10.1001/jamanetworkopen.2024.32460.
- Blackley SV, Huynh J, Wang L, Korach Z, Zhou L. Speech recognition for clinical documentation from 1990 to 2018: a systematic review. J Am Med Inform Assoc. 2019 Apr 1;26(4):324-338. doi: 10.1093/jamia/ocy179.
- Heckman J, Mukamal KJ, Christensen A, Reynolds EE. Medical Scribes, Provider and Patient Experience, and Patient Throughput: a Trial in an Academic General Internal Medicine Practice. J Gen Intern Med. 2020 Mar;35(3):770-774. doi: 10.1007/s11606-019-05352-5. Epub 2019 Dec 5.
- Bates DW, Landman AB. Use of Medical Scribes to Reduce Documentation Burden: Are They Where We Need to Go With Clinical Documentation? JAMA Intern Med. 2018 Nov 1;178(11):1472-1473. doi: 10.1001/jamainternmed.2018.3945. No abstract available.
- Mishra P, Kiang JC, Grant RW. Association of Medical Scribes in Primary Care With Physician Workflow and Patient Experience. JAMA Intern Med. 2018 Nov 1;178(11):1467-1472. doi: 10.1001/jamainternmed.2018.3956.
- Steinkamp J, Kantrowitz JJ, Airan-Javia S. Prevalence and Sources of Duplicate Information in the Electronic Medical Record. JAMA Netw Open. 2022 Sep 1;5(9):e2233348. doi: 10.1001/jamanetworkopen.2022.33348.
- Guille C, Sen S. Burnout, Depression, and Diminished Well-Being among Physicians. N Engl J Med. 2024 Oct 24;391(16):1519-1527. doi: 10.1056/NEJMra2302878. No abstract available.
- Lou SS, Lew D, Harford DR, Lu C, Evanoff BA, Duncan JG, Kannampallil T. Temporal Associations Between EHR-Derived Workload, Burnout, and Errors: a Prospective Cohort Study. J Gen Intern Med. 2022 Jul;37(9):2165-2172. doi: 10.1007/s11606-022-07620-3. Epub 2022 Jun 16.
- Moy AJ, Schwartz JM, Chen R, Sadri S, Lucas E, Cato KD, Rossetti SC. Measurement of clinical documentation burden among physicians and nurses using electronic health records: a scoping review. J Am Med Inform Assoc. 2021 Apr 23;28(5):998-1008. doi: 10.1093/jamia/ocaa325.
- Peccoralo LA, Kaplan CA, Pietrzak RH, Charney DS, Ripp JA. The impact of time spent on the electronic health record after work and of clerical work on burnout among clinical faculty. J Am Med Inform Assoc. 2021 Apr 23;28(5):938-947. doi: 10.1093/jamia/ocaa349.
- Sittig DF, Singh H. Recommendations to Ensure Safety of AI in Real-World Clinical Care. JAMA. 2025 Feb 11;333(6):457-458. doi: 10.1001/jama.2024.24598.
- Lukac PJ, Turner W, Vangala S, Chin AT, Khalili J, Shih YT, Sarkisian C, Cheng EM, Mafi JN. Ambient AI Scribes in Clinical Practice: A Randomized Trial. NEJM AI. 2025 Dec;2(12):10.1056/aioa2501000. doi: 10.1056/aioa2501000. Epub 2025 Nov 26.
- Lukac PJ, Turner W, Vangala S, Chin AT, Khalili J, Shih YT, Sarkisian C, Cheng EM, Mafi JN. A Randomized-Clinical Trial of Two Ambient Artificial Intelligence Scribes: Measuring Documentation Efficiency and Physician Burnout. medRxiv [Preprint]. 2025 Jul 11:2025.07.10.25331333. doi: 10.1101/2025.07.10.25331333.
研究记录日期
研究主要日期
学习开始 (实际的)
初级完成 (实际的)
研究完成 (实际的)
研究注册日期
首次提交
首先提交符合 QC 标准的
首次发布 (实际的)
研究记录更新
最后更新发布 (实际的)
上次提交的符合 QC 标准的更新
最后验证
更多信息
此信息直接从 clinicaltrials.gov 网站检索,没有任何更改。如果您有任何更改、删除或更新研究详细信息的请求,请联系 register@clinicaltrials.gov. clinicaltrials.gov 上实施更改,我们的网站上也会自动更新.