人工智能辅导系统在模拟训练中的有效性
比较虚拟手术助手与外科教育中基于专家的指导：一项随机对照试验
简要总结：
背景：
虽然手术经验和技术技能与更好的患者结果相关，但量化手术室的手术能力具有挑战性。 在外科教育中，机器学习算法可以利用高保真虚拟现实模拟器生成的大型数据集，客观地衡量受训者在专家基准上的表现和能力。 这允许在安全无风险的环境中重复练习手术技能并获得即时反馈。
我们小组开发了一种名为虚拟操作助手 (VOA) 的智能辅导系统，并正在申请专利。 VOA 利用人工智能 (AI) 支持向量机算法，评估来自 NeuroVR (CAE Healthcare) 模拟器平台的数据，并提供个性化的视听反馈，以提高学习者在模拟脑肿瘤切除术中的表现。 诸如 VOA 之类的智能辅导系统对人类外科学徒教学法的有效性仍有待阐明。
本研究的目的是比较个性化 VOA 反馈对医学生学习虚拟现实肿瘤切除手术技术技能的专家指导的有效性和教育影响。
具体目标：1) 评估接受个性化 VOA 反馈的医学生与没有 (a) 没有专家指导反馈或 (b) 专家指导介导的反馈的学生相比，是否在统计学上提高了他们的手术表现。 2) 概述与人类教学相比，VOA 智能辅导系统在医学生执行此成就任务时是否会引发不同的情绪
研究概览
详细说明
设计：一项关于 VOA 培训与远程专家指导与控制的三臂部分盲法随机对照试验。
设置：蒙特利尔神经病学研究所神经外科模拟和人工智能学习中心。
参与者：来自魁北克省的合格的一年级和二年级医学生。
任务：使用 NeuroVR (CAE Healthcare) 手术模拟器的两种手术器械（Cavitron 超声波抽吸器和双极钳），完全切除模拟肿瘤 - 可通过颜色和触觉特性区分 - 出血和对周围健康大脑的损伤最小。
干预：一次 75 分钟的培训课程，包括六次虚拟软膜下肿瘤切除尝试（五个简单的练习场景和一个复杂的现实场景），评估和反馈来自：
- 美国之音智能辅导系统（第2组）或
远程专家讲师（第 3 组）
两者相比：
- 控制组（第 1 组）不接受评估或绩效反馈。
据我们所知，这将是第一项比较人工智能智能辅导系统与专家指导在医疗和外科虚拟现实模拟环境中的有效性并评估对此类指导的情绪反应的研究。 本研究旨在开始确定在医学教育课程中使用这种创新技术的成功方法，并通过提高外科医生和其他医疗保健提供者的安全性、效率和能力来改善患者的治疗效果。
研究类型
注册 (实际的)
阶段
- 不适用
联系人和位置
学习地点
-
-
Quebec
-
Montreal、Quebec、加拿大、H3A 2B4
- Neurosurgical Simulation and Artificial Intelligence Learning Centre
-
-
参与标准
资格标准
适合学习的年龄
- 孩子
- 成人
- 年长者
接受健康志愿者
有资格学习的性别
描述
纳入标准：• 来自任何加拿大机构但不符合排除标准的一年级和二年级医学生。
-
排除标准： • 参与我们小组之前涉及 NeuroVR (CAE Healthcare) 模拟器的任何试验。
-
学习计划
研究是如何设计的？
设计细节
- 主要用途：卫生服务研究
- 分配：随机化
- 介入模型：并行分配
- 屏蔽：双倍的
武器和干预
参与者组/臂 |
干预/治疗 |
|---|---|
|
无干预：控制组
对照组 - 基线训练 分配了 25 名参与者。 个人会收到有关使用模拟器和场景的介绍性信息。 他们进行 5 次简单的软膜下肿瘤切除术进行练习，每次试验有 5 分钟。 每次尝试后，学生休息 5 分钟，没有对他们表现的评估或反馈。 在第 6 次尝试时，他们有 13 分钟的时间来执行不同的现实场景。 |
|
|
实验性的：实验组——虚拟操作辅助训练
实验组——虚拟操作辅助训练 分配了 25 名参与者。 个人收到相同的信息，有相同的时间并执行与控制组相同的场景。 在两次尝试之间的 5 分钟内，参与者将收到对其表现和视听反馈的虚拟操作辅助培训评估。 |
个人收到相同的基本信息，有相同的时间，并执行与控制组相同的场景。
在两次尝试之间的 5 分钟内，参与者会收到虚拟操作助手对其表现和视听反馈的评估。
|
|
实验性的：实验组——远程专家指导员培训
分配了 25 名参与者。
个人收到相同的信息，有相同的时间并执行与控制组相同的场景。
同时，训练有素的讲师会远程观察参与者在屏幕上的实时直播表演。
讲师是高级神经外科住院医师，在执行和评估这种情况方面具有丰富的经验。
在 5 分钟的反馈会议中，他们与学生聊天，讨论表现并帮助设定下一次试验的目标。
|
个人收到相同的信息，有相同的时间并执行与控制组相同的场景。
同时，训练有素的讲师会远程观察参与者在屏幕上的实时直播表演。
讲师是高级神经外科住院医师，在执行和评估这种情况方面具有丰富的经验。
在 5 分钟的反馈会议中，他们与学生聊天，讨论表现并帮助设定下一次试验的目标。
|
研究衡量的是什么？
主要结果指标
结果测量 |
措施说明 |
大体时间 |
|---|---|---|
|
程序性能的变化。
大体时间：学习日
|
每次练习尝试的表现都是利用来自模拟器的原始数据来衡量的，这些原始数据用于由先前建立的 AI 算法根据验证指标进行评估。
|
学习日
|
|
学习的改变
大体时间：学习日
|
专家讲师使用客观结构化技术技能评估 (OSATS) 视觉评分量表（权重为 50%）和 AI 评估算法（权重为 50%）评估复杂现实场景中的表现，从而创建综合表现分数。
|
学习日
|
次要结果测量
结果测量 |
措施说明 |
大体时间 |
|---|---|---|
|
引发的情绪强度差异
大体时间：学习日
|
在干预之前、期间和之后使用 Duffy 的医学情绪量表 (MES) 进行测量。
|
学习日
|
|
认知负荷的差异
大体时间：学习日
|
干预后使用 Leppink 的认知负荷指数 (CLI) 进行测量。
|
学习日
|
合作者和调查者
出版物和有用的链接
一般刊物
- Stulberg JJ, Huang R, Kreutzer L, Ban K, Champagne BJ, Steele SR, Johnson JK, Holl JL, Greenberg CC, Bilimoria KY. Association Between Surgeon Technical Skills and Patient Outcomes. JAMA Surg. 2020 Oct 1;155(10):960-968. doi: 10.1001/jamasurg.2020.3007. Erratum In: JAMA Surg. 2020 Oct 1;155(10):1002. JAMA Surg. 2021 Jul 1;156(7):694.
- Birkmeyer JD, Finks JF, O'Reilly A, Oerline M, Carlin AM, Nunn AR, Dimick J, Banerjee M, Birkmeyer NJ; Michigan Bariatric Surgery Collaborative. Surgical skill and complication rates after bariatric surgery. N Engl J Med. 2013 Oct 10;369(15):1434-42. doi: 10.1056/NEJMsa1300625.
- Birkmeyer JD, Stukel TA, Siewers AE, Goodney PP, Wennberg DE, Lucas FL. Surgeon volume and operative mortality in the United States. N Engl J Med. 2003 Nov 27;349(22):2117-27. doi: 10.1056/NEJMsa035205.
- Winkler-Schwartz A, Yilmaz R, Mirchi N, Bissonnette V, Ledwos N, Siyar S, Azarnoush H, Karlik B, Del Maestro R. Machine Learning Identification of Surgical and Operative Factors Associated With Surgical Expertise in Virtual Reality Simulation. JAMA Netw Open. 2019 Aug 2;2(8):e198363. doi: 10.1001/jamanetworkopen.2019.8363.
- Mirchi N, Bissonnette V, Yilmaz R, Ledwos N, Winkler-Schwartz A, Del Maestro RF. The Virtual Operative Assistant: An explainable artificial intelligence tool for simulation-based training in surgery and medicine. PLoS One. 2020 Feb 27;15(2):e0229596. doi: 10.1371/journal.pone.0229596. eCollection 2020.
- Winkler-Schwartz A, Marwa I, Bajunaid K, Mullah M, Alotaibi FE, Bugdadi A, Sawaya R, Sabbagh AJ, Del Maestro R. A Comparison of Visual Rating Scales and Simulated Virtual Reality Metrics in Neurosurgical Training: A Generalizability Theory Study. World Neurosurg. 2019 Jul;127:e230-e235. doi: 10.1016/j.wneu.2019.03.059. Epub 2019 Mar 15.
- Duffy, M.C., et al., Emotions in medical education: Examining the validity of the Medical Emotion Scale (MES) across authentic medical learning environments. Learning and Instruction, 2020. 70: p. 101150.
- Leppink J, Paas F, Van der Vleuten CP, Van Gog T, Van Merrienboer JJ. Development of an instrument for measuring different types of cognitive load. Behav Res Methods. 2013 Dec;45(4):1058-72. doi: 10.3758/s13428-013-0334-1.
- Fazlollahi AM, Bakhaidar M, Alsayegh A, Yilmaz R, Winkler-Schwartz A, Mirchi N, Langleben I, Ledwos N, Sabbagh AJ, Bajunaid K, Harley JM, Del Maestro RF. Effect of Artificial Intelligence Tutoring vs Expert Instruction on Learning Simulated Surgical Skills Among Medical Students: A Randomized Clinical Trial. JAMA Netw Open. 2022 Feb 1;5(2):e2149008. doi: 10.1001/jamanetworkopen.2021.49008.
研究记录日期
研究主要日期
学习开始 (实际的)
初级完成 (实际的)
研究完成 (实际的)
研究注册日期
首次提交
首先提交符合 QC 标准的
首次发布 (实际的)
研究记录更新
最后更新发布 (实际的)
上次提交的符合 QC 标准的更新
最后验证
更多信息
与本研究相关的术语
计划个人参与者数据 (IPD)
计划共享个人参与者数据 (IPD)？
IPD 计划说明
IPD 共享时间框架
IPD 共享访问标准
IPD 共享支持信息类型
- 研究方案
- 树液
- 国际碳纤维联合会
- 分析代码
- 企业社会责任
药物和器械信息、研究文件
研究美国 FDA 监管的药品
研究美国 FDA 监管的设备产品
此信息直接从 clinicaltrials.gov 网站检索，没有任何更改。如果您有任何更改、删除或更新研究详细信息的请求，请联系 register@clinicaltrials.gov. clinicaltrials.gov 上实施更改，我们的网站上也会自动更新.