神经外科模拟中口头智能导师指导的效率

背景：专业的外科技术技能与改善患者预后有关；然而，培训新手掌握这些技能仍然具有挑战性。 智能连续专业监测系统 (ICEMS) 是神经外科模拟和人工智能学习中心开发的深度学习应用程序，旨在改善神经外科教育。 ICEMS 通过口头指令提供持续反馈来评估和训练双手手术表现，以提高受训者表现并减少错误。

理由：我们中心之前进行的一项随机对照试验 (RCT) 表明，在模拟神经外科手术中，智能辅导比专家辅导更有效 (NCT05168150)。 另一项随机对照试验显示，医学生对减少双极力施加的 ICEMS 指令的反应表现各不相同 (NCT04700384)。 凝聚聚类算法将这些可变的学生反应分为 3 组：53% 的学生成功地遵守了纠正错误的指示，36% 的学生没有遵守指示，11% 的学生对指示反应过度。 这种反应的可变性可能会严重限制 ICEMS 的实用性，并可能归因于不同的学习方式、压力水平或对人工智能指令的误解。 在本研究期间，没有向专家培训师提供 ICEMS 错误数据。 进行一项新的随机对照试验，向专家培训师提供 ICEMS 错误数据，这将澄清许多学员没有对人工智能指令做出反应的原因。

本报告遵循人工智能试验报告综合标准 (CONSORT-AI) 以及评估外科专业知识的机器学习 (MLASE) 检查表。

假设：

1. 与人类教练提供的相同错误反馈相比，口头人工智能反馈在受训者中产生的成功响应率要低得多。
2. 在评估的两个不同的人类指导组中，受训者绩效评估分数将显着更高。
3. 与人类教练提供的口头错误反馈相比，人工智能导师提供的指导将导致压力水平和认知负荷增加。

主要目标：确定手术错误指导的提供方法如何影响：

1. 受训者对指令的反应，即他们是否纠正、未纠正或过度纠正错误（ICEMS 收集的数据）。
2. 受训者整体手术表现（ICEMS 计算的实践场景平均专业知识分数，由两位盲法专家评估者确定的现实场景的客观结构化技术技能评估 (OSATS) 分数）。

次要目标：确定手术错误指导的提供方法如何影响受训者的情感认知反应（通过 5 点李克特量表问卷自我报告）。

地点：麦吉尔大学神经外科模拟和人工智能学习中心。

参与者：在魁北克四所医学院之一就读预科、第一年或第二年的学生。

设计：三组随机对照试验。

干预：参与者将在 NeuroVR (CAE Healthcare) 上接受大约 90 分钟的培训课程，NeuroVR 是一种虚拟现实 (VR) 手术模拟器，可模拟软膜下脑肿瘤切除术。 NeuroVR有两种可能的场景：简单的练习场景和复杂的现实场景。 参与者将重复执行六次练习场景（每次 5 分钟），然后执行现实场景（13 分钟）。 ICEMS 将在整个试验过程中不断评估表现。 当 ICEMS 检测到他们的表现有错误时，所有参与者都会收到口头反馈；然而，这种口头反馈的传递方法因群体而异。

• 当检测到错误时，第 1 组（控制）将直接从 ICEMS 接收口头反馈。
• 第 2 组（实验）将收到专家讲师的口头反馈，其语言与 ICEMS 相同。
• 第 3 组（实验）将收到专家讲师用自己的话进行的口头反馈。

口头反馈将基于以下四个指标：（1）器械尖端分离距离，即双极镊子尖端与超声吸引器之间的距离； (2)双极力低； (3)吸气力大； (4)高双极力。 学员将一次针对一项指标进行评估，并可以选择在转向每项新指标之前观看专家级演示视频。 一旦掌握了一个指标，学员将继续学习下一个指标。 当受训者完成整个重复而没有收到反馈时，就认为该指标已“掌握”。

第一个练习场景将作为基准；因此，不会提供任何反馈。 在第二次、第三次、第四次、第五次重复中，将根据ICEMS错误检测给出反馈。 在第六次重复以及现实场景中，不会提供任何反馈。

意义：随着外科教育方法开始转向基于能力的框架，在外科培训中实施有效的人工智能教育反馈对于优化外科学习至关重要。 该 RCT 的结果将允许对 ICEMS 和其他人工智能辅导系统进行评估和重新设计，这不仅可以推动基于标准化能力的外科教育培训课程的开发，而且可以推动任何依赖于口头指令的人工智能辅导技术的开发。