通过多模态传感和耳廓神经刺激增强认知 (CAMSAN)

本研究的目的是确定主动 tAN 刺激是否可以与 Galea 生物传感耳机形成闭环​​系统，以增强认知能力。 该研究被设计为一项随机、盲法、假对照试验，旨在测试认知刺激任务（Flanker 任务、GradCPT、MATB 和晕机任务）中主动 tAN 刺激对改善认知表现的影响。

该研究分三个阶段进行。

• 第一阶段旨在建立认知刺激任务（Flanker 任务、GradCPT、MATB 和晕机任务）下生物识别数据与认知状态（认知负荷、压力、注意力和晕机）之间的可量化关系。
• 第二阶段涉及评估手动 tAN 以影响开环范式中的认知状态。
• 第三阶段涉及使用第一阶段的认知状态量化以及第二阶段发现的 tAN 的量化效果来检查闭环认知增强系统。

初步认知状态评估：

实验的第一阶段将建立认知任务绩效基线，并允许基于生物标志物量化认知状态指标。 参与者将执行以下任务：Flanker Task、GradCPT、MATB 和晕眩刺激任务。 这些任务中的每一项都有不同的量化和评分系统来评估表现，并且每项任务都旨在引发不同的认知刺激。 在执行每项任务之前，记录 10 分钟的空闲认知状态基线。

开环干预：

在第二阶段，所有参与者（第 1-2 组）将经历相同的一组任务，这次是佩戴 Sparrow Link tAN 设备，第 1 组将经历主动 tAN，由研究者控制以确定影响认知状态的最佳设置。

闭环干预：

在第三阶段，第一阶段确定的量化认知状态的信息和第二阶段确定的影响认知状态的信息将用于创建一个使用主动 tAN（仅限第 1 组）的闭环干预系统，根据确定的条件触发调查组。 两组将经历与第一阶段和第二阶段相同的任务，但第一组将接收有效的 tAN，而第二组则不会。

任务 已被证明会引起压力、注意力丧失和晕机症的实验范式和机制将用于引发研究参与者的生理反应。 这些响应将用于生成目标认知状态自动表征的数据，确定不同水平的手动 tAN 如何影响这些状态，并测试闭环神经刺激系统的功效。 这些范例和机制如下所述。

多属性任务组 (MATB) 多属性任务组是一项基于计算机的任务，旨在评估操作员绩效和工作量。 MATB 提供了一组基准任务，类似于飞机机组人员在飞行中执行的活动，尽管非飞行员人员也可以使用它。 MATB 要求同时执行监控动态资源管理和任务跟踪。 多个任务的同时执行是 MATB 的核心特征，并且是与大多数操作系统一致的特征，使其成为有用的研究平台。 在本例中，我们将使用 OpenMATB，这是一个用 Python 编写的 MATB 实验环境的开源实现（Cegarra 等人，2020）。

侧卫任务 侧卫任务可用于测量处理和选择性注意（Eriksen，1974）。 侧翼任务要求参与者对中心目标刺激做出反应，同时忽略可能与目标刺激一致或不一致的侧翼刺激（Eriksen，1974）。 随着时间的推移，这些任务变得更具挑战性，要么减少反应时间，要么引入更多相互矛盾的信息。 受试者的反应和错误率可用于衡量他们的注意力和压力水平。 这些指标与自我报告的数据相结合，可用于创建标记数据集。 根据需要，可以使用数字或形状来修改任务，以增加更多变化或复杂性。

GradCPT 连续表现任务要求参与者对频繁的刺激做出反应并抑制对不频繁的刺激的反应（Robertson 等，1997）。 GradCPT 通过使用渐进过渡消除了试验之间视觉刺激的偏移和开始。 因此，GradCPT 更依赖于内部注意力控制，对于使用生理方法研究持续注意力过程很有用。 GradCPT 任务用于测试受试者的持续选择性注意力以及反应抑制。 对任务关注不足可能会导致意外或不正确的输入。 图像显示第一张图像以 100%、75%、50%、25% 和 0% 图像相干度过渡到第二张图像。 每次呈现城市场景时，参与者都需要按下按钮（90% 的试验），而在其余 10% 的试验中，当呈现不常见的山地场景时，参与者需要保持不响应（Fortenbaugh 等人，2017）。 初始过渡期为 800 毫秒，可以随时间随机或减少，以增加任务难度和方差。

晕动症刺激机制 晕动症是指一些用户在虚拟现实 (VR) 体验期间和之后表现出类似于经典晕动病的症状的倾向。 它与晕动病的不同之处在于，用户通常是静止的，但由于模拟的沉浸式视觉效果而具有令人信服的自我运动感（LaViola Jr，2000）。 晕屏症状包括头晕、恶心和头晕（Davis & Nalivaiko，2014），已知有多种因素会诱发晕屏，包括延迟（Stauffert et al. 2020）和失控（Davis & Nalivaiko，2014） 。 沉浸式 VR 体验中晕眩症的敏感度为 20-95%（Yildirim，2020）。

传感技术本节描述了实验期间用于记录对刺激的生理反应并表征认知状态指标的技术。

脑电图 (EEG) 脑电图 (EEG) 通过在头皮上放置电极来记录脑电活动。 使用脑电图的一个主要优点是它是非侵入性的，这意味着它是一种安全且低风险的研究大脑活动的方法。 与功能磁共振成像或脑磁图相比，它也相对便宜。 脑电图具有很高的时间分辨率，可以捕获毫秒级的事件。 然而，脑电图的缺点是空间分辨率非常有限，因为电极放置在头皮上，并且大脑和电极之间有多个非神经元组织的中间层。 这导致信号分散并严重偏向大脑的外围结构。

脑电图是评估认知状态和情绪的有用工具，当与监测其他生理标记的其他传感方式结合使用时，它会变得更加强大。 脑电图与其他方式的结合增加了认知状态检测和量化的概率（Kartsch 等人，2018；Yasemin 等人，2019；Antonenko 等人，2010）。

Galea 生物传感套件支持十个主动 EEG 电极和两个被动 EEG 电极。 十个有源电极沿着中线位于额叶、顶叶和枕叶。 具体来说，它们的位置是 F1、F2、C3、CZ、C4、P3、P4、PZ、O1、O2，如 EEG 记录的 10-10 系统所示。 两个无源电极位于耳机面罩中，测量 10-10 系统所示的 Fp1 和 Fp2 位置。

Galea 系统中包含的主动 EEG 电极使用由导电聚合物制成的梳子，并通过头发和其他障碍物与头部提供稳定的接触。 被动脑电图电极由银/氯化银 (Ag/AgCl) 制成，与受试者的前额接触。 该设备有两个固定在用户耳朵上的夹子。 这些耳夹提供共模信号抑制并用作 EEG 电极的参考电压。

面部肌电图 (EMG) 肌电图 (EMG) 涉及肌肉和控制肌肉的神经细胞（运动神经元）的测量。 为了测量肌电图，将电极放置在皮肤上或插入肌肉中以检测电活动。 然后分析产生的信号以提供有关肌肉和神经功能的信息。

Galea 生物传感套件包括位于面罩周围的干 EMG 电极，该电极连接到耳机的 XR 组件。 这些电极测量面部肌肉活动，并允许在 XR 耳机覆盖面部时估计面部姿势。 三对电极以不同方向放置在眉毛上方，以瞄准提升眉毛的额肌，以及降低眉毛的降眉肌、降眉肌和皱眉肌。 在每个脸颊上放置额外的电极对，以瞄准颧大肌和颧小肌，使嘴唇和脸颊能够移动。 电极是涂有 Ag/AgCl 的标准干燥扁平电极。

光电体积描记法 (PPG) 光电体积描记法 (PPG) 是一种测量靠近皮肤表面的血管血流量的非侵入性方法。 PPG 提供有关特定区域血量的信息，可用于推断脉搏率、氧饱和度水平。 该信息可以通过监测与心理活动相关的生理参数的变化来量化认知状态。 PPG 可用于测量脉率变异性，该变异性非常接近心率变异性（Chuang 等，2015）。 心率变异性 (HRV) 是衡量连续心跳之间时间变化的指标。 它提供有关自主神经系统活动的信息，自主神经系统调节心率、呼吸和血压等功能。 研究表明，HRV 可以作为认知状态的有用指标（McDuff 等，2014）。 例如，低 HRV 与高水平的压力、焦虑和抑郁有关，而高 HRV 则与情绪改善、认知表现和整体幸福感相关（McDuff 等，2014）。

HRV 还可以提供有关交感神经系统和副交感神经系统之间平衡的信息。 高 HRV 表明两个系统之间的平衡，而低 HRV 表明一个系统优于另一个系统。 此外，HRV 被发现是脑力劳动和认知负荷的可靠指标（Solhjoo 等人，2019）。 例如，人们发现，当个体从事需要脑力劳动的任务（例如解决问题或做出决策）时，HRV 会降低。 HRV 的下降可以作为脑力劳动和认知负荷的标志，并且可以用来监测认知状态随时间的变化。

PPG 传感器集成到与 Galea 生物传感套件相连的耳夹之一中。 该夹子放置在耳垂上，相对于其他位置，会产生非常高的信噪比 (SNR) 信号，与心电图相比，足以替代心率监测（Vescio 等人，2018 年；Weiler 等人）等，2017）。

皮肤电活动（EDA） 皮肤电活动（EDA）是指由汗腺活动变化引起的皮肤电导的变化。 EDA 可以通过将电极连接到皮肤并记录皮肤电导或阻抗的变化来测量。 两种方法都提供了有关皮肤电导变化的充分信息。 汗腺活动通常与情绪唤醒增加相关，尤其是压力和焦虑，而 EDA 是一种成熟的生理测量方法，用于评估唤醒、注意力和情绪状态的变化（Leiner 等，2012）。 然而，EDA 的局限性在于，它仅提供有关皮肤电导相对于基线的变化的信息，并不能表明电导的变化与什么特定的认知状态相关。

Galea 从前额测量 EDA，这为更外围的测量位置提供了类似水平的信息（Hossain 等人，2022）。

眼电图 (EOG) Galea 生物传感套件支持集成 EOG，可测量眼电活动。 该系统检测眼球沿垂直和水平轴的运动。 当这些运动发生时，眼球运动充当偶极子并引起可记录的大的可测量波动。

尽管用 EOG 很难估计准确的眼睛位置，但可以使用 EOG 信息来估计其他神经和生理信号背景下的注意力和其他认知指标（Perdiz 等人，2017 年；Morton 等人，2022 年）。 Galea 的 EOG 传感器使用与 EMG 传感器相同的扁平 Ag/AgCl 电极。 对于垂直 EOG，它们放置在右眼的上方和下方；对于水平 EOG，它们放置在左眼和右眼的外围。

眼动追踪和瞳孔测量 眼动追踪是通过实时映射眼球运动的红外成像传感器来实现的。 眼睛注视可以间接衡量注意力，以及个人如何在不同刺激之间转移注意力并优先考虑注意力资源（Ziv，2016）。 眼动追踪与瞳孔测量和其他生理监测技术相结合，可以洞察由于压力和其他因素而导致的注意力丧失（Miller & Unsworth，2020）。 眼睛注视跟踪对于了解受试者何时专注于刺激以及何时转移焦点非常有用（Armstrong 和 Olatunji，2012）。

瞳孔测量是测量瞳孔大小因不同场景或刺激而发生的变化。 瞳孔测量在认知增强领域至关重要，因为它是肾上腺素能活动的间接测量，特别是大脑中去甲肾上腺素的活动。 这很有用，因为去甲肾上腺素与唤醒和注意力有关。 去甲肾上腺素还参与瞳孔的调节，因为它通过激活虹膜中的扩张肌来引起瞳孔扩张。 检测肾上腺素能活动然后用 tAN 对其进行调节的能力可以减轻各种压力和晕动病相关症状（Badran 等人，2018；Molefi 等人，2023）。

Galea 生物传感套件包括集成的 Varjo XR-3 头戴式显示器 (HMD)。 这些头显使用红外眼部摄像头来跟踪注视、眼球运动和瞳孔测量。 集成的眼球注视跟踪和瞳孔测量系统以 200 Hz 采样，能够捕捉注意力和注意力的细微变化。

神经刺激技术 经皮耳廓神经刺激 (tAN) 是一种针对耳廓上的三叉神经和迷走神经的范例。 最近，耳廓已成为多种病理学中神经调节的目标，包括阿片类药物戒断、慢性腹痛和耐药性癫痫（Kaniusas et al., 2019）。 tAN 通过放置在左耳（耳廓）上的小型非侵入性设备提供温和的电刺激，以调节关键皮区区域的多个脑神经分支。 这些区域覆盖或邻近几个脑神经（V、VII、IX、X）和枕神经的传入感觉神经支配。 因此，tAN 刺激可能对维持注意力水平（Sharon 等人，2020）、减少急性应激（Ylikoski 等人，2020）和减轻恶心（Molefi 等人，2023；Espinoza-Palavicino 等人）产生影响。等人，2023；埃伦等人，2018）。

tAN 还可以减轻晕动病 (MS) 和空间偏差 (SD) 的症状（Molefi 等人，2023 年；Espinoza-Palavicino 等人，2023 年）。 迷走神经和三叉神经传入神经投射到孤束核（NTS），这是大脑内的一个主要中继站。 NTS 包含三叉神经-前庭-迷走神经回路，在 MS 中发挥重要作用 (Babic & Browning, 2014)。 它还接收来自脊髓束、后区、下丘脑、小脑和前庭/迷路系统以及大脑皮层的直接或间接输入，所有这些在控制恶心和呕吐的延髓反射的调节中发挥着重要作用（Babic &布朗宁，2014）。 tAN 还调节蓝斑，蓝斑是产生去甲肾上腺素的主要脑核，据推测蓝斑可以减轻多发性硬化症的症状（Badran 等人，2018）。 这些联系暗示了 tAN 可以调节 MS 的途径，从而减少与 XR 模拟相关的晕眩症状的影响。