다중 모드 감지 및 청각 신경 자극을 통한 인지 증강 (CAMSAN)

이 연구의 목적은 활성 tAN 자극이 Galea 바이오센싱 헤드셋을 사용하여 폐쇄 루프 시스템을 형성하여 인지 성능을 향상시킬 수 있는지 확인하는 것입니다. 이 연구는 인지 자극 작업(Flanker 작업, GradCPT, MATB 및 사이버 질병 작업)에서 활성 tAN 자극이 인지 성능 개선에 미치는 영향을 테스트하기 위한 무작위, 맹검, 가짜 대조 시험으로 설계되었습니다.

연구는 세 단계로 진행됩니다.

• 1단계는 인지 자극 작업(Flanker 작업, GradCPT, MATB 및 사이버 멀미 작업)에서 생체 인식 데이터와 인지 상태(인지 부하, 스트레스, 주의력 및 사이버 멀미) 간의 정량화 가능한 관계를 설정하도록 설계되었습니다.
• 2단계에는 개방형 루프 패러다임에서 인지 상태에 영향을 미치는 수동 tAN의 평가가 포함됩니다.
• 세 번째 단계에서는 1단계의 인지 상태 정량화와 2단계에서 발견된 tAN의 정량화된 효과를 사용하여 폐쇄 루프 인지 증강 시스템을 검사합니다.

예비 인지 상태 평가:

실험의 1단계에서는 인지 작업 수행 기준을 설정하고 바이오마커를 기반으로 인지 상태 지표를 정량화할 수도 있습니다. 참가자는 Flanker Task, GradCPT, MATB 및 사이버 멀미 자극 작업과 같은 작업을 수행합니다. 이러한 각 작업에는 성능을 평가하기 위한 서로 다른 정량화 및 채점 시스템이 있으며, 각 작업의 목표는 서로 다른 인지 자극을 유도하는 것입니다. 각 작업 전에 인지 상태의 유휴 기준이 10분 동안 기록됩니다.

개루프 개입:

2단계에서 모든 참가자(그룹 1-2)는 이번에는 Sparrow Link tAN 장치를 착용한 상태에서 동일한 작업 세트를 받게 되며, 그룹 1은 인지 상태에 영향을 미치는 최적의 설정을 결정하기 위해 조사자가 제어하는 ​​활성 tAN을 경험하게 됩니다. .

폐쇄 루프 개입:

3단계에서는 1단계에서 결정된 인지 상태 정량화에 대한 정보와 2단계에서 결정된 인지 상태에 영향을 주는 정보를 사용하여 다음에 의해 결정된 조건에 따라 트리거되는 활성 tAN(그룹 1만 해당)을 사용하는 폐쇄 루프 개입 시스템을 생성합니다. 조사팀. 두 그룹 모두 1단계 및 2단계와 동일한 작업 세트를 거치게 되지만 그룹 1은 활성 tAN을 수신하고 그룹 2는 그렇지 않습니다.

과제 스트레스, 주의력 상실 및 사이버 멀미를 유발하는 것으로 밝혀진 실험적 패러다임과 메커니즘을 사용하여 연구 참가자의 생리적 반응을 이끌어냅니다. 이러한 반응은 대상 인지 상태의 자동 특성화를 위한 데이터를 생성하고, 다양한 수준의 수동 tAN이 이러한 상태에 어떻게 영향을 미치는지 결정하고, 폐쇄 루프 신경 자극 시스템의 효능을 테스트하는 데 사용됩니다. 이러한 패러다임과 메커니즘은 아래에 설명되어 있습니다.

다중 속성 작업 배터리(MATB) 다중 속성 작업 배터리는 운영자 성능과 작업량을 평가하도록 설계된 컴퓨터 기반 작업입니다. MATB는 조종사가 아닌 개인도 사용할 수 있지만 항공기 승무원이 비행 중에 수행하는 활동과 유사한 일련의 작업 벤치마크를 제공합니다. MATB에는 동적 리소스 관리 모니터링과 작업 추적의 동시 성능이 필요합니다. 여러 작업을 동시에 수행하는 것은 MATB의 핵심 기능이며 대부분의 운영 시스템과 일치하는 기능이므로 연구 플랫폼으로 유용합니다. 이 경우 Python으로 작성된 MATB 실험 환경의 오픈 소스 구현인 OpenMATB를 사용합니다(Cegarra, et al. 2020).

측면 작업 측면 작업은 처리 및 선택적 주의를 측정하는 데 사용될 수 있습니다(Eriksen, 1974). 측면 작업에서는 참가자가 중앙 목표 자극에 반응하면서 목표 자극과 일치할 수도 있고 일치하지 않을 수도 있는 측면 자극을 무시하도록 요구합니다(Eriksen, 1974). 이러한 작업은 반응에 허용되는 시간을 줄이거나 더 많은 상충되는 정보를 도입함으로써 시간이 지남에 따라 더욱 어려워집니다. 피험자의 반응과 오류율을 사용하여 주의력과 스트레스 수준을 측정할 수 있습니다. 자체 보고 데이터와 결합된 이러한 측정항목을 사용하여 레이블이 지정된 데이터세트를 만들 수 있습니다. 필요에 따라 더 많은 변형이나 복잡성을 추가하기 위해 작업을 숫자나 모양으로 수정할 수 있습니다.

GradCPT 지속적인 수행 과제에서는 참가자가 빈번한 자극에 반응하고 드물게 발생하는 자극에 대한 반응을 억제해야 합니다(Robertson, et al., 1997). GradCPT는 점진적인 전환을 사용하여 시험 간 시각적 자극의 오프셋과 시작을 제거합니다. 결과적으로 GradCPT는 내부 주의 제어에 더 의존하며 생리학적 방법을 사용하여 지속적인 주의 과정을 연구하는 데 유용합니다. GradCPT 작업은 대상의 지속적이고 선택적인 주의력과 반응 억제를 테스트하는 데 사용됩니다. 작업에 대한 주의가 부족하면 의도하지 않은 입력이나 잘못된 입력이 발생할 수 있습니다. 이미지는 100%, 75%, 50%, 25% 및 0% 이미지 일관성에서 두 번째 이미지로 전환되는 첫 번째 이미지를 보여줍니다. 참가자는 도시 장면이 표시될 때마다(90% 시도) 버튼을 눌러야 하며 나머지 10% 시도에서 드물게 산 장면이 표시되면 응답을 보류해야 합니다(Fortenbaugh, et al., 2017). 초기 전환 기간은 800ms이며, 작업 난이도와 변동성을 높이기 위해 시간이 지남에 따라 무작위화되거나 감소될 수 있습니다.

사이버 멀미 자극 메커니즘 사이버 멀미는 일부 사용자가 가상 ​​현실(VR) 경험 도중 및 이후에 전형적인 멀미와 유사한 증상을 나타내는 경향과 관련이 있습니다. 이는 사용자가 정지해 있는 경우가 많지만 시뮬레이션의 몰입형 시각적 측면으로 인해 강력한 자기 움직임 감각을 갖는다는 점에서 멀미와는 다릅니다(LaViola Jr, 2000). 사이버멀미의 증상에는 현기증, 메스꺼움, 현기증 등이 있으며(Davis & Nalivaiko, 2014), 지연(Stauffert et al. 2020), 통제력 상실(Davis & Nalivaiko, 2014) 등 사이버멀미를 유발하는 것으로 알려진 여러 요인이 있습니다. . 몰입형 VR 경험을 통해 사이버 멀미에 대한 민감도의 유병률은 20~95%입니다(Yildirim, 2020).

감지 기술 이 섹션에서는 실험 중에 자극에 대한 생리적 반응을 기록하고 인지 상태 지표를 특성화하는 데 사용되는 기술에 대해 설명합니다.

뇌파검사(EEG) 뇌파검사(EEG)는 두피에 전극을 배치하여 뇌의 전기 활동을 기록합니다. EEG를 사용하는 주요 장점 중 하나는 비침습적이라는 점입니다. 즉, 뇌 활동을 연구하는 데 안전하고 위험이 낮은 방법이라는 의미입니다. 또한 fMRI나 MEG에 비해 상대적으로 저렴합니다. EEG는 높은 시간 해상도를 가지며 밀리초 단위로 이벤트를 캡처합니다. 그러나 EEG의 단점은 전극이 두피에 배치되고 뇌와 전극 사이에 비뉴런 조직의 중간층이 여러 개 있기 때문에 공간 분해능이 매우 제한적이라는 것입니다. 이로 인해 신호가 분산되고 뇌의 말초 구조로 심하게 편향됩니다.

EEG는 인지 상태와 감정을 추정하는 데 유용한 도구이며, 다른 생리학적 지표를 모니터링하는 다른 감지 방식과 결합하면 더욱 강력해집니다. EEG를 다른 양식과 결합하면 인지 상태의 탐지 및 정량화 가능성이 높아집니다(Kartsch et al., 2018; Yasemin et al., 2019; Antonenko et al., 2010).

Galea 바이오센싱 제품군은 10개의 활성 EEG 전극과 2개의 수동 EEG 전극을 지원합니다. 10개의 활성 전극은 정중선과 전두엽, 두정엽, 후두엽에 위치합니다. 구체적으로 그 위치는 EEG 기록을 위한 10-10 시스템으로 표시되는 F1, F2, C3, CZ, C4, P3, P4, PZ, O1, O2입니다. 두 개의 수동 전극은 헤드셋 안면 마스크에 위치하며 10-10 시스템으로 표시된 Fp1 및 Fp2 위치를 측정합니다.

Galea 시스템에 포함된 활성 EEG 전극은 전도성 폴리머로 형성된 빗을 사용하며 머리카락 및 기타 장애물을 통과하여 머리에 안정적인 접촉을 제공합니다. 수동 EEG 전극은 은/염화은(Ag/AgCl)으로 만들어지며 피험자의 이마에 접촉됩니다. 장치에는 사용자의 귀에 부착되는 두 개의 클립이 부착되어 있습니다. 이 이어클립은 공통 모드 신호 거부 기능을 제공하고 EEG 전극의 기준 전압 역할을 합니다.

얼굴 근전도검사(EMG) 근전도검사(EMG)는 근육과 이를 제어하는 ​​신경 세포(운동 뉴런)의 측정과 관련이 있습니다. EMG를 측정하려면 전극을 피부에 배치하거나 근육에 삽입하여 전기적 활동을 감지합니다. 그런 다음 결과 신호를 분석하여 근육과 신경의 기능에 대한 정보를 제공합니다.

Galea 바이오센싱 제품군에는 헤드셋의 XR 구성 요소에 부착되는 안면 마스크 주위에 건식 EMG 전극이 포함되어 있습니다. 이 전극은 안면 근육 활동을 측정하고 XR 헤드셋으로 얼굴을 가릴 때 얼굴 자세를 추정할 수 있습니다. 눈썹을 올리는 전두근과 눈썹을 내리는 근육인 미간내림근, Supercilli 내림근 및 Currugator 근육을 목표로 하기 위해 세 쌍의 전극을 다양한 방향으로 눈썹 위에 배치합니다. 추가 전극 쌍을 각 뺨에 배치하여 입술과 뺨을 움직일 수 있는 대광대근과 소광대근을 목표로 합니다. 전극은 Ag/AgCl로 코팅된 표준 건조 평면 전극입니다.

광용적맥파측정(PPG) 광용적맥파측정(PPG)은 피부 표면에 가까운 혈관의 혈류를 측정하는 비침습적 방법입니다. PPG는 특정 부위의 혈액량에 대한 정보를 제공하며 맥박수, 산소 포화도 수준을 추론하는 데 사용할 수 있습니다. 이 정보는 정신 활동과 관련된 생리적 매개변수의 변화를 모니터링함으로써 인지 상태의 정량화에 기여할 수 있습니다. PPG는 심박수 변동성과 매우 유사한 맥박수 변동성을 측정하는 데 사용될 수 있습니다(Chuang et al., 2015). 심박변이도(HRV)는 연속적인 심장 박동 사이의 시간 변화를 측정한 것입니다. 이는 심박수, 호흡, 혈압과 같은 기능을 조절하는 자율신경계의 활동에 대한 정보를 제공합니다. 연구에 따르면 HRV는 인지 상태를 나타내는 유용한 지표가 될 수 있습니다(McDuff et al., 2014). 예를 들어, 낮은 HRV는 높은 수준의 스트레스, 불안 및 우울증과 관련이 있는 반면, 높은 HRV는 향상된 기분, 인지 성능 및 전반적인 웰빙과 관련이 있습니다(McDuff et al., 2014).

HRV는 또한 교감 신경계와 부교감 신경계 사이의 균형에 대한 정보를 제공할 수 있습니다. 높은 HRV는 두 시스템 간의 균형을 나타내고, 낮은 HRV는 한 시스템이 다른 시스템보다 우세함을 나타냅니다. 또한 HRV는 정신적 노력과 인지 부하를 나타내는 신뢰할 수 있는 지표인 것으로 밝혀졌습니다(Solhjoo et al., 2019). 예를 들어, HRV는 개인이 문제 해결이나 의사 결정과 같이 정신적으로 힘든 작업에 참여할 때 감소하는 것으로 밝혀졌습니다. HRV의 이러한 감소는 정신적 노력과 인지 부하의 지표로 사용될 수 있으며 시간 경과에 따른 인지 상태의 변화를 모니터링하는 데 사용될 수 있습니다.

PPG 센서는 Galea 생체 감지 제품군에 부착된 이어 클립 중 하나에 통합되어 있습니다. 클립은 귓불에 배치되어 다른 위치에 비해 신호 대 잡음(SNR) 신호가 매우 높으며 심전도와 비교할 때 심박수 모니터링을 충분히 대체할 수 있습니다(Vescio et al., 2018; Weiler et al. al., 2017).

피부 전기 활동(EDA) 피부 전기 활동(EDA)은 땀샘 활동의 변화로 인해 발생하는 피부의 전기 전도도 변화를 의미합니다. EDA는 피부에 전극을 부착하고 피부 전도도 또는 임피던스의 변화를 기록하여 측정할 수 있습니다. 두 방법 모두 피부 전도도의 변화에 ​​대한 적절한 정보를 제공합니다. 땀샘 활동은 종종 감정적 각성 증가, 특히 스트레스 및 불안과 관련이 있으며, EDA는 각성, 주의력 및 감정 상태의 변화를 평가하는 데 사용되는 잘 확립된 생리학적 척도입니다(Leiner et al., 2012). 그러나 EDA의 한계는 기준선에 비해 피부 전도도의 변화에 ​​대한 정보만 제공할 뿐 전도도의 변화가 어떤 특정 인지 상태와 연결되어 있는지 나타내지 않는다는 것입니다.

Galea는 이마에서 EDA를 측정하여 더 많은 주변 측정 위치에 유사한 수준의 정보를 제공합니다(Hossain et al., 2022).

EOG(Electrooculography) Galea 바이오센싱 제품군은 눈의 전기 활동을 측정하는 통합 EOG를 지원합니다. 시스템은 수직 및 수평 축을 따라 눈의 움직임을 감지합니다. 이러한 움직임이 발생하면 안구 움직임은 쌍극자 역할을 하며 기록할 수 있는 측정 가능한 큰 변동을 유발합니다.

EOG로 정확한 눈 위치를 추정하기는 어렵지만, EOG 정보를 사용하여 다른 신경 및 생리학적 신호의 맥락에서 주의력 및 기타 인지 지표를 추정하는 것이 가능합니다(Perdiz et al., 2017; Morton et al., 2022). Galea의 EOG 센서는 EMG 얼굴 센서와 동일한 평면 Ag/AgCl 전극을 사용합니다. 수직 EOG의 경우 오른쪽 눈 위와 아래에 배치되고 수평 EOG의 경우 왼쪽 및 오른쪽 눈의 외부 주변에 배치됩니다.

눈 추적 및 동공측정 눈 시선 추적은 눈 움직임을 실시간으로 매핑하는 적외선 이미징 센서를 사용하여 달성됩니다. 시선은 주의력을 간접적으로 측정할 수 있으며, 개인이 어떻게 다양한 자극 간에 주의를 전환하고 주의력 자원의 우선순위를 정하는지에 대한 방법입니다(Ziv, 2016). 동공 측정 및 기타 생리학적 모니터링 기술과 결합된 시선 추적을 통해 스트레스 및 기타 요인으로 인한 주의력 상실에 대한 통찰력을 얻을 수 있습니다(Miller & Unsworth, 2020). 시선 추적은 피사체가 자극에 초점을 맞추는 시기와 초점을 바꾸는 시기를 이해하는 데 유용합니다(Armstrong and Olatunji, 2012).

동공측정법은 다양한 시나리오나 자극에 대한 반응으로 동공 크기 변화를 측정하는 것입니다. 동공측정법은 아드레날린 활동, 특히 뇌의 노르에피네프린 활동을 간접적으로 측정하기 때문에 인지 증강 분야에서 매우 중요합니다. 노르에피네프린은 각성 및 주의와 연관되어 있기 때문에 이는 유용합니다. 노르에피네프린은 또한 홍채의 확장 근육을 활성화하여 동공 확장을 유발하므로 동공 조절에도 관여합니다. 아드레날린 활동을 감지한 다음 tAN으로 이를 조절하는 능력은 다양한 스트레스 및 멀미 관련 증상을 완화할 수 있습니다(Badran et al., 2018; Molefi et al., 2023).

Galea 바이오센싱 제품군에는 통합 Varjo XR-3 헤드 장착 디스플레이(HMD)가 포함되어 있습니다. 이 HMD는 적외선 눈 카메라를 사용하여 시선, 눈 움직임 및 동공 측정을 추적합니다. 통합된 시선 추적 및 동공 측정 시스템은 200Hz로 샘플링하며 주의력과 집중력의 미묘한 변화를 포착할 수 있습니다.

신경자극 기술 경피적 귀의 신경자극(tAN)은 귓바퀴의 삼차신경과 미주신경을 모두 표적으로 삼는 패러다임입니다. 최근 귓바퀴는 아편유사제 금단, 만성 복통, 약물 저항성 간질을 비롯한 다양한 병리학에서 신경 조절의 표적이 되었습니다(Kaniusas et al., 2019). tAN은 왼쪽 귀(귓바퀴) 위에 배치된 작은 비침습적 장치를 통해 주요 피부분절 영역의 여러 뇌신경 가지를 조절하기 위해 가벼운 전기 자극을 전달합니다. 이 영역은 여러 뇌신경(V, VII, IX, X) 및 후두신경의 구심성 감각 신경 분포를 덮거나 이에 인접합니다. 결과적으로 tAN 자극은 주의 수준 유지(Sharon et al., 2020), 급성 스트레스 감소(Ylikoski et al., 2020), 메스꺼움 완화(Molefi et al., 2023; Espinoza-Palavicino et al.)에 영향을 미칠 수 있습니다. al., 2023; Eren et al., 2018).

tAN은 또한 멀미(MS) 및 공간 편차(SD)의 증상을 약화시킬 수 있습니다(Molefi et al., 2023; Espinoza-Palavicino et al., 2023). 미주신경 및 삼차신경 구심신경은 뇌 내의 주요 중계소인 고립로핵(NTS)으로 투사됩니다. NTS는 삼차전정-미주신경 신경회로를 포함하며 MS에서 중요한 역할을 합니다(Babic & Browning, 2014). 또한 척수관, 사후 영역, 시상하부, 소뇌 및 전정/미로 시스템과 대뇌 피질로부터 직접 또는 간접적인 입력을 받으며, 이들 모두 메스꺼움과 구토를 조절하는 수질 반사의 조절에 중요한 역할을 합니다(Babic & 브라우닝, 2014). tAN은 또한 노르에피네프린 생산을 위한 주요 뇌 핵인 청반 유전자좌를 조절하는데, 이는 다발성 경화증의 증상을 완화시키는 것으로 가정되었습니다(Badran et al., 2018). 이러한 연결은 tAN이 MS를 조절하여 XR 시뮬레이션과 관련된 사이버 멀미 증상의 영향을 줄일 수 있는 경로를 제시합니다.