활성, 동적 터치 중 청각, 시각 및 촉각 상호 작용 (INTOUCH)

"InTOUCH: 청각적, 시각적 및 촉각적 상호작용 동안 능동적이고 역동적인 터치"라는 제목의 이 연구는 다중 파트너 유럽 프로젝트(Marie Curie 초기 교육 네트워크 MULTITOUCH, "터치 장치를 사용한 멀티모달 햅틱")의 중요한 프레임워크 내에서 수행됩니다. . MULTITOUCH 프로젝트는 촉각 분야의 연구원을 교육하고 촉각 피드백이 인간-컴퓨터 인터페이스(HCI)에서 청각 및 촉각 피드백과 어떻게 통합될 수 있는지에 대한 과학적 지식을 얻는 것을 목표로 합니다.

이를 위해 ''InTOUCH'' 연구는 건강한 인간을 대상으로 정신물리학 및 비침습적 뇌파검사(EEG)를 사용하여 능동적인 접촉 중에 뇌가 촉각 정보를 청각 및 시각 정보와 통합하는 방법을 특성화합니다.

지각 및 신경 수준 모두에서 신체 감각을 조사하기 위해 많은 작업이 수행되었지만 능동적이고 역동적인 탐색 프로세스의 특성을 고려하여 보다 자연스러운 관점에서 접촉을 조사하는 연구는 제한적입니다. 또한 능동적 촉각 탐색 조건에서 촉각 및 시각/청각 정보 통합의 기초가 되는 신경 메커니즘은 거의 알려지지 않았습니다.

''InTOUCH'' 연구는 능동적 동적 터치(예: 디스플레이의 능동적 촉각 탐색) 및 수동적 터치 조건에서 정신물리학을 사용하여 촉각, 청각 및 시각적 자극 간의 다감각적 상호 작용을 조사하고 EEG 기반 접근 방식을 활용합니다. (1) 접촉하는 손가락 패드와 촉각 디스플레이 사이의 기계적 상호 작용에 의해 생성된 체감각 입력, (2) 초음파 공중 햅틱 자극기에 의해 생성된 체감각 입력의 처리와 관련된 피질 활동을 분리하고 특성화하기 위해 손 및 (3) 동시 청각 및 시각 자극. 체감각 연구에 사용되는 기존의 촉각 자극기는 표면 진동에 의존합니다. 활성 동적 터치 조건에서 촉각 자극을 전달하기 위해 제어된 마찰에 기반한 촉각 디스플레이가 사용됩니다. 제어된 마찰 장치는 손가락과 표면 사이의 마찰 효과를 능동적으로 조절하여 작동합니다. 압전 작동을 통해 초음파 주파수에서 플레이트의 미세하고 감지할 수 없는 진동은 손가락 끝과 디스플레이 사이의 마찰을 줄이는 스퀴즈 필름을 유도합니다. 손가락이 디스플레이에서 미끄러지는 동안 마찰의 일시적 변조는 가장자리나 질감에 대해 손가락을 미끄러지는 감각을 포함하여 촉각 감각을 생성할 수 있습니다. 능동적 접촉 조건에서 피부 기계수용체를 활성화하는 또 다른 새로운 접근 방식은 초음파를 피부에 방출하여 손바닥에 촉각을 생성하는 배열로 구성된 공중 초음파 스피커입니다. 이러한 장치는 상업적으로 이용 가능하며 가상 현실 설정에 사용됩니다(예: Ultrahaptics Stratos 탐색; https://www.ultraleap.com/haptics/).

이러한 자극의 중요한 이점은 손으로 자유롭게 탐색하는 동안 자연스러우면서도 제어된 촉각 감각을 생성할 수 있다는 것입니다. 자극의 타이밍이 실험적으로 제어되기 때문에 EEG는 능동 및 수동 터치의 다양한 조건에서 기계적 자극에 의해 유도된 피질 활동을 비침습적으로 샘플링하는 데 사용할 수 있습니다. 특히, 일시적인 감각 유발 뇌 전위(SEP)의 기록 및 정상 상태 유발 전위(SS-EP)의 기록의 두 가지 EEG 접근법이 이용될 것입니다. 짧은 자극의 발생에 의해 촉발되는 위상 피질 반응을 반영하는 기존의 일시적인 SEP와 달리 SS-EP는 감각 자극의 오래 지속되는 주기적인 반복에 의해 유도된 지속적인 피질 반응을 반영하며, 반응하는 신경 인구의 동조로 인한 것으로 생각됩니다. 자극의 주기적으로 변조된 특징에. SS-EP는 감각 자극의 지속적인 제시에 의해 유도된 지속적인 피질 활동을 분리하고 이 활동이 동시 청각 및/또는 촉각 자극에 의해 어떻게 조절되는지를 분리하는 고유한 수단을 제공할 것으로 예상됩니다. 따라서 이러한 자극에 의해 유발된 EEG 활동의 주파수 영역 분석은 지속적인 활성 터치의 피질 표현의 기본이 되는 시간 역학을 조사하는 데 특히 적합합니다. 또한 샘플 뇌 활동에 대한 다른 비침습적 접근 방식과 비교할 때 SS-EP를 사용하여 뇌 기능을 조사하면 몇 가지 이점이 있습니다. 첫째, SS-EP는 높은 신호 대 잡음비를 나타냅니다. 둘째, SS-EP는 다중 감각 통합과 관련된 프로세스를 연구하기 위해 동시에 적용되는 여러 감각 자극 스트림 각각과 특별히 관련된 신경 활동을 분리할 수 있습니다.