Слуховые, зрительные и тактильные взаимодействия во время активного динамического прикосновения (INTOUCH)

Это исследование под названием «InTOUCH: слуховые, визуальные и тактильные взаимодействия во время активного динамического прикосновения» проводится в рамках всеобъемлющего европейского проекта с участием нескольких партнеров (сеть начального обучения Марии Кюри MULTITOUCH, озаглавленная «Мультимодальные тактильные ощущения с сенсорными устройствами»). . Проект MULTITOUCH направлен на обучение исследователей в области тактильных ощущений и получение научных знаний о том, как тактильная обратная связь может быть интегрирована со слуховой и тактильной обратной связью в человеко-компьютерных интерфейсах (HCI).

С этой целью в исследовании «InTOUCH» будут использоваться психофизика и неинвазивная электроэнцефалография (ЭЭГ) у здоровых людей, чтобы охарактеризовать, как мозг интегрирует тактильную информацию со слуховой и визуальной информацией во время активного прикосновения.

Хотя было проделано много работы по изучению соматоощущения как на перцептивном, так и на нервном уровне, исследования, изучающие прикосновение с более натуралистической точки зрения, принимая во внимание его природу активного, динамического исследовательского процесса, ограничены. Более того, нейронные механизмы, лежащие в основе интеграции тактильной и зрительно-слуховой информации в условиях активного тактильного исследования, остаются в значительной степени неизвестными.

Исследование «InTOUCH» будет изучать в условиях активного динамического прикосновения (например, активное тактильное исследование дисплея) и пассивного прикосновения мультисенсорные взаимодействия между тактильными, слуховыми и визуальными стимулами с использованием психофизики и использовать подходы на основе ЭЭГ. выделить и охарактеризовать корковую активность, связанную с обработкой (1) соматосенсорной информации, создаваемой механическим взаимодействием между соприкасающимися подушечками пальцев и тактильными дисплеями, (2) соматосенсорной информации, создаваемой ультразвуковым тактильным стимулятором в воздухе, позволяющим стимулировать механорецепторы рука и (3) одновременная слуховая и визуальная стимуляция. Обычные тактильные стимуляторы, используемые в соматосенсорных исследованиях, основаны на поверхностной вибрации. Для доставки тактильных стимулов в условиях активного динамического прикосновения будут использоваться тактильные дисплеи, основанные на управляемом трении. Устройства с регулируемым трением работают путем активной модуляции фрикционных эффектов между пальцем и поверхностью. Мельчайшие и незаметные вибрации планшета на ультразвуковых частотах за счет пьезоэлектрического привода создают сжимающую пленку, уменьшающую трение между кончиком пальца и дисплеем. Временные модуляции трения во время скольжения пальца по дисплею могут вызывать тактильные ощущения, в том числе ощущения скольжения пальца по краю или текстуре. Еще один новый подход к активации кожных механорецепторов в условиях активного прикосновения - это ультразвуковые динамики в воздухе, организованные в виде массива для излучения ультразвуковых волн на кожу для создания ощущения прикосновения к ладони. Такие устройства имеются в продаже и используются для настройки виртуальной реальности (например, Ultrahaptics Stratos Explore; https://www.ultraleap.com/haptics/).

Важным преимуществом таких стимулов является то, что они могут вызывать натуралистические, но тем не менее контролируемые тактильные ощущения при свободном исследовании руками. Поскольку время стимулов контролируется экспериментально, ЭЭГ можно использовать для неинвазивной выборки корковой активности, вызванной механическими стимулами в различных условиях активного и пассивного прикосновения. В частности, будут использоваться два подхода к ЭЭГ: запись преходящих сенсорно-вызванных потенциалов мозга (SEP) и запись стационарных вызванных потенциалов (SS-EP). В отличие от обычных транзиторных SEP, которые отражают фазический корковый ответ, вызванный появлением кратковременного стимула, SS-EP отражают устойчивый корковый ответ, вызванный длительным периодическим повторением сенсорного стимула, который, как считается, является результатом вовлечения популяций нейронов, реагирующих на них. к периодически модулируемой характеристике стимула. Ожидается, что SS-EP предложат уникальное средство для выделения устойчивой корковой активности, вызванной устойчивым представлением сенсорного стимула, и того, как эта активность модулируется одновременными слуховыми и/или тактильными стимулами. Таким образом, частотный анализ активности ЭЭГ, вызванной такими стимулами, особенно хорошо подходит для исследования временной динамики, лежащей в основе корковой репрезентации устойчивого активного прикосновения. Кроме того, по сравнению с другими неинвазивными подходами к выборке мозговой активности исследование функции мозга с использованием SS-EP дает несколько преимуществ. Во-первых, СС-ВП демонстрируют высокое отношение сигнал/шум. Во-вторых, СС-ВП позволяют изолировать нейронную активность, относящуюся конкретно к каждому из нескольких одновременно применяемых потоков сенсорных стимулов, для изучения процессов, вовлеченных в мультисенсорную интеграцию.