Interakcje słuchowe, wizualne i dotykowe podczas aktywnego, dynamicznego dotyku (INTOUCH)

Niniejsze badanie zatytułowane „InTOUCH: Interakcje słuchowe, wizualne i dotykowe podczas aktywnego, dynamicznego dotyku” jest prowadzone w ramach nadrzędnego projektu europejskiego z wieloma partnerami (sieć szkolenia początkowego Marie Curie MULTITOUCH, zatytułowanego „Multimodal haptic with touch devices”) . Projekt MULTITOUCH ma na celu przeszkolenie badaczy w dziedzinie haptyki i zdobycie wiedzy naukowej na temat sposobu integracji informacji zwrotnej dotykowej z informacją zwrotną dźwiękową i dotykową w interfejsach człowiek-komputer (HCI).

W tym celu badanie "InTOUCH" wykorzysta psychofizykę i nieinwazyjną elektroencefalografię (EEG) u zdrowych osób, aby scharakteryzować sposób, w jaki mózg integruje informacje dotykowe z informacjami słuchowymi i wzrokowymi podczas aktywnego dotyku.

Chociaż wykonano wiele pracy w celu zbadania czucia somatycznego, zarówno na poziomie percepcyjnym, jak i neuronowym, badania badające dotyk z bardziej naturalistycznego punktu widzenia, biorąc pod uwagę jego naturę aktywnego, dynamicznego procesu eksploracji, są ograniczone. Ponadto mechanizmy neuronalne leżące u podstaw integracji informacji dotykowych i wzrokowych/słuchowych w warunkach aktywnej eksploracji dotykowej pozostają w dużej mierze nieznane.

Badanie „InTOUCH” będzie badać, w warunkach aktywnego, dynamicznego dotyku (np. aktywna dotykowa eksploracja wyświetlacza) i biernego dotyku, multisensoryczne interakcje między bodźcami dotykowymi, słuchowymi i wzrokowymi przy użyciu psychofizyki i wykorzystywać podejścia oparte na EEG wyizolować i scharakteryzować aktywność korową związaną z przetwarzaniem (1) bodźca somatosensorycznego wytwarzanego przez mechaniczne interakcje między stykającą się opuszki palca a wyświetlaczami dotykowymi, (2) bodźca somatosensorycznego wytwarzanego przez ultradźwiękowy stymulator haptyczny w powietrzu, pozwalający na stymulację mechanoreceptorów dłoni i (3) jednoczesna stymulacja słuchowa i wzrokowa. Konwencjonalne stymulatory dotykowe stosowane w badaniach somatosensorycznych opierają się na drganiach powierzchniowych. Do dostarczania bodźców dotykowych w warunkach aktywnego, dynamicznego dotyku wykorzystane zostaną pokazy dotykowe oparte na kontrolowanym tarciu. Kontrolowane urządzenia cierne działają poprzez aktywną modulację efektów tarcia między palcem a powierzchnią. Drobne i niezauważalne wibracje płytki przy częstotliwościach ultradźwiękowych za pomocą mechanizmu piezoelektrycznego wywołują ściśnięcie filmu, który zmniejsza tarcie między czubkiem palca a wyświetlaczem. Przejściowe modulacje tarcia, gdy palec przesuwa się po ekranie, mogą generować wrażenia dotykowe, w tym wrażenie przesuwania palca po krawędzi lub teksturze. Innym nowatorskim podejściem do aktywacji mechanoreceptorów skóry w warunkach aktywnego dotyku są głośniki ultradźwiękowe w powietrzu, zorganizowane w układ emitujący fale ultradźwiękowe na skórę, aby wywołać wrażenie dotyku na dłoni. Takie urządzenia są dostępne na rynku i używane do konfiguracji rzeczywistości wirtualnej (np. Ultrahaptics Stratos Przeglądaj; https://www.ultraleap.com/haptics/).

Ważną zaletą takich bodźców jest to, że mogą generować naturalistyczne, ale mimo to kontrolowane doznania dotykowe podczas swobodnej eksploracji rękami. Ponieważ synchronizacja bodźców jest kontrolowana eksperymentalnie, EEG można wykorzystać do nieinwazyjnego próbkowania aktywności korowej wywołanej przez bodźce mechaniczne w różnych warunkach czynnego i biernego dotyku. W szczególności wykorzystane zostaną dwa podejścia EEG: rejestracja przejściowych wywołanych sensorycznie potencjałów mózgowych (SEP) oraz rejestracja wywołanych potencjałów w stanie ustalonym (SS-EP). W przeciwieństwie do konwencjonalnych przejściowych SEP, które odzwierciedlają fazową odpowiedź korową wyzwalaną przez wystąpienie krótkiego bodźca, SS-EP odzwierciedlają trwałą odpowiedź korową indukowaną przez długotrwałe okresowe powtarzanie bodźca czuciowego, uważaną za wynikającą z porywania populacji neuronów reagujących okresowo modulowanej cechy bodźca. Oczekuje się, że SS-EP będą oferować unikalny sposób izolowania przedłużonej aktywności korowej indukowanej przez przedłużoną prezentację bodźca czuciowego oraz tego, w jaki sposób ta aktywność jest modulowana przez równoczesne bodźce słuchowe i / lub dotykowe. Analiza w dziedzinie częstotliwości aktywności EEG wywołanej przez takie bodźce jest zatem szczególnie odpowiednia do badania dynamiki czasowej leżącej u podstaw korowej reprezentacji przedłużonego aktywnego dotyku. Ponadto, w porównaniu z innymi nieinwazyjnymi podejściami do próbkowania aktywności mózgu, badanie funkcji mózgu za pomocą SS-EP ma kilka zalet. Po pierwsze, SS-EP wykazują wysoki stosunek sygnału do szumu. Po drugie, SS-EP umożliwiają izolowanie aktywności neuronalnej związanej konkretnie z każdym z kilku, jednocześnie zastosowanych strumieni bodźców czuciowych w celu zbadania procesów związanych z integracją multisensoryczną.