Auditieve, visuele en tactiele interacties tijdens actieve, dynamische aanraking (INTOUCH)

Deze studie, getiteld "InTOUCH: Auditieve, visuele en tactiele interacties tijdens actieve, dynamische aanraking" wordt uitgevoerd binnen het overkoepelende kader van een Europees project met meerdere partners (Marie Curie Initial Training Network MULTITOUCH, getiteld "Multimodal haptic with touch devices") . Het MULTITOUCH-project heeft tot doel onderzoekers op te leiden op het gebied van haptiek en wetenschappelijke kennis op te doen over hoe tactiele feedback kan worden geïntegreerd met auditieve en tactiele feedback in mens-computerinterfaces (HCI's).

Voor dit doel zal de ''InTOUCH''-studie psychofysica en niet-invasieve elektro-encefalografie (EEG) gebruiken bij gezonde proefpersonen om te karakteriseren hoe de hersenen tactiele informatie integreren met auditieve en visuele informatie tijdens actieve aanraking.

Hoewel er veel werk is verzet om somatosensatie te onderzoeken, zowel op perceptueel als op neuraal niveau, zijn studies die aanraking onderzoeken vanuit een meer naturalistische kijk, rekening houdend met de aard van een actief, dynamisch verkenningsproces, beperkt. Bovendien blijven de neurale mechanismen die ten grondslag liggen aan de integratie van tactiele en visuele/auditieve informatie onder omstandigheden van actieve tactiele verkenning grotendeels onbekend.

De ''InTOUCH''-studie zal, in omstandigheden van actieve dynamische aanraking (bijv. de actieve tactiele verkenning van een scherm) en passieve aanraking, de multisensorische interacties tussen tactiele, auditieve en visuele stimuli onderzoeken met behulp van psychofysica, en gebruik maken van op EEG gebaseerde benaderingen om corticale activiteit te isoleren en te karakteriseren die verband houdt met de verwerking van (1) somatosensorische input die wordt geproduceerd door de mechanische interacties tussen het contacterende vingerkussen en tactiele displays, (2) somatosensorische input die wordt geproduceerd door een ultrasone haptische stimulator in de lucht die het mogelijk maakt mechanoreceptoren van de hand en (3) gelijktijdige auditieve en visuele stimulatie. Conventionele tactiele stimulatoren die in somatosensorisch onderzoek worden gebruikt, zijn afhankelijk van oppervlaktetrillingen. Om tactiele prikkels af te geven in omstandigheden van actieve dynamische aanraking, zullen tactiele displays op basis van gecontroleerde wrijving worden gebruikt. Gecontroleerde wrijvingsapparaten werken door actieve modulatie van de wrijvingseffecten tussen een vinger en een oppervlak. Minuscule en onmerkbare trillingen van de plaat op ultrasone frequenties via piëzo-elektrische bediening veroorzaken een knijpfilm die de wrijving tussen de vingertop en het scherm vermindert. Voorbijgaande modulaties van wrijving terwijl de vinger over het scherm glijdt, kunnen voelsensaties genereren, waaronder de sensaties van het glijden van de vinger tegen een rand of textuur. Een andere nieuwe benadering om mechanoreceptoren van de huid te activeren in omstandigheden van actieve aanraking zijn ultrasone luidsprekers in de lucht die in een reeks zijn geplaatst om ultrasone golven op de huid uit te zenden om sensaties van aanraking op de handpalm te creëren. Dergelijke apparaten zijn in de handel verkrijgbaar en worden gebruikt voor virtual reality-opstellingen (bijv. Ultrahaptics Stratos Explore; https://www.ultralap.com/haptics/).

Een belangrijk voordeel van dergelijke prikkels is dat ze naturalistische maar toch gecontroleerde tactiele gewaarwordingen kunnen opwekken tijdens vrij verkennen met de handen. Omdat de timing van de stimuli experimenteel wordt gecontroleerd, kan EEG worden gebruikt om op niet-invasieve wijze de corticale activiteit te bemonsteren die wordt opgewekt door de mechanische stimuli in verschillende omstandigheden van actieve en passieve aanraking. Concreet zullen twee EEG-benaderingen worden benut: de opname van transient sensory-evoked brain potentials (SEP's) en de registratie van steady-state evoked potentials (SS-EP's). In tegenstelling tot conventionele voorbijgaande SEP's die een fasische corticale respons weerspiegelen die wordt veroorzaakt door het optreden van een korte stimulus, weerspiegelen SS-EP's een aanhoudende corticale respons die wordt geïnduceerd door de langdurige periodieke herhaling van een sensorische stimulus, waarvan wordt aangenomen dat deze het gevolg is van een meesleuring van neuronale populaties die reageren. aan het periodiek gemoduleerde kenmerk van de stimulus. Verwacht wordt dat SS-EP's een uniek middel zullen bieden om de aanhoudende corticale activiteit te isoleren die wordt veroorzaakt door de aanhoudende presentatie van een sensorische stimulus, en hoe deze activiteit wordt gemoduleerd door gelijktijdige auditieve en/of tactiele stimuli. Frequentiedomeinanalyse van de EEG-activiteit die door dergelijke stimuli wordt opgewekt, is dus bijzonder geschikt om de temporele dynamiek te onderzoeken die ten grondslag ligt aan de corticale weergave van aanhoudende actieve aanraking. Bovendien biedt het onderzoeken van de hersenfunctie met behulp van SS-EP's, in vergelijking met andere niet-invasieve benaderingen om hersenactiviteit te bemonsteren, verschillende voordelen. Ten eerste vertonen SS-EP's een hoge signaal-ruisverhouding. Ten tweede maken SS-EP's het mogelijk om neurale activiteit te isoleren die specifiek verband houdt met elk van verschillende, gelijktijdig toegepaste stromen van sensorische prikkels om de processen te bestuderen die betrokken zijn bij multisensorische integratie.