Auditive, visuelle og taktile interaksjoner under aktiv, dynamisk berøring (INTOUCH)

Denne studien, med tittelen "InTOUCH: Auditiv, visuell og taktile interaksjoner under aktiv, dynamisk berøring" er utført innenfor den overordnede rammen av et europeisk prosjekt med flere partnere (Marie Curie Initial Training Network MULTITOUCH, med tittelen "Multimodal haptic with touch devices") . MULTITOUCH-prosjektet har som mål å trene forskere innen haptikk, og få vitenskapelig kunnskap om hvordan taktil tilbakemelding kan integreres med auditiv og taktil tilbakemelding i menneske-datamaskin-grensesnitt (HCI).

For dette formålet vil ''InTOUCH''-studien bruke psykofysikk og ikke-invasiv elektroencefalografi (EEG) hos friske mennesker for å karakterisere hvordan hjernen integrerer taktil informasjon med auditiv og visuell informasjon under aktiv berøring.

Mens mye arbeid har blitt gjort for å undersøke somatosensasjon, både på perseptuelt og nevralt nivå, er studier som undersøker berøring fra et mer naturalistisk syn, tatt i betraktning dens natur av en aktiv, dynamisk utforskningsprosess, begrenset. Videre forblir de nevrale mekanismene som ligger til grunn for integrering av taktil og visuell/auditiv informasjon under forhold med aktiv taktil utforskning stort sett ukjente.

''InTOUCH''-studien vil undersøke, under forhold med aktiv dynamisk berøring (f.eks. aktiv taktil utforskning av en skjerm) og passiv berøring, de multisensoriske interaksjonene mellom taktile, auditive og visuelle stimuli ved bruk av psykofysikk, og utnytte EEG-baserte tilnærminger å isolere og karakterisere kortikal aktivitet relatert til prosessering av (1) somatosensoriske input produsert av de mekaniske interaksjonene mellom den kontaktende fingerputen og taktile skjermer, (2) somatosensorisk input produsert av en ultralyd mid-air haptisk stimulator som tillater å stimulere mekanoreseptorer av hånd og (3) samtidig auditiv og visuell stimulering. Konvensjonelle taktile stimulatorer som brukes i somatosensorisk forskning er avhengige av overflatevibrasjoner. For å levere taktile stimuli under forhold med aktiv dynamisk berøring, vil taktile skjermer basert på kontrollert friksjon bli brukt. Kontrollerte friksjonsenheter fungerer ved aktiv modulering av friksjonseffektene mellom en finger og en overflate. Små og umerkelige vibrasjoner av platen ved ultralydfrekvenser via piezoelektrisk aktivering induserer en klemfilm som reduserer friksjonen mellom fingertuppen og skjermen. Forbigående friksjonsmodulasjoner mens fingeren glir på skjermen kan generere taktile opplevelser, inkludert følelsen av å skyve fingeren mot en kant eller tekstur. En annen ny tilnærming for å aktivere hudmekanoreseptorer under forhold med aktiv berøring er ultralydhøyttalere i luften organisert i en rekke for å sende ut ultralydbølger på huden for å skape berøringsfølelser på håndflaten. Slike enheter er kommersielt tilgjengelige og brukes til virtual reality-oppsett (f.eks. Ultrahaptics Stratos Explore; https://www.ultraleap.com/haptics/).

En viktig fordel med slike stimuli er at de kan generere naturalistiske, men likevel kontrollerte taktile sensasjoner under fri utforskning med hendene. Fordi timingen av stimuliene kontrolleres eksperimentelt, kan EEG brukes til å prøve, ikke-invasivt, den kortikale aktiviteten som fremkalles av de mekaniske stimuli under ulike forhold med aktiv og passiv berøring. Spesifikt vil to EEG-tilnærminger bli utnyttet: registrering av forbigående sensorisk fremkalte hjernepotensialer (SEPs) og registreringen av steady-state fremkalte potensialer (SS-EPs). I motsetning til konvensjonelle forbigående SEP-er som gjenspeiler en fasisk kortikal respons utløst av forekomsten av en kort stimulus, reflekterer SS-EP-er en vedvarende kortikal respons indusert av den langvarige periodiske repetisjonen av en sensorisk stimulus, antatt å være et resultat av en medrivelse av nevronpopulasjoner som reagerer til det periodisk modulerte trekk ved stimulus. Det forventes at SS-EP-er vil tilby et unikt middel for å isolere den vedvarende kortikale aktiviteten indusert av den vedvarende presentasjonen av en sensorisk stimulus, og hvordan denne aktiviteten moduleres av samtidige auditive og/eller taktile stimuli. Frekvensdomeneanalyse av EEG-aktiviteten fremkalt av slike stimuli er derfor spesielt godt egnet for å undersøke den tidsmessige dynamikken som ligger til grunn for den kortikale representasjonen av vedvarende aktiv berøring. I tillegg, sammenlignet med andre ikke-invasive tilnærminger for å prøve hjerneaktivitet, gir å undersøke hjernens funksjon ved å bruke SS-EPer flere fordeler. For det første viser SS-EP-er et høyt signal-til-støy-forhold. For det andre tillater SS-EP-er å isolere nevral aktivitet relatert spesifikt til hver av flere, samtidig påførte strømmer av sensoriske stimuli for å studere prosessene involvert i multisensorisk integrasjon.