Auditive, visuelle og taktile interaktioner under aktiv, dynamisk berøring (INTOUCH)

Denne undersøgelse med titlen "InTOUCH: Auditive, visuelle og taktile interaktioner under aktiv, dynamisk berøring" er udført inden for den overordnede ramme af et europæisk multi-partner projekt (Marie Curie Initial Training Network MULTITOUCH, med titlen "Multimodal haptic with touch devices") . MULTITOUCH-projektet har til formål at uddanne forskere inden for haptik, og opnå videnskabelig viden om, hvordan taktil feedback kan integreres med auditiv og taktil feedback i menneske-computer interfaces (HCI'er).

Til dette formål vil ''InTOUCH''-undersøgelsen bruge psykofysik og ikke-invasiv elektroencefalografi (EEG) hos raske mennesker til at karakterisere, hvordan hjernen integrerer taktil information med auditiv og visuel information under aktiv berøring.

Mens meget arbejde er blevet gjort for at undersøge somatosensation, både på det perceptuelle og neurale niveau, er undersøgelser, der undersøger berøring fra et mere naturalistisk synspunkt, under hensyntagen til dens karakter af en aktiv, dynamisk udforskningsproces, begrænsede. Desuden forbliver de neurale mekanismer, der ligger til grund for integration af taktil og visuel/auditiv information under betingelser med aktiv taktil udforskning, stort set ukendte.

''InTOUCH''-undersøgelsen vil undersøge, under forhold med aktiv dynamisk berøring (f.eks. aktiv taktile udforskning af et display) og passiv berøring, de multisensoriske interaktioner mellem taktile, auditive og visuelle stimuli ved hjælp af psykofysik, og udnytte EEG-baserede tilgange at isolere og karakterisere kortikal aktivitet relateret til behandlingen af ​​(1) somatosensorisk input produceret af de mekaniske interaktioner mellem den kontaktende fingerpude og taktile displays, (2) somatosensorisk input produceret af en ultralyd mid-air haptisk stimulator, der tillader at stimulere mekanoreceptorer af hånd og (3) samtidig auditiv og visuel stimulering. Konventionelle taktile stimulatorer, der anvendes i somatosensorisk forskning, er afhængige af overfladevibrationer. For at levere taktile stimuli under forhold med aktiv dynamisk berøring, vil der blive brugt taktile displays baseret på kontrolleret friktion. Kontrollerede friktionsanordninger fungerer ved aktiv modulering af friktionseffekterne mellem en finger og en overflade. Mine og umærkelige vibrationer af pladen ved ultralydsfrekvenser via piezoelektrisk aktivering inducerer en klemfilm, der reducerer friktionen mellem fingerspidsen og skærmen. Forbigående friktionsmodulationer, mens fingeren glider på skærmen, kan generere taktile fornemmelser, herunder fornemmelser af at glide fingeren mod en kant eller tekstur. En anden ny tilgang til at aktivere hudmekanoreceptorer under forhold med aktiv berøring er ultralydshøjttalere i luften, der er organiseret i en række til at udsende ultralydsbølger på huden for at skabe berøringsfornemmelser på håndfladen. Sådanne enheder er kommercielt tilgængelige og bruges til virtual reality-opsætninger (f.eks. Ultrahaptics Stratos Explore; https://www.ultraleap.com/haptics/).

En vigtig fordel ved sådanne stimuli er, at de kan generere naturalistiske, men ikke desto mindre kontrollerede taktile fornemmelser under fri udforskning med hænderne. Fordi timingen af ​​stimuli kontrolleres eksperimentelt, kan EEG bruges til at prøve, ikke-invasivt, den kortikale aktivitet fremkaldt af de mekaniske stimuli under forskellige tilstande med aktiv og passiv berøring. Specifikt vil to EEG-tilgange blive udnyttet: registrering af transiente sensorisk fremkaldte hjernepotentialer (SEP'er) og registrering af steady-state fremkaldte potentialer (SS-EP'er). I modsætning til konventionelle transiente SEP'er, som afspejler en fasisk kortikal respons udløst af forekomsten af ​​en kort stimulus, afspejler SS-EP'er en vedvarende kortikal respons induceret af den langvarige periodiske gentagelse af en sensorisk stimulus, menes at være resultatet af en medrivning af neuronale populationer, der reagerer til det periodisk modulerede træk ved stimulus. Det forventes, at SS-EP'er vil tilbyde et unikt middel til at isolere den vedvarende kortikale aktivitet induceret af den vedvarende præsentation af en sensorisk stimulus, og hvordan denne aktivitet moduleres af samtidige auditive og/eller taktile stimuli. Frekvensdomæneanalyse af EEG-aktiviteten fremkaldt af sådanne stimuli er således særligt velegnet til at undersøge den tidsmæssige dynamik, der ligger til grund for den kortikale repræsentation af vedvarende aktiv berøring. Desuden, sammenlignet med andre ikke-invasive tilgange til prøve hjerneaktivitet, giver undersøgelse af hjernefunktion ved hjælp af SS-EP'er flere fordele. For det første udviser SS-EP'er et højt signal-til-støj-forhold. For det andet tillader SS-EP'er at isolere neural aktivitet relateret specifikt til hver af flere, samtidigt påførte strømme af sensoriske stimuli for at studere de processer, der er involveret i multisensorisk integration.