Auditive, visuelle und taktile Interaktionen bei aktiver, dynamischer Berührung (INTOUCH)

Diese Studie mit dem Titel „InTOUCH: Auditive, visuelle und taktile Interaktionen bei aktiver, dynamischer Berührung“ wird im übergreifenden Rahmen eines europäischen Multipartnerprojekts (Marie Curie Initial Training Network MULTITOUCH, mit dem Titel „Multimodale Haptik mit Touch-Geräten“) durchgeführt. . Ziel des MULTITOUCH-Projekts ist es, Forscher auf dem Gebiet der Haptik auszubilden und wissenschaftliche Erkenntnisse darüber zu gewinnen, wie taktiles Feedback mit auditivem und taktilem Feedback in Mensch-Computer-Schnittstellen (HCIs) integriert werden kann.

Zu diesem Zweck wird die „InTOUCH“-Studie Psychophysik und nicht-invasive Elektroenzephalographie (EEG) bei gesunden Probanden nutzen, um zu charakterisieren, wie das Gehirn bei aktiver Berührung taktile Informationen mit auditiven und visuellen Informationen integriert.

Während viel Arbeit geleistet wurde, um die Somatosensation sowohl auf der Wahrnehmungs- als auch auf der neuronalen Ebene zu untersuchen, gibt es nur begrenzte Studien, die die Berührung aus einer naturalistischeren Sichtweise untersuchen und deren Natur als aktiven, dynamischen Erkundungsprozess berücksichtigen. Darüber hinaus sind die neuronalen Mechanismen, die der Integration taktiler und visueller/auditiver Informationen unter Bedingungen aktiver taktiler Erkundung zugrunde liegen, weitgehend unbekannt.

Die „InTOUCH“-Studie wird unter Bedingungen aktiver dynamischer Berührung (z. B. die aktive taktile Erkundung eines Displays) und passiver Berührung die multisensorischen Interaktionen zwischen taktilen, auditiven und visuellen Reizen mithilfe von Psychophysik untersuchen und EEG-basierte Ansätze nutzen um kortikale Aktivität im Zusammenhang mit der Verarbeitung von (1) somatosensorischen Eingaben zu isolieren und zu charakterisieren, die durch die mechanischen Wechselwirkungen zwischen der berührenden Fingerbeere und den taktilen Anzeigen erzeugt werden, (2) somatosensorischen Eingaben, die durch einen haptischen Ultraschallstimulator in der Luft erzeugt werden, der es ermöglicht, Mechanorezeptoren des zu stimulieren Hand und (3) gleichzeitige akustische und visuelle Stimulation. Herkömmliche taktile Stimulatoren, die in der somatosensorischen Forschung eingesetzt werden, basieren auf Oberflächenvibrationen. Um taktile Reize unter Bedingungen aktiver dynamischer Berührung zu liefern, werden taktile Displays verwendet, die auf kontrollierter Reibung basieren. Geräte mit kontrollierter Reibung funktionieren durch aktive Modulation der Reibungseffekte zwischen einem Finger und einer Oberfläche. Winzige und nicht wahrnehmbare Vibrationen der Platte mit Ultraschallfrequenzen durch piezoelektrische Betätigung induzieren einen Quetschfilm, der die Reibung zwischen Fingerspitze und Display verringert. Vorübergehende Reibungsmodulationen, während der Finger über das Display gleitet, können taktile Empfindungen hervorrufen, einschließlich der Empfindungen, wenn der Finger über eine Kante oder Textur gleitet. Ein weiterer neuartiger Ansatz zur Aktivierung von Haut-Mechanorezeptoren bei aktiven Berührungen sind in der Luft befindliche Ultraschalllautsprecher, die in einer Anordnung angeordnet sind und Ultraschallwellen auf die Haut aussenden, um Berührungsempfindungen auf der Handfläche zu erzeugen. Solche Geräte sind kommerziell erhältlich und werden für Virtual-Reality-Setups verwendet (z. B. Ultrahaptics Stratos Explore; https://www.ultraleap.com/haptics/).

Ein wichtiger Vorteil solcher Reize besteht darin, dass sie beim freien Erkunden mit den Händen naturalistische, aber dennoch kontrollierte Tastempfindungen erzeugen können. Da der Zeitpunkt der Reize experimentell kontrolliert wird, kann das EEG verwendet werden, um nicht-invasiv die kortikale Aktivität zu untersuchen, die durch die mechanischen Reize unter verschiedenen Bedingungen aktiver und passiver Berührung hervorgerufen wird. Konkret werden zwei EEG-Ansätze genutzt: die Aufzeichnung transienter sensorisch evozierter Hirnpotenziale (SEPs) und die Aufzeichnung stationär evozierter Potenziale (SS-EPs). Im Gegensatz zu herkömmlichen transienten SEPs, die eine phasische kortikale Reaktion widerspiegeln, die durch das Auftreten eines kurzen Reizes ausgelöst wird, spiegeln SS-EPs eine anhaltende kortikale Reaktion wider, die durch die langanhaltende periodische Wiederholung eines sensorischen Reizes induziert wird, von der angenommen wird, dass sie aus einer Mitnahme reagierender neuronaler Populationen resultiert auf das periodisch modulierte Merkmal des Reizes. Es wird erwartet, dass SS-EPs ein einzigartiges Mittel zur Isolierung der anhaltenden kortikalen Aktivität bieten, die durch die anhaltende Präsentation eines sensorischen Reizes induziert wird, und wie diese Aktivität durch gleichzeitige auditive und/oder taktile Reize moduliert wird. Die Frequenzbereichsanalyse der durch solche Reize ausgelösten EEG-Aktivität eignet sich daher besonders gut zur Untersuchung der zeitlichen Dynamik, die der kortikalen Darstellung anhaltender aktiver Berührung zugrunde liegt. Darüber hinaus bietet die Untersuchung der Gehirnfunktion mithilfe von SS-EPs im Vergleich zu anderen nicht-invasiven Ansätzen zur Messung der Gehirnaktivität mehrere Vorteile. Erstens weisen SS-EPs ein hohes Signal-Rausch-Verhältnis auf. Zweitens ermöglichen SS-EPs die Isolierung neuronaler Aktivität, die sich speziell auf jeden von mehreren gleichzeitig angewendeten Strömen sensorischer Reize bezieht, um die Prozesse zu untersuchen, die an der multisensorischen Integration beteiligt sind.