Kuulo-, visuaalinen ja tuntovuorovaikutus aktiivisen, dynaamisen kosketuksen aikana (INTOUCH)

Tämä tutkimus, jonka otsikko on "InTOUCH: Auditory, visuaalinen ja taktiilinen vuorovaikutus aktiivisen, dynaamisen kosketuksen aikana", suoritetaan usean kumppanin eurooppalaisen hankkeen (Marie Curie Initial Training Network MULTITOUCH, "Multimodal haptic with touch devices") kattavan kehyksen puitteissa. . MULTITOUCH-projektin tavoitteena on kouluttaa haptiikan alan tutkijoita ja saada tieteellistä tietoa siitä, miten kosketuspalaute voidaan integroida kuulo- ja taktiilipalautteeseen ihmisen ja tietokoneen välisissä liitännöissä (HCI).

Tätä tarkoitusta varten InTOUCH-tutkimuksessa käytetään psykofysiikkaa ja non-invasiivista elektroenkefalografiaa (EEG) terveillä ihmisillä luonnehtimaan, kuinka aivot yhdistävät tuntoinformaation kuuloon ja visuaaliseen tietoon aktiivisen kosketuksen aikana.

Vaikka paljon työtä on tehty somatosensaatioiden tutkimiseksi sekä havainto- että hermotasolla, tutkimukset, jotka tutkivat kosketusta naturalistisemmasta näkökulmasta, ottaen huomioon sen aktiivisen, dynaamisen tutkimusprosessin luonteen, ovat rajallisia. Lisäksi hermomekanismit, jotka ovat taustalla tunto- ja visuaalisen/auditiivisen tiedon integroinnissa aktiivisen tuntotutkimuksen olosuhteissa, ovat suurelta osin tuntemattomia.

''InTOUCH''-tutkimuksessa tutkitaan aktiivisen dynaamisen kosketuksen (esim. näytön aktiivinen tuntoelämys) ja passiivisen kosketuksen olosuhteissa tunto-, kuulo- ja visuaalisen ärsykkeen välistä moniaistista vuorovaikutusta psykofysiikkaa käyttäen ja hyödynnetään EEG-pohjaisia ​​lähestymistapoja. eristää ja karakterisoida aivokuoren aktiivisuutta, joka liittyy (1) somatosensorisen syötteen prosessointiin, joka syntyy kosketuksissa olevan sormityynyn ja tuntonäytön välisistä mekaanisista vuorovaikutuksista, (2) somatosensorisesta syötteestä, joka on tuotettu ultraäänisen ilmakehän haptisen stimulaattorin avulla, joka mahdollistaa solujen mekanoreseptoreiden stimuloinnin. käsi ja (3) samanaikainen kuulo- ja visuaalinen stimulaatio. Perinteiset tuntostimulaattorit, joita käytetään somatosensorisessa tutkimuksessa, perustuvat pintavärähtelyyn. Tuntoärsykkeiden välittämiseksi aktiivisen dynaamisen kosketuksen olosuhteissa käytetään kontrolloituun kitkaan perustuvia kosketusnäyttöjä. Ohjatut kitkalaitteet toimivat aktiivisesti moduloimalla sormen ja pinnan välisiä kitkavaikutuksia. Levyn vähäiset ja huomaamattomat värähtelyt ultraäänitaajuuksilla pietsosähköisen toiminnan avulla saavat aikaan puristuskalvon, joka vähentää kitkaa sormenpään ja näytön välillä. Ohimenevät kitkan modulaatiot sormen liukuessa näytöllä voivat aiheuttaa tuntoaistimuksia, mukaan lukien tunteet, kun sormi liukuu reunaa tai rakennetta vasten. Toinen uusi tapa aktivoida ihon mekanoreseptoreja aktiivisen kosketuksen olosuhteissa ovat keskiilma-ultraäänikaiuttimet, jotka on järjestetty ryhmäksi lähettämään ultraääniaaltoja iholle luoden kosketuksen tunteita kämmenessä. Tällaisia ​​laitteita on kaupallisesti saatavilla ja niitä käytetään virtuaalitodellisuuden asetuksiin (esim. Ultrahaptics Stratos Explore; https://www.ultraleap.com/haptics/).

Tällaisten ärsykkeiden tärkeä etu on, että ne voivat synnyttää luonnollisia, mutta kuitenkin kontrolloituja tuntoaistimuksia käsillä vapaassa tutkimisessa. Koska ärsykkeiden ajoitusta ohjataan kokeellisesti, EEG:tä voidaan käyttää näytteenottoon ei-invasiivisesti mekaanisten ärsykkeiden herättämästä aivokuoren aktiivisuudesta erilaisissa aktiivisen ja passiivisen kosketuksen olosuhteissa. Erityisesti hyödynnetään kahta EEG-lähestymistapaa: ohimenevien sensoristen aivopotentiaalien (SEP) tallennus ja vakaan tilan herätettyjen potentiaalien (SS-EP) tallennus. Toisin kuin perinteiset ohimenevät SEP:t, jotka heijastavat faasista aivokuoren vastetta, jonka laukaisee lyhyt ärsyke, SS-EP:t heijastavat jatkuvaa aivokuoren vastetta, jonka indusoi aistiärsykkeen pitkäkestoinen jaksottainen toistuminen, jonka uskotaan johtuvan hermosolupopulaatioiden tarttumisesta mukaan. ärsykkeen periodisesti moduloituun ominaisuuteen. Odotetaan, että SS-EP:t tarjoavat ainutlaatuisen tavan eristää aistinvaraisen ärsykkeen jatkuvan esiintymisen aiheuttama jatkuva aivokuoren aktiivisuus ja kuinka samanaikaiset kuulo- ja/tai tuntoärsykkeet moduloivat tätä aktiivisuutta. Tällaisten ärsykkeiden herättämän EEG-aktiivisuuden taajuusalueanalyysi soveltuu siten erityisen hyvin jatkuvan aktiivisen kosketuksen kortikaalisen esityksen taustalla olevan ajallisen dynamiikan tutkimiseen. Lisäksi aivojen toiminnan tutkiminen SS-EP:illä tarjoaa useita etuja verrattuna muihin ei-invasiivisiin lähestymistapoihin aivotoiminnan näytteenotossa. Ensinnäkin SS-EP:illä on korkea signaali-kohinasuhde. Toiseksi SS-EP:t mahdollistavat hermotoiminnan eristämisen, jotka liittyvät erityisesti kuhunkin useista samanaikaisesti käytetyistä sensoristen ärsykkeiden virroista, jotta voidaan tutkia moniaistiseen integraatioon liittyviä prosesseja.