Virtuaalitodellisuuden vaikutus äänen havaitsemiseen ja tuotantoon

Tämä hanke koskee kolmea erityistavoitetta. Erityistavoitteet 1 ja 2 määrittävät monet kliinisen tutkimuksen parametrit, joita käsitellään erityistavoitteessa 3. Hankkeen tiedot kokonaisuudessaan, mukaan lukien kliininen tutkimus, ovat seuraavat, kopioitu ja liitetty apurahaehdotuksesta.

3.0 TUTKIMUKSEN LÄHESTYMISTAPA Yleisenä tavoitteena on tutkia kuulo-, visuaali- ja audiovisuaalisen tiedon vaikutuksia oman äänen havaitsemiseen ja tuottamiseen käyttämällä VR:ää tutkimustyökaluna ja antaa alustavaa tietoa VR:n mahdollisesta hyödystä äänessä. koulutusympäristö. Tarkat tiedot erityistavoitteista löytyvät vastaavalta sivulta.

3.1 Osallistujat: SA1:lle ja SA2:lle rekrytoidaan 60 äänellisesti tervettä luokanopettajaa, joiden ikä on 24-50 vuotta (katso 3.2). Alaosassa tämä ikäryhmä edustaa varhaisinta ikää, jolloin opettajat voivat aloittaa ammatillisen opettajan uransa, ja yläpäässä naisten keskimääräistä vaihdevuosien alkamisikää, ja haluamme rajoittaa hormonaalista ja muuta ikään liittyvää. vaikuttaa dataan. Kaikki osallistujat osallistuvat SA1:een ja SA2:een, joissa käytetään samoja samanaikaisia ​​tiedonkeruumenetelmiä eri analyyseillä havaintomittauksille (SA1) ja tuotantomittauksille (SA2). Tutkivaa SA3:a varten rekrytoidaan 10 uutta tervettä opettajaa, joilla on samat ominaisuudet. Kaikille SA:lle mukaanotto- ja poissulkemiskriteerit ovat: Sisällyttäminen: Itseraportin mukaan: (1) Peruskoulun luokanopettaja, jolla on vähintään kahden vuoden opetuskokemus (SA1 ja SA2) tai peruskoulun luokanopettaja (SA3), 24–50 vuotta ; (2) Ei äänihäiriöitä, jotka ovat kestäneet yli kaksi viikkoa, ja äänivammaindeksi -10 (VHI-10)63 pisteet < 10; (3) elinikäinen tupakoimaton; (4) Ei kuulo- tai korjaamatonta näkövammaa; Kirjallisilla asiakirjoilla: (5) Todiste täydellisestä COVID-19-rokotuksesta; Kliinisen arvioinnin perusteella: (6) Normaali ääni osallistumispäivinä, äänen erikoistuneen lisensoidun SLP:n arvioituna konsensus-auditorisen äänen havaintoarvioinnin (CAPE-V) yleisen vakavuuspistemäärän perusteella < 10,65 Poissulkeminen: Omaraportin perusteella :(7) Äänihuutteen patologia tai muu ääneen vaikuttava patologia; (8) mikä tahansa akuutti tila, joka voi vaikuttaa äänen tuotantoon, kuten yskä, nenän tukkoisuus tai yli 37,0 o C (98,6 o F) lämpötila. Huomaa, että vain äänellisesti terveet opettajat arvioidaan tässä vaiheessa, ennen kuin esitellään äänihäiriöihin liittyvät monimutkaiset asiat. Näitä monimutkaisia ​​asioita käsitellään myöhemmässä käännöstyössä, joka perustuu tähän sarjaan. On huomattava, että tutkimusohjelma on viime kädessä merkityksellinen ääniongelmista kärsiville opettajille, mutta myös tällä hetkellä terveiden opettajien työympäristölle.

3.2 Tehoanalyysit: Tehoanalyyseissä oletettiin keskipitkän vaikutuksen koko d = 0,4, kaksipuolinen, kaikkien SA1:n ja SA2:n riippuvien muuttujien testeissä. Tulokset viittaavat siihen, että N = 51 riittää havaitsemaan havainnot kaikille muuttujille, joiden merkitsevyystaso on α = 0,05 ja teho 0,8. Mahdollisen poistumisen huomioon ottaen tavoitteisiin 1 ja 2 rekrytoidaan 60 osallistujaa. Tutkijayhteistyökumppanimme Bottalico ja omissa uudemmissa alustavissa tiedoissamme ovat osoittaneet tämän määrän riittävän havaitsemaan merkittäviä vaikutuksia, jotka ovat samanlaisia ​​kuin tässä sarjassa tutkitut. (esim. erot äänenvoimakkuuden ja mukavuuden havaintoarvoissa sekä SPL ja keskiarvo f0; (Bottalico, 2017; Bottalico et al., 2016; Daşdöğen et al., julkaisematon data). Tutkivaan SA3:een rekrytoidaan yhteensä 10 osallistujaa saadakseen alustavia tietoja myöhempää kliinistä sarjaa varten.

3.3 Toimenpiteet 3.3.1 SA1 ja SA2: Kuusikymmentä peruskoulunopettajaa rekrytoidaan yhteisössä ja sosiaalisessa mediassa julkaistujen lehtisten kautta sekä suoran yhteyden kautta Delawaren, New Jerseyn, Pennsylvanian ja Marylandin julkisiin kouluihin. olla lähellä Delawaren yliopiston tutkimuspaikkaa. Osallistumisesta kiinnostuneet henkilöt, jotka ottavat yhteyttä PI:hen, saavat yleiskatsauksen tutkimuksesta puhelimitse tai suojatun etäyhteyden kautta ja suostuvat antamaan tietoisen suostumuksen. Suostumuksen saatuaan osallistujat ohjataan online-seulontaan REDCap-kyselyyn käyttämällä HIPAA-yhteensopivaa palvelinta kaikkien sisällyttämis- ja poissulkemiskriteerien käsittelemiseksi, paitsi kliinisen kuulo-perseptuaalisen äänen arvioinnin (CAPE-V) osalta. Pätevät osallistujat ajoitetaan laboratorioon Delawaren yliopiston STAR-kampuksen äänilaboratorioon. Vastaajan alussa lääkäri arvioi osallistujan äänen varmistaakseen normaalin äänenlaadun CAPE-V:n avulla. Osallistujat, jotka läpäisevät tämän viimeisen seulontavaiheen (koko CAPE-V:n vakavuuspisteet < 10), jatkavat kokeellisiin toimenpiteisiin. Muut saavat anteeksi.

Kokeellisia toimenpiteitä varten osallistujat koulutetaan ensin puhetehtäviin, joita käytetään tutkimuksen aikana: esitellä itsensä luokkahuoneeseen 15 sekuntia, pitää kahden minuutin opetusosaamiseen liittyvä opetusohjelma, ylläpitää vokaalia /a/ 3 sekuntia toistettiin kolme kertaa, ja tuottaen CAPE-V-lauseen "Olimme poissa vuosi sitten" toistettiin kolme kertaa. Osallistujat saavat sitten ohjeet itseraportointikyselyyn, joka heijastelee itse kokemaa äänen voimakkuutta, äänenvoimakkuutta ja äänen mukavuutta puheärsykkeille sarjana (katso 6.0). Näiden ohjeiden toimituksen jälkeen instrumentointi sijoitetaan, mukaan lukien kuulokemikrofonit, kuulokkeet ja VR-lasit (katso 4.0). Osallistujat suorittavat sitten kokeelliset puhetehtävät kussakin 15 satunnaisesti järjestetyssä olosuhteissa taustamelulla ja ilman sitä, jotka käytännössä jäljittelevät todellisten huoneiden kuulo- ja visuaalisia ominaisuuksia pienestä suureen luentosaleihin, kuivalla tai erittäin kaikuvalla akustiikkalla ja vaihtelevilla kaiuttimilla. kuuntelijan etäisyydet.

Huoneakustiikka määrätään karakterisoimaan ja hallitsemaan akustisesti vaihtelevia olosuhteita VR-ympäristöissä (ISO 3382, katso 5.0). OBRIR-mittaukset saadaan Illinoisin yliopiston Urbana-Champaign kampuksella luokkahuoneessa, luentosalissa ja koulun auditorioympäristöissä, joissa mitat ovat samanlaiset kuin VR-luokkahuoneissa (ks. 5.0). Ovation-ohjelmistoa (Ovation VRSpeaking, LLC, NJ, US) käytetään realististen VR-huoneiden ja 3D-kuuntelijoiden toimittamiseen (katso 4.0). Kokeellisiin tehtäviin kuuluu sarja kehotettuja puheen lausumia harjoitustilanteen mukaisesti, (i) ilman ulkoista ääni- tai visuaalista palautetta tai taustamelua (kokeellinen lähtötaso), (ii) jokaisessa kuulotilassa yksin, (iii) jokaisessa näkötilassa yksinään ja (iv) kaikissa kuulo- ja näköolosuhteiden yhdistelmässä. Kaikki ehdot ii-iv tuotetaan pian kuvatulla taustakohinalla ja ilman sitä. Vain ääni -olosuhteissa osallistujat käyttävät silmänaamaria visuaalisen tiedon estämiseksi. Näissä olosuhteissa osallistujat kuulevat aplodit, jotka yhdistetään yhteensovitettuihin huoneen akustisiin reaktioihin, ennen kuin he aloittavat jokaisen puhejonon, mikä antaa ääni-avaruuden vihjeen yleisön läsnäolosta, suunnilleen kuinka täynnä ympäristö on ja miten kaukana kuuntelijat ovat ympäristössä. Parantaakseen osallistujien sitoutumista ympäristöön, ennen kuin he puhuvat, tutkija pyytää heitä arvioimaan yleisön koon ja puhujan ja kuuntelijan välisen etäisyyden. Kaikissa visuaalisissa olosuhteissa osallistujat näkevät vastaavat visuaaliset huoneet ja istuvat kuuntelijat, jotka reagoivat puhujaan realistisilla tavoilla (esim. liikkumalla istuessaan, raapimalla päätään jne.). Edistääkseen osallistujien sitoutumista tutkija kysyy jokaiselta osallistujalta, kuinka monta ihmistä ympäristössä on ja kuinka kaukana he ovat. Kaikissa olosuhteissa osallistujia kehotetaan "puhumaan niin, että kaikki voivat ymmärtää sinua". Kuten todettiin, kaikki olosuhteet suoritetaan osallistujien puheen aikana kuuluvalla taustamelulla ja ilman sitä. Melutaso vastaa tyypillistä luokkahuoneympäristöä edustavaa tasoa (keskiarvo 54 dB).66 Kun osallistujat ovat tuottaneet puheen lausumia kussakin tilanteessa, he poistavat VR-lasit tai silmänaamion ja heitä pyydetään täyttämään kysely, joka koskee edellisten lausumien itsensä ilmoittamaa äänenvoimakkuutta, äänenvoimakkuutta ja äänen mukavuutta. Kyselylomake näytetään tietokoneen näytöllä, joka mahdollistaa digitaalisten vastausten VAS-asteikolla (katso 6.0). Sitten osallistujat jatkavat seuraavaan VR-ehtoon ja niin edelleen, kunnes kaikkien olosuhteiden tiedonkeruu on saatu päätökseen, jolloin istunto päättyy. Istunnon kokonaiskeston arvioidaan olevan noin 120 minuuttia.

3.3.2 SA3: Osallistujia on 10 luokanopettajaa. Kun osallistumis- ja poissulkemiskriteerit on täytetty, lukuun ottamatta äänen kliinistä auditiivista arviointia, pätevät osallistujat esittäytyvät STAR-äänilaboratoriolle äänen arviointia varten, kuten SA1:n ja SA2:n kohdalla. Osallistujat, jotka läpäisevät äänitarkastuksen, varustetaan sitten asiaankuuluvilla instrumenteilla (3.3.1; 4.0) ja tuottaa samat lausumajonot kuin SA1:ssä ja SA2:ssa. Kaiuttimen ja kohteen välinen etäisyys on 4 m, fyysisen mallinuken määrittämänä. Tämän jälkeen osallistujat jaetaan satunnaisesti toiseen kahdesta harjoittelutilanteesta: perinteiseen kliiniseen huoneeseen tai VR-ympäristöön. Osallistujat saavat omissa olosuhteissaan koulutusta terapeuttisesta äänimallista, jolla on arvoa myös terveille puhujille, "resonanssiäänelle".68-71 Koulutuksen antaa puhekielen patologi, jolla on vähintään kahden vuoden kokemus äänihäiriöistä ja joka on suorittanut standardoidun Lessac-Madsenin resonoivan ääniterapian (LMRVT) koulutuksen.26 Koko koulutuksen aikana molemmissa ympäristöissä taustamelu esitetään kuten SA1:ssä ja SA2:ssa, vapaalla kentällä perinteisessä ympäristössä ja kuulokkeiden kautta VR-ympäristössä. Molemmissa harjoitusolosuhteissa käytetään LMRVT:n toisen istunnon materiaaleja - ensimmäinen istunto, jossa varsinainen ääniharjoittelu alkaa kyseisessä ohjelmassa. Perinteisessä klinikkahuoneessa 30 minuutin LMRVT-koulutuksen jälkeen toisen istunnon materiaaleilla osallistujia ohjataan toistamaan samat harjoitukset järjestyksessä kuin Toisessa istunnossa ohjeilla tuottamaan ääni kuin puhuisi 2 metrin päässä olevalle henkilölle. kaiuttimesta, jota edustaa fyysinen mallinukke, 5 minuutin ajan. Sitten osallistujat toistavat samat harjoitukset uudelleen, aivan kuin puhuisivat 4 metrin korkeudessa 5 minuutin ajan ja lopuksi 6 metrin korkeudessa 5 minuutin ajan. Jokaisella näistä etäisyyksistä suoritetun harjoittelun jälkeen osallistujat toistavat peruslauseet, jotka tallennetaan äänidatan keräämistä varten. VR-ympäristöolosuhteissa osallistujat saavat saman LMRVT-koulutuksen kuin perinteisessä huoneessa, vain VR-luokkahuoneessa (Huone 1; Taulukko 1), joka edustaa todellisia luokkahuoneolosuhteita, luotu SA1:lle ja SA2:lle, mutta ei tuloksista riippuvainen. niille Tavoitteille. Osallistujat saavat koulutusta LMRVT Session 2 -harjoituksissa 30 minuutin ajan, minkä jälkeen toistetaan samat harjoitukset kakkosjaksosta ja ohjeet tuottamaan asiaankuuluvia lausumia, jotka puhuvat kuuntelijoille VR-ympäristössä 2 metrin, 4 metrin ja 6 metrin etäisyydellä VR-ympäristöstä. kaiuttimen 5 minuutin ajan kullakin etäisyydellä. Perinteisessä ympäristössä äänitallenteet tehdään peruslauseilla kunkin etäisyyden harjoituksen jälkeen. Kun kaikki koulutus on suoritettu, osallistujat molemmissa olosuhteissa ohjataan standardiluokkaan STAR-ympäristössä (huone 513; tilavuus/pohjapiirros ~2440 m3/69m2). Tässä asetuksessa osallistujia pyydetään toistamaan peruspuhetehtävät puhumalla elävästi istuville kuuntelijoille, jotka ovat 4 metrin päässä säilytystestiä ja uutta etäisyyttä - 9 metriä - ja tallenteet tehdään kuten aiemmin. Tämän jälkeen osallistujat vapautetaan. Kokonaiskesto on noin 90 minuuttia. Lyhyiden noin 30 minuutin koulutusistuntojen on osoitettu tuottavan muutoksia äänentuotannossa94, mikä on johdonmukaista PI:n laajan kliinisen kokemuksen kanssa. Odotamme siis löytävämme tämän sarjan sellaisia ​​muutoksia, jotka luovat pohjan laajemmille pitkittäistutkimuksille, jotka sopivat nykyisestä työstä kasvavalle suunniteltuun R01:een.

4.0 Laitteet: Digitaalista äänityöasemaa (Reaper-versio 6.36, Rosendale, NY, USA) ja päähän kiinnitettävää mikrofonia (AKG C 520, Harman) käytetään äänisignaalien sieppaamiseen kaikille SA:ille. Äänitallenteet näyte otetaan taajuudella 44,1 kHz. Mikrofonin ja suuhun välinen etäisyys on 5 cm, kun mikrofoni on 450 kulmassa osallistujan suusta.72 Mikrofoni liitetään ääniliitäntään (Babyface Pro FS 24-Channel USB 2.0, Heimhausen, Saksa) ja yhdistetty tulo/lähtöviive on alle 5 ms, mikä on alle havaittavan kaiun alueen (16 ja 26 ms).73 Liitäntä liitetään tietokoneeseen, jossa on Reaper-äänityöasema äänentoiston luomiseksi. Virtuaalitodellisuuslaseja (Oculus Rift S) käytetään visuaalisen tiedon tuottamiseen (huoneet ja 3D-avatarkuuntelijat). Huoneen äänenvoimakkuuden kuvat ja kuuntelijat tarjotaan Ovation-ohjelmistolla (https://www.ovationvr.com/). Ohjelmiston avulla voidaan valita useita luokkahuoneympäristöjä, jotka toistavat todellisia esimerkkejä ja puhuvat sadoille digitaalisesti luoduille 3D-yleisöille (oikeille ihmisille), jotka vastaavat puhujaan hymyilemällä, taputtamalla tai liikkumalla. Äskettäisessä tutkimuksessa on raportoitu tämän ohjelmiston tehokkuudesta luoda todellisia visuaalisia skenaarioita.92 Audiomikrofoni kalibroidaan julkaistujen menettelyjen mukaisesti.93 VR-lasit sijoitetaan optimaalisesti kullekin osallistujalle erikseen. Kaikki lausunnot tallennetaan wav-tiedostoina salattuun kansioon.

5.0 Huoneakustiikan mittaukset ja äänentoisto: Illinoisin yliopiston Urbana-Champaign kampukselta valitaan kooltaan Ovation-ohjelmistossa valittuja huoneita (luokkahuone, luentosali ja koulun auditorio) vastaavat huoneet (Co-I Bottalico). Huoneet akustisesti karakterisoidaan ISO 3382 -standardin mukaisesti.

Asennossa, jossa kaiutin tyypillisesti sijaitsee huoneissa, suun-binauraaliset impulssivasteet mitataan HATSilla. Erityisesti oraali-binauraaliset impulssivasteet (OBRI:t) saadaan käyttämällä konvoluutiomenetelmää julkaistujen menetelmien mukaisesti.91 Erityisesti pää- ja ylävartalosimulaattorin (HATS, GRAS 45BB KEMAR) suun kautta lähetetty eksponentiaalinen pyyhkäisysignaali tallennetaan HATSin korviin. Konvoluutio tallennettujen pyyhkäisyjen (HATSin korvissa) ja lähetetyn pyyhkäisyn käänteisen (HATSin suusta) välillä muodostaa OBRIR:t. OBRIR:ien avulla huoneet luodaan akustisesti uudelleen ottaen huomioon kaiuttimen korva-suu-reitti.

Tutkittavan äänen reaaliaikainen äänentoisto virtuaalihuoneen akustiikassa saadaan aikaan käyttämällä reaaliaikaisia ​​konvoluutiolaajennuksia, kuten Analglyph ja RoomZ, jonka on kehittänyt konsulttimme Katz Sorbonnen yliopistossa.74 Konvoluutiomoottori käyttää mitattuja huoneen impulssivasteita. Virtuaalinen akustinen renderöinti toistetaan osallistujalle avoimilla kuulokkeilla (HD 660S, Sennheiser, Wedemark, Saksa), mikä rajoittaa väritystä oman äänen kuulemisesta.

6.0 Toimenpiteet: SA1:n osalta itseraportin havainnointimitat johdetaan kolmesta erillisestä kysymyksestä, jotka koskevat äänen voimakkuutta, äänenvoimakkuutta ja äänen mukavuutta Visual Analog Scale (VAS; Taulukko 2) avulla. Jokaisen tutkimustilan jälkeen VR-lasit poistetaan ja osallistujat suorittavat VAS:n HIPAA-yhteensopivalla REDCapilla. REDCap-havaintokyselylomake näytetään tietokoneen näytöllä. Osallistujat vastaavat jokaiseen havaintokysymykseen peräkkäin siirtämällä liukusäädintä asteikolla 0 (ei ollenkaan) 100:aan (äärimmäinen[ly]). Jokainen vastaus tallennetaan numeerisesti REDCap-tietokantaan. Kyselylomakkeen täyttäminen kestää noin kaksi minuuttia, mikä antaa lepojakson edellisen tutkimustilan jälkeen ja auttaa minimoimaan mahdollisen äänen väsymisen. SA2:lle ja SA3:lle instrumentoidut äänen mittaukset sisältävät äänen äänenpainetason - SPL ja Spectral Moments (katso 7.0).

7.0 Tiedon poiminta ja analysointi: Puheparametrien poiminta suoritetaan Matlab R2021b:llä (MathWorks, Natick, MA, Yhdysvallat) ja Praatilla (versio 6.2.14). Jokaiselle tallenteelle saadaan SPL90:n ja perustaajuuden f0 aikahistoria 0,05 s:n aikavaiheella. F0 estimoidaan akustisen jaksollisuuden ilmaisualgoritmilla tarkan autokorrelaatiomenetelmän perusteella. Tämä menetelmä on tarkempi, melua kestävämpi ja kestävämpi kuin muut kepstrumiin tai kampaan perustuvat menetelmät tai alkuperäiset autokorrelaatiomenetelmät. Kahden aikahistorian osalta lasketaan tilastolliset momentit (spektrikeskiarvo, keskihajonta, vinous ja kurtoosi). Spektrimomenttien kyky erottaa äänenvoimakkuuden eri asteet on raportoitu aiemmin.76 Nämä mittaukset arvioivat kvantitatiivisesti tärkeimmät spektrivaikutukset, jotka voivat liittyä mahdollisiin muutoksiin äänen laadussa suhteessa äänenvoimakkuuteen ja mukavuuteen. Tässä sarjassa ei kuitenkaan tehdä äänenlaadun havaintomittauksia.

8.0 Tilastolliset analyysit: Kaikille SA:ille, Linear Mixed-Effects (LME) -mallit (Matlab R2021b) asennetaan rajoitetulla maksimitodennäköisyydellä (REML). Näiden mallien riippuvat ja riippumattomat muuttujat on lueteltu SA-osiossa. Osallistujatunnusta käytetään satunnaistehostetermeinä. Tässä "osallistujatunnuksen" satunnainen vaikutus viittaa havaintojen osittaiseen yhdistämiseen "osallistujatunnuksen" avulla, jolloin kunkin osallistujatunnuksen kulmakerroin ja leikkaus ovat satunnaisia. Mallit valitaan Akaiken tietokriteerin ja todennäköisyyssuhdetestien tulosten perusteella. Tukeyn post-hoc-parivertailut suoritetaan, jotta tutkitaan kiinteiden kiinnostavien tekijöiden kaikkien tasojen välisiä eroja, kun niitä on enemmän kuin kaksi tasoa (tässä tapauksessa sekä ääni- että visuaalinen ympäristö). Nämä ovat parittaisia ​​z-testejä, joissa z-tilasto edustaa eroa havaitun tilaston ja sen oletetun populaatioparametrin välillä keskihajonnan yksiköissä. Näiden testien p-arvot säädetään käyttämällä oletusarvoista yksivaiheista menetelmää. LME-tulos sisältää estimaatit kiinteistä vaikutuskertoimista, estimaatiin liittyvän keskivirheen, vapausasteiden (df), testitilaston (t) ja p-arvon. Satterthwaiten menetelmää käytetään vapausasteiden arvioimiseen ja p-arvojen laskemiseen.