Invloed van Virtual Reality op stemperceptie en -productie

Dit project richt zich op drie specifieke doelstellingen. Specifieke Doelstellingen 1 en 2 bepalen veel van de parameters voor de klinische proef, die wordt behandeld in Specifieke Doelstelling 3. Details voor het project als geheel, inclusief de klinische proef, zijn als volgt, gekopieerd en geplakt uit het subsidievoorstel.

3.0 ONDERZOEKSAANPAK Het algemene doel is om de effecten van auditieve, visuele en audiovisuele informatie op de perceptie en productie van de eigen stem te onderzoeken, waarbij VR als onderzoeksinstrument wordt gebruikt, en om voorlopige gegevens te verstrekken over het potentiële nut van VR in de stem. trainingsomgeving. Details met betrekking tot specifieke doelstellingen vindt u op de relevante pagina.

3.1 Deelnemers: Voor SA1 en SA2 zullen 60 vocaal gezonde klasleerkrachten worden aangeworven tussen de 24 en 50 jaar (zie 3.2). Aan de onderkant vertegenwoordigt deze leeftijdscategorie de vroegste leeftijd waarop leraren hun professionele loopbaan als leraar kunnen beginnen, en aan de bovenkant vertegenwoordigt deze leeftijd de gemiddelde leeftijd waarop de menopauze begint voor vrouwen, en we willen hormonale en andere leeftijdsgerelateerde invloeden in de gegevens. Alle deelnemers zullen deelnemen aan SA1 en SA2, die dezelfde procedures voor gelijktijdige gegevensverzameling gebruiken met verschillende analyses voor perceptuele metingen (SA1) en productiemaatregelen (SA2). Voor SA3, dat verkennend is, zullen 10 extra gezonde leerkrachten worden aangeworven met dezelfde kenmerken. Voor alle SA zijn in- en uitsluitingscriteria: Opname: door zelfrapportage: (1) K-12 klasleraar met ten minste twee jaar leservaring (SA1 en SA2) of basisschoolleraar (SA3), tussen 24 en 50 jaar ; (2) Geen voorgeschiedenis van stemstoornis die langer dan twee weken aanhoudt, en Voice Handicap Index -10 (VHI-10)63 score < 10; (3) Levenslang niet-roker; (4) Geen gehoor of ongecorrigeerde visuele beperking; Door schriftelijke documentatie: (5) Bewijs van volledige COVID-19-vaccinatie; Door klinische evaluatie: (6) Normale stem op dagen van deelname, zoals beoordeeld door een in stem gespecialiseerde gelicentieerde SLP op basis van een algehele ernstscore van de Consensus-Auditory Perceptual Evaluation of Voice (CAPE-V) < 10,65 Uitsluiting: door zelfrapportage :(7) Geschiedenis van stemplooipathologie of andere pathologie die de stem beïnvloedt; (8) elke acute aandoening die de stemproductie kan beïnvloeden, zoals hoesten, verstopte neus of een temperatuur hoger dan 37,0 °C. Merk op dat in dit stadium alleen vocaal gezonde leraren worden beoordeeld, voordat de complexiteit van stemstoornissen wordt geïntroduceerd. Die complexiteiten zullen worden behandeld in later translationeel werk dat voortbouwt op de huidige serie. Opgemerkt moet worden dat het onderzoeksprogramma uiteindelijk relevant is voor leraren met stemproblemen, maar ook voor de werkomgeving van op dit moment gezonde leraren.

3.2 Poweranalyses: Poweranalyses gingen uit van een gemiddelde effectgrootte van d = 0,4, tweezijdig, voor tests van alle afhankelijke variabelen over SA1 en SA2. De resultaten suggereerden dat een N=51 voldoende zal zijn om bevindingen te detecteren voor alle variabelen met een significantieniveau van α = 0,05 en een power van 0,8. Rekening houdend met mogelijk verloop, zullen 60 deelnemers worden aangeworven voor doel 1 en 2. Dit aantal is door onze co-onderzoeker Bottalico en in onze eigen recentere voorlopige gegevens aangetoond als voldoende om significante effecten te detecteren die vergelijkbaar zijn met die onderzocht in de huidige serie (bijv. verschillen in perceptuele beoordelingen van vocale inspanning en comfort, en ook SPL en gemiddelde f0; (Bottalico, 2017; Bottalico et al., 2016; Daşdöğen et al., niet-gepubliceerde gegevens). Voor SA3, dat verkennend is, zullen in totaal 10 deelnemers worden geworven om voorlopige gegevens te verkrijgen voor een latere klinische reeks.

3.3 Procedures 3.3.1 SA1 en SA2: Zestig onderwijzers voor het basis- en voortgezet onderwijs zullen worden geworven via flyers die in de gemeenschap en op sociale media worden gepost, en via direct contact met openbare scholen in Delaware, New Jersey, Pennsylvania en Maryland, die allemaal dicht bij de onderzoekslocatie aan de Universiteit van Delaware zijn. Personen die contact opnemen met de PI met interesse om deel te nemen, ontvangen een overzicht van het onderzoek per telefoon of via een beveiligde verbinding op afstand en geven, indien zij hiermee instemmen, geïnformeerde toestemming. Na toestemming worden deelnemers naar een online screening REDCap-vragenlijst geleid met behulp van een HIPAA-compatibele server om aan alle in- en uitsluitingscriteria te voldoen, behalve de klinische auditief-perceptuele evaluatie van stem (CAPE-V). Gekwalificeerde deelnemers worden ingepland voor een in-lab-afspraak in het voice lab van de University of Delaware STAR campus. Aan het begin van de afspraak beoordeelt de clinicus de stem van de deelnemer om de normale stemkwaliteit te bevestigen met behulp van de CAPE-V. Deelnemers die slagen voor deze laatste screeningstap (algehele CAPE-V-ernstscore < 10) gaan door naar experimentele procedures. Anderen zullen worden verontschuldigd.

Voor experimentele procedures worden deelnemers eerst getraind in de spraaktaken die tijdens het onderzoek zullen worden gebruikt: zichzelf 15 seconden voorstellen aan een klaslokaal, een tutorial van twee minuten geven met betrekking tot hun onderwijsexpertise, de klinker /a/ aanhouden voor 3 seconden drie keer herhaald, en de CAPE-V-zin producerend: "We waren een jaar geleden weg", drie keer herhaald. Deelnemers ontvangen vervolgens instructies voor de zelfrapportagevragenlijst die de zelf waargenomen vocale luidheid, vocale inspanning en vocale comfort voor de spraakstimuli als een set weergeeft (zie 6.0). Na het geven van deze instructies wordt het instrumentarium gepositioneerd inclusief headsetmicrofoons, koptelefoons en VR-brillen (zie 4.0). De deelnemers voeren vervolgens de experimentele spreektaken uit in elk van de 15 willekeurig geordende omstandigheden met en zonder achtergrondgeluid die de auditieve en visuele eigenschappen van echte ruimtes virtueel nabootsen, variërend van kleine tot grote collegezalen, met een droge tot zeer galmende akoestiek en variërende luidspreker- afstanden tot luisteraar.

Ruimteakoestiek zal worden voorgeschreven om akoestisch variërende omstandigheden in VR-omgevingen te karakteriseren en te beheersen (ISO 3382, zie 5.0). OBRIR-metingen zullen worden verkregen in een klaslokaal, een collegezaal en een schoolaula op de campus van de University of Illinois Urbana-Champaign, waar de afmetingen vergelijkbaar zijn met die van de VR-klaslokalen (zie 5.0). Ovation-software (Ovation VRSpeaking, LLC, NJ, VS) zal worden gebruikt om realistische VR-kamers en 3D-luisteraars te leveren (zie 4.0). Experimentele taken omvatten een reeks spraakuitingen op verzoek zoals voor de trainingsconditie, (i) zonder externe audio- of visuele feedback of achtergrondruis (experimentele basislijn), (ii) alleen in elke auditieve conditie, (iii) in elke visuele conditie alleen, en (iv) in elke combinatie van auditieve en visuele omstandigheden. Alle condities ii-iv zullen worden geproduceerd met en zonder achtergrondruis die kort wordt beschreven. Voor de voorwaarden voor alleen audio dragen deelnemers een oogmasker om visuele informatie te blokkeren. In die omstandigheden zullen de deelnemers, om te helpen bij de communicatieve intentie, applaus horen dat wordt gecombineerd met bijpassende akoestische reacties in de kamer voordat ze elke spraakreeks starten, wat een audio-ruimtelijke aanwijzing zal geven over de aanwezigheid van het publiek, ongeveer hoe druk de omgeving is en hoe verre luisteraars zijn in de omgeving. Om de betrokkenheid van deelnemers bij de omgeving te vergroten, zal de examinator hen, voordat ze spreken, vragen om de omvang van het publiek en de afstand tussen spreker en luisteraar in te schatten. Voor alle visuele omstandigheden zullen deelnemers de respectieve visuele kamers en zittende luisteraars zien die op realistische manieren op de spreker zullen reageren (bijv. zittend bewegen, hoofd krabben, enz.). Om de betrokkenheid van de deelnemers verder te bevorderen, zal de examinator elke deelnemer vragen hoeveel mensen er ongeveer in de omgeving zijn en hoe ver weg ze zijn. Onder alle omstandigheden zullen deelnemers worden gevraagd om "zo te spreken dat iedereen u kan begrijpen". Zoals opgemerkt, zullen alle voorwaarden worden uitgevoerd met en zonder achtergrondgeluid tijdens de spraak van de deelnemers. Het geluidsniveau komt overeen met het niveau dat representatief is voor een typische klasomgeving (gemiddeld 54 dB).66 Nadat deelnemers in elke conditie spraakuitingen hebben geproduceerd, zetten ze de VR-bril of het oogmasker af en wordt hen gevraagd de vragenlijst in te vullen over zelfgerapporteerde luidheid, vocale inspanning en vocaal comfort voor de voorgaande uitingen. De vragenlijst wordt weergegeven op een computerscherm waarop digitale antwoorden op VAS-schalen mogelijk zijn (zie 6.0). Vervolgens gaan de deelnemers door naar de volgende VR-conditie, enzovoort, totdat de gegevensverzameling voor alle condities is voltooid, waarmee de sessie wordt afgesloten. De totale duur van de sessie is naar verwachting ongeveer 120 minuten.

3.3.2 SA3: Deelnemers zijn 10 klasleraren. Nadat aan de inclusie- en exclusiecriteria is voldaan, met uitzondering van de klinische auditieve evaluatie van de stem, zullen in aanmerking komende deelnemers zich presenteren aan het STAR-spraaklaboratorium voor stemevaluatie zoals voor SA1 en SA2. Deelnemers die slagen voor de stemscreening worden vervolgens uitgerust met relevant instrumentarium (3.3.1; 4.0) en produceert dezelfde uitingsreeksen als voor SA1 en SA2, met een spreker-tot-doelafstand van 4 m, gespecificeerd door een fysieke mannequin. Vervolgens worden deelnemers willekeurig toegewezen aan een van de twee trainingscondities: traditionele klinische ruimte of VR-omgeving. In hun respectieve omstandigheden zullen deelnemers training krijgen in een therapeutisch stempatroon dat ook waarde heeft voor gezonde sprekers, "resonante stem".68-71 De training wordt verzorgd door een logopedist met minimaal twee jaar ervaring op het gebied van stemstoornissen en die de gestandaardiseerde training Lessac-Madsen Resonant Voice Therapy (LMRVT) heeft afgerond.26 Tijdens de training in beide omgevingen wordt achtergrondgeluid gepresenteerd zoals voor SA1 en SA2, in het vrije veld voor de traditionele omgeving en via een koptelefoon in de VR-omgeving. In beide trainingscondities wordt materiaal uit sessie twee van LMRVT gebruikt - de eerste sessie waarin daadwerkelijke stemtraining in dat programma begint. Voor de traditionele kliniekkamerconditie zullen de deelnemers na 30 minuten LMRVT-training met behulp van Sessie Twee-materialen worden begeleid om dezelfde oefeningen te herhalen, in volgorde, van Sessie Twee, met instructies om een ​​stem te produceren alsof ze spreken tegen een persoon die zich op 2 meter afstand bevindt van de spreker, vertegenwoordigd door een fysieke mannequin, gedurende 5 minuten. Vervolgens herhalen de deelnemers dezelfde oefeningen opnieuw, alsof ze tegen de mannequin spreken die gedurende 5 minuten op 4 meter is geplaatst en ten slotte gedurende 5 minuten op 6 meter. Na training op elk van deze afstanden herhalen de deelnemers basisuitingen die worden opgenomen voor het verzamelen van audiogegevens. Voor de VR-omgevingsconditie krijgen deelnemers dezelfde LMRVT-training als voor de traditionele ruimte, alleen in een VR-klaslokaal (zaal 1; tabel 1) als representatief voor real-life klassikale omstandigheden, gecreëerd voor SA1 en SA2 maar niet afhankelijk van resultaten voor die doelen. Deelnemers krijgen gedurende 30 minuten training in LMRVT Sessie 2-oefeningen, gevolgd door herhaling van dezelfde oefeningen uit Sessie Twee met instructies om relevante uitingen te produceren die spreken tot de luisteraars in de VR-omgeving op 2 meter, 4 meter en 6 meter van de spreker gedurende 5 minuten op elke afstand. Wat de traditionele omgeving betreft, zullen audio-opnamen worden gemaakt met basisuitingen na training op elke afstand. Nadat alle trainingen zijn voltooid, worden deelnemers aan beide condities naar een standaard klaslokaal geleid in de STAR-setting (kamer 513; een volume/plattegrond van ~2440 m3/69 m2). In die setting wordt de deelnemers gevraagd om basislijnspraaktaken te herhalen door te spreken met live zittende luisteraars die zich op 4 meter afstand bevinden voor een retentietest en een nieuwe afstand - 9 meter - en er worden opnames gemaakt zoals voorheen. Deelnemers zijn dan verontschuldigd. Totale duur is ongeveer 90 minuten. Van korte trainingssessies in de orde van ongeveer 30 minuten is aangetoond dat ze verschuivingen in de stemproductie veroorzaken,94 in overeenstemming met de uitgebreide klinische ervaring van de PI. We verwachten dus dergelijke verschuivingen te vinden in de huidige reeks, die de basis leggen voor meer uitgebreide longitudinale studies die geschikt zijn voor een geplande R01-groei uit het huidige werk.

4.0 Uitrusting: een digitaal audiowerkstation (Reaper versie 6.36, Rosendale, NY, VS) en een op het hoofd gemonteerde microfoon (AKG C 520, Harman) zullen worden gebruikt om spraaksignalen voor alle SA's op te vangen. Audio-opnamen worden gesampled op 44,1 kHz. De afstand tussen microfoon en mond is 5 cm met de microfoon in een hoek van 450 ten opzichte van de mond van de deelnemer.72 De microfoon wordt aangesloten op een audio-interface (Babyface Pro FS 24-kanaals USB 2.0, Heimhausen, Duitsland) en de gecombineerde input/output-latentie is minder dan 5 ms, wat de waarde is onder het bereik van een waarneembare echo (16 en 26 ms).73 De interface wordt verbonden met een computer met Reaper-audiowerkstation om audioweergave te creëren. Virtual reality-brillen (Oculus Rift S) zullen worden gebruikt om visuele informatie te produceren (kamers en 3D-avatar luisteraars). Kamervolumebeelden en luisteraars worden geleverd met behulp van Ovation-software (https://www.ovationvr.com/). De software maakt de selectie mogelijk van meerdere klaslokalen die voorbeelden uit de echte wereld nabootsen en spreken tot honderden digitaal gegenereerde 3D-toehoorders (echte mensen) die op de spreker reageren door te glimlachen, te klappen of te bewegen. Een recente studie heeft gerapporteerd over de effectiviteit van deze software om real-world visuele scenario's te creëren.92 De audiomicrofoon wordt gekalibreerd volgens gepubliceerde procedures.93 VR-brillen worden voor elke deelnemer afzonderlijk optimaal gepositioneerd. Alle uitingen worden opgeslagen als wav-bestanden in een versleutelde map.

5.0 Kamerakoestiekmetingen en audioweergave: Binnen de campus van de University of Illinois Urbana-Champaign (door de Co-I Bottalico). De ruimtes worden akoestisch gekarakteriseerd volgens ISO 3382.

Op de plaats waar een spreker zich doorgaans in de kamers bevindt, worden orale-binaurale impulsresponsies gemeten met een HATS. In het bijzonder zullen orale-binaurale impulsresponsen (OBRIR's) worden verkregen met behulp van de convolutiemethode volgens gepubliceerde methoden.91 In het bijzonder zal een exponentieel sweep-signaal dat wordt uitgezonden via de mond van een Head and Torso Simulator (HATS, GRAS 45BB KEMAR) worden opgenomen door de oren van HATS. De convolutie tussen de geregistreerde sweeps (bij de oren van de HATS) en het omgekeerde van de uitgezonden sweep (bij de mond van de HATS) zal de OBRIR's genereren. De OBRIR's worden gebruikt om de kamers akoestisch na te bootsen, rekening houdend met het oor-mondpad van de spreker.

Realtime audioweergave van de stem van het onderwerp in de akoestiek van de virtuele ruimte zal worden bereikt door het gebruik van real-time convolutie-plug-ins, zoals Analglyph en de RoomZ, ontwikkeld door onze consultant Katz aan de Sorbonne University.74 De convolutie-engine maakt gebruik van gemeten kamerimpulsreacties. De virtuele akoestische weergave wordt voor de deelnemer afgespeeld via een open hoofdtelefoon (HD 660S, Sennheiser, Wedemark, Duitsland), waardoor kleuring van het horen van de eigen stem wordt beperkt.

6.0 Maatregelen: Voor SA1 zullen zelfgerapporteerde waarnemingsmetingen worden afgeleid uit drie afzonderlijke vragen over vocale luidheid, vocale inspanning en vocale comfort, met behulp van een Visual Analog Scale (VAS; Tabel 2). Na elke studieconditie wordt de VR-bril afgezet en vullen de deelnemers de VAS in met behulp van HIPAA-conforme REDCap. De REDCap-perceptievragenlijst wordt weergegeven op een computerscherm. Deelnemers beantwoorden elke waarnemingsvraag achtereenvolgens door een schuifregelaar op een schaal van 0 (helemaal niet) tot 100 (extreem[ly]) te verplaatsen. Elk antwoord wordt numeriek vastgelegd in de REDCap-database. Het invullen van de vragenlijst duurt ongeveer twee minuten, wat zorgt voor een rustperiode na de voorgaande studieconditie en helpt potentiële vocale vermoeidheid te minimaliseren. Voor SA2 en SA3 omvatten geïnstrumenteerde stemmetingen vocale geluidsdrukniveau-SPL en spectrale momenten (zie 7.0).

7.0 Gegevensextractie en -analyse: extractie van spraakparameters zal worden uitgevoerd met Matlab R2021b (MathWorks, Natick, MA, Verenigde Staten) en Praat (versie 6.2.14). Voor elk van de opnames wordt een tijdsgeschiedenis van SPL90 en fundamentele frequentie, f0, verkregen met een tijdstap van 0,05 s. De f0 zal worden geschat met een akoestisch periodiciteitsdetectiealgoritme op basis van een nauwkeurige autocorrelatiemethode. Deze methode is nauwkeuriger, ruisbestendiger en robuuster dan andere methoden op basis van cepstrum of kammen, of de originele autocorrelatiemethoden. Voor de twee tijdsgeschiedenissen zullen statistische momenten worden berekend (spectraal gemiddelde, standaarddeviatie, scheefheid en kurtosis). Het vermogen van spectrale momenten om onderscheid te maken tussen verschillende graden van vocale inspanning is eerder gerapporteerd.76 Deze metingen zullen de belangrijkste spectrale bijdragen kwantitatief beoordelen die kunnen worden geassocieerd met mogelijke veranderingen in vocale kwaliteit, in relatie tot vocale inspanning en comfort. In deze serie worden echter geen perceptuele metingen van de stemkwaliteit uitgevoerd.

8.0 Statistische analyses: Voor alle SA's zullen Linear Mixed-Effects (LME)-modellen (Matlab R2021b) worden aangepast met beperkte maximale waarschijnlijkheid (REML). De afhankelijke en onafhankelijke variabelen van deze modellen staan ​​vermeld in de SA-sectie. Deelnemer-ID wordt gebruikt als termen voor willekeurige effecten. Hier verwijst het willekeurige effect van "Deelnemer-ID" naar de gedeeltelijke bundeling van waarnemingen door "Deelnemende ID", waarbij de helling en onderschepping van elke deelnemer-ID willekeurig is. Modellen worden geselecteerd op basis van het Akaike-informatiecriterium en de resultaten van waarschijnlijkheidsratio-testen. Tukey's post-hoc paarsgewijze vergelijkingen zullen worden uitgevoerd om de verschillen tussen alle niveaus van de vaste factoren van belang te onderzoeken wanneer ze meer dan 2 niveaus zijn (in dit geval zowel de audio- als de visuele omgeving). Dit zijn paarsgewijze z-tests, waarbij de z-statistiek het verschil vertegenwoordigt tussen een waargenomen statistiek en de veronderstelde populatieparameter in eenheden van de standaarddeviatie. De p-waarden voor deze tests worden aangepast met behulp van de standaard eenstapsmethode. De LME-uitvoer bevat de schattingen van de vaste-effectcoëfficiënten, de standaardfout die bij de schatting hoort, de vrijheidsgraden (df), de teststatistiek (t) en de p-waarde. De Satterthwaite-methode zal worden gebruikt om vrijheidsgraden te benaderen en p-waarden te berekenen.