Einfluss von Virtual Reality auf Sprachwahrnehmung und -produktion

Dieses Projekt befasst sich mit drei spezifischen Zielen. Die Einzelziele 1 und 2 legen viele der Parameter für die klinische Prüfung fest, die in Einzelziel 3 behandelt wird. Einzelheiten für das Projekt als Ganzes, einschließlich der klinischen Prüfung, sind wie folgt, kopiert und eingefügt aus dem Förderantrag.

3.0 FORSCHUNGSANSATZ Das übergeordnete Ziel besteht darin, die Auswirkungen von auditiven, visuellen und audiovisuellen Informationen auf die Wahrnehmung und Produktion der eigenen Stimme unter Verwendung von VR als Untersuchungsinstrument zu untersuchen und vorläufige Daten zum potenziellen Nutzen von VR in der Stimme bereitzustellen Trainingsumgebung. Einzelheiten zu den spezifischen Zielen finden Sie auf der entsprechenden Seite.

3.1 Teilnehmer: Für SA1 und SA2 werden 60 stimmgesunde Klassenlehrer im Alter zwischen 24 und 50 Jahren rekrutiert (siehe 3.2). Am unteren Ende stellt diese Altersspanne das früheste Alter dar, in dem Lehrer ihre berufliche Laufbahn als Lehrer beginnen könnten, und am oberen Ende stellt sie das durchschnittliche Alter für den Beginn der Menopause bei Frauen dar, und wir möchten hormonelle und andere altersbedingte Faktoren begrenzen Einflüsse in den Daten. Alle Teilnehmer nehmen an SA1 und SA2 teil, die dieselben simultanen Datenerfassungsverfahren mit unterschiedlichen Analysen für Wahrnehmungsmaße (SA1) und Produktionsmaße (SA2) verwenden. Für SA3, das explorativ ist, werden 10 zusätzliche gesunde Lehrer mit den gleichen Merkmalen rekrutiert. Einschluss- und Ausschlusskriterien für alle SA sind: Einschluss: Nach Selbstauskunft: (1) K-12-Klassenlehrer mit mindestens zwei Jahren Unterrichtserfahrung (SA1 und SA2) oder Grundschullehrer (SA3), zwischen 24 und 50 Jahre ; (2) keine Stimmstörung in der Anamnese, die länger als zwei Wochen andauert, und Voice Handicap Index -10 (VHI-10)63 Score < 10; (3) lebenslanger Nichtraucher; (4) keine Hör- oder unkorrigierte Sehbehinderung; Durch schriftliche Dokumentation: (5) Nachweis der vollständigen COVID-19-Impfung; Durch klinische Bewertung: (6) Normale Stimme an Tagen der Teilnahme, wie von einem auf Stimme spezialisierten lizenzierten SLP basierend auf einem Gesamtschwerewert aus der Consensus-Auditory Perceptual Evaluation of Voice (CAPE-V) < 10,65 bewertet Ausschluss: Durch Selbstbericht :(7) Anamnese einer Stimmlippenpathologie oder einer anderen Pathologie, die die Stimme betrifft; (8) jeder akute Zustand, der die Sprachproduktion beeinträchtigen kann, wie Husten, verstopfte Nase oder Temperaturen über 37,0 °C (98,6 °F). Beachten Sie, dass in dieser Phase nur stimmgesunde Lehrer bewertet werden, bevor die mit Stimmstörungen verbundenen Komplexitäten vorgestellt werden. Diese Komplexitäten werden in späteren Übersetzungsarbeiten behandelt, die auf der vorliegenden Reihe aufbauen. Zu beachten ist, dass das Forschungsprogramm letztlich für Lehrkräfte mit Stimmproblemen, aber auch für das Arbeitsumfeld aktuell gesunder Lehrkräfte relevant ist.

3.2 Power-Analysen: Power-Analysen gingen von einer mittleren Effektgröße von d = 0,4 aus, zweiseitig, für Tests aller abhängigen Variablen über SA1 und SA2. Die Ergebnisse deuteten darauf hin, dass N = 51 ausreichen wird, um Ergebnisse für alle Variablen mit einem Signifikanzniveau von α = 0,05 und einer Power von 0,8 zu erkennen. Unter Berücksichtigung möglicher Fluktuation werden 60 Teilnehmer für die Ziele 1 und 2 rekrutiert. Diese Zahl wurde von unserem Co-Forscher Bottalico und in unseren eigenen neueren vorläufigen Daten als ausreichend befunden, um signifikante Effekte zu erkennen, die denen ähneln, die in der vorliegenden Serie untersucht wurden (z. B. Unterschiede in der Wahrnehmungsbewertung von Stimmanstrengung und -komfort sowie SPL und mittlerem f0; (Bottalico, 2017; Bottalico et al., 2016; Daşdöğen et al., unveröffentlichte Daten). Für SA3, das explorativ ist, werden insgesamt 10 Teilnehmer rekrutiert, um vorläufige Daten für eine spätere klinische Serie zu erhalten.

3.3 Verfahren 3.3.1 SA1 und SA2: Sechzig K-12-Klassenlehrer werden durch Flyer, die in der Gemeinde und in sozialen Medien veröffentlicht werden, und durch direkten Kontakt mit öffentlichen Schulen in Delaware, New Jersey, Pennsylvania und Maryland rekrutiert, die alle möglich sind in unmittelbarer Nähe zum Studienort an der University of Delaware sein. Personen, die sich mit Interesse an einer Teilnahme an den PI wenden, erhalten telefonisch oder über eine sichere Fernverbindung einen Überblick über die Studie und geben bei Zustimmung eine Einverständniserklärung ab. Nach der Zustimmung werden die Teilnehmer zu einem Online-Screening-REDCap-Fragebogen geführt, der einen HIPAA-konformen Server verwendet, um alle Einschluss- und Ausschlusskriterien mit Ausnahme der klinischen auditiv-perzeptiven Bewertung der Stimme (CAPE-V) zu berücksichtigen. Qualifizierte Teilnehmer werden für einen Labortermin im STAR-Campus-Sprachlabor der University of Delaware eingeplant. Zu Beginn des Termins beurteilt der Arzt die Stimme des Teilnehmers, um die normale Stimmqualität mit dem CAPE-V zu bestätigen. Teilnehmer, die diesen letzten Screening-Schritt bestehen (CAPE-V-Gesamtschwerewert < 10), werden mit experimentellen Verfahren fortfahren. Andere werden entschuldigt.

Für experimentelle Verfahren werden die Teilnehmer zunächst in den Sprachaufgaben geschult, die während der Studie verwendet werden: sich 15 Sekunden lang in einem Klassenzimmer vorstellen, ein zweiminütiges Tutorial zu ihrer Unterrichtskompetenz geben, den Vokal /a/ für halten 3 Sekunden, die dreimal wiederholt werden, und die Erzeugung des CAPE-V-Satzes "Wir waren vor einem Jahr weg", dreimal wiederholt. Die Teilnehmer erhalten dann Anweisungen für den Selbstberichtsfragebogen, der die selbst wahrgenommene Stimmlautstärke, Stimmanstrengung und Stimmkomfort für die Sprachreize als Set widerspiegelt (siehe 6.0). Nach der Übergabe dieser Anweisungen wird die Instrumentierung einschließlich Headset-Mikrofonen, Kopfhörern und VR-Brillen (siehe 4.0) positioniert. Die Teilnehmer werden dann die experimentellen Sprechaufgaben in jeder von 15 zufällig angeordneten Bedingungen mit und ohne Hintergrundgeräusche durchführen, die praktisch die akustischen und visuellen Eigenschaften realer Räume nachahmen, die von kleinen bis zu großen Hörsälen variieren, mit trockener bis stark hallender Akustik und unterschiedlichen Lautsprechern. Zuhörerabstände.

Die Raumakustik wird vorgeschrieben, um akustisch variierende Bedingungen in VR-Umgebungen zu charakterisieren und zu kontrollieren (ISO 3382, siehe 5.0). OBRIR-Messungen werden in einem Klassenzimmer, einem Hörsaal und einer Aula einer Schule auf dem Campus der University of Illinois Urbana-Champaign durchgeführt, wo die Abmessungen denen der VR-Klassenzimmer ähneln (siehe 5.0). Ovation-Software (Ovation VRSpeaking, LLC, NJ, US) wird verwendet, um realistische VR-Räume und 3D-Hörer bereitzustellen (siehe 4.0). Zu den experimentellen Aufgaben gehören eine Reihe von aufgeforderten Sprachäußerungen wie für die Trainingsbedingung, (i) ohne externes akustisches oder visuelles Feedback oder Hintergrundgeräusche (experimentelle Grundlinie), (ii) in jeder Hörbedingung allein, (iii) in jeder visuellen Bedingung allein und (iv) in jeder Kombination von Hör- und Sehbedingungen. Alle Zustände ii-iv werden mit und ohne kurz beschriebenem Hintergrundrauschen erzeugt. Bei reinen Audiobedingungen tragen die Teilnehmer eine Augenmaske, um visuelle Informationen zu blockieren. Unter diesen Bedingungen hören die Teilnehmer zur Unterstützung der kommunikativen Absicht Applaus, der mit abgestimmten raumakustischen Reaktionen gefaltet ist, bevor sie jede Sprechzeichenfolge einleiten, was einen audio-räumlichen Hinweis auf die Anwesenheit des Publikums gibt, ungefähr, wie voll die Umgebung ist und wie weit entfernte Zuhörer befinden sich in der Umgebung. Um die Auseinandersetzung der Teilnehmer mit der Umgebung zu verbessern, wird der Prüfer sie vor dem Sprechen bitten, die Größe des Publikums und den Abstand zwischen Sprecher und Zuhörer zu schätzen. Für alle Sehbedingungen sehen die Teilnehmer die jeweiligen Sehräume und sitzenden Zuhörer, die auf den Sprecher realistisch reagieren (z. B. Bewegungen im Sitzen, Kopfkratzen usw.). Um das Engagement der Teilnehmer weiter zu fördern, fragt der Prüfer jeden Teilnehmer ungefähr, wie viele Personen sich in der Umgebung befinden und wie weit sie entfernt sind. Unter allen Bedingungen werden die Teilnehmer aufgefordert, „so zu sprechen, dass jeder Sie verstehen kann“. Wie bereits erwähnt, werden alle Bedingungen mit und ohne Hintergrundgeräusche während der Rede der Teilnehmer durchgeführt. Der Geräuschpegel entspricht dem Pegel, der für eine typische Klassenzimmerumgebung repräsentativ ist (durchschnittlich 54 dB).66 Nachdem die Teilnehmer in jeder Bedingung Sprachäußerungen produziert haben, nehmen sie die VR-Brille oder Augenmaske ab und werden gebeten, den Fragebogen zur selbstberichteten Lautstärke, Stimmanstrengung und Stimmkomfort für die vorangegangenen Äußerungen auszufüllen. Der Fragebogen wird auf einem Computerbildschirm angezeigt, der digitale Antworten auf VAS-Skalen ermöglicht (siehe 6.0). Dann fahren die Teilnehmer mit dem nächsten VR-Zustand fort und so weiter, bis die Datenerfassung für alle Zustände abgeschlossen ist, wodurch die Sitzung abgeschlossen wird. Die Gesamtdauer der Sitzung wird voraussichtlich etwa 120 Minuten betragen.

3.3.2 SA3: Teilnehmer sind 10 Klassenlehrer. Nach Erfüllung der Einschluss- und Ausschlusskriterien mit Ausnahme der klinischen auditiven Bewertung der Stimme werden qualifizierte Teilnehmer dem STAR-Sprachlabor zur Stimmbewertung wie für SA1 und SA2 vorgestellt. Teilnehmer, die das Stimmscreening bestehen, werden dann mit entsprechenden Instrumenten ausgestattet (3.3.1; 4.0) und wird die gleichen Äußerungsketten wie für SA1 und SA2 erzeugen, mit einem Lautsprecher-zu-Ziel-Abstand von 4 m, spezifiziert durch eine physische Puppe. Anschließend werden die Teilnehmer nach dem Zufallsprinzip einer von zwei Schulungsbedingungen zugeteilt: traditioneller klinischer Raum oder VR-Umgebung. Unter ihren jeweiligen Bedingungen erhalten die Teilnehmer ein Training in einem therapeutischen Stimmmuster, das auch für gesunde Sprecher von Wert ist, der „resonanten Stimme“.68-71 Die Ausbildung erfolgt durch einen Logopäden mit mindestens zwei Jahren Erfahrung in Stimmstörungen und einer standardisierten Ausbildung in Lessac-Madsen Resonant Voice Therapy (LMRVT).26 Während des gesamten Trainings in beiden Umgebungen werden Hintergrundgeräusche wie bei SA1 und SA2 präsentiert, im Freifeld für die traditionelle Umgebung und über Kopfhörer in der VR-Umgebung. In beiden Trainingsbedingungen werden Materialien aus der zweiten Sitzung des LMRVT verwendet – der ersten Sitzung, in der das eigentliche Stimmtraining in diesem Programm beginnt. Für den traditionellen Klinikraumzustand werden die Teilnehmer nach 30 Minuten LMRVT-Training mit Materialien aus Sitzung 2 angeleitet, dieselben Übungen ab Sitzung 2 der Reihe nach zu wiederholen, mit Anweisungen, eine Stimme zu erzeugen, als ob sie mit einer Person sprechen würden, die sich in 2 Metern Entfernung befindet vom Sprecher, vertreten durch eine physische Schaufensterpuppe, für 5 Minuten. Dann wiederholen die Teilnehmer die gleichen Übungen noch einmal, als ob sie 5 Minuten lang in 4 Meter Höhe und schließlich 5 Minuten lang in 6 Meter Höhe mit der Puppe sprechen würden. Nach dem Training auf jeder dieser Entfernungen wiederholen die Teilnehmer grundlegende Äußerungen, die für die Audiodatenerfassung aufgezeichnet werden. Für die Bedingung der VR-Umgebung erhalten die Teilnehmer das gleiche LMRVT-Training wie für den traditionellen Raum, nur in einem VR-Klassenzimmer (Raum 1; Tabelle 1), das repräsentativ für reale Klassenzimmerbedingungen ist, erstellt für SA1 und SA2, aber nicht abhängig von Ergebnissen für diese Ziele. Die Teilnehmer erhalten 30 Minuten lang eine Schulung in den Übungen der LMRVT-Sitzung 2, gefolgt von einer Wiederholung der gleichen Übungen aus Sitzung 2 mit Anweisungen, um relevante Äußerungen zu produzieren, die zu den Zuhörern in der VR-Umgebung sprechen, die sich in 2 Metern, 4 Metern und 6 Metern Entfernung befinden Lautsprecher für 5 Minuten in jeder Entfernung. Wie für die traditionelle Umgebung werden Audioaufnahmen mit Basisäußerungen nach dem Training auf jeder Distanz gemacht. Nachdem alle Schulungen abgeschlossen sind, werden die Teilnehmer in beiden Bedingungen zu einem Standardklassenzimmer in der STAR-Umgebung geführt (Raum 513; ein Volumen/Grundriss von ~2440 m3/69m2). In dieser Umgebung werden die Teilnehmer gebeten, grundlegende Sprachaufgaben zu wiederholen, die mit live sitzenden Zuhörern sprechen, die für einen Retentionstest in 4 Metern und einer neuartigen Entfernung – 9 Meter – positioniert sind, und es werden wie zuvor Aufnahmen gemacht. Die Teilnehmer werden dann entschuldigt. Die Gesamtdauer beträgt etwa 90 Minuten. Es hat sich gezeigt, dass kurze Trainingseinheiten in der Größenordnung von etwa 30 Minuten zu Veränderungen in der Stimmproduktion führen94, was mit der umfangreichen klinischen Erfahrung des PI übereinstimmt. Wir erwarten daher, solche Verschiebungen in der vorliegenden Serie zu finden, die die Grundlagen für erweiterte Längsschnittstudien bereitstellt, die für ein geplantes R01-Wachstum aus der vorliegenden Arbeit geeignet sind.

4.0-Ausrüstung: Eine digitale Audio-Workstation (Reaper Version 6.36, Rosendale, NY, US) und ein Kopfmikrofon (AKG C 520, Harman) werden verwendet, um Sprachsignale für alle SAs zu erfassen. Audioaufnahmen werden mit 44,1 kHz gesampelt. Der Abstand zwischen Mikrofon und Mund beträgt 5 cm, wobei das Mikrofon in einem Winkel von 450° zum Mund des Teilnehmers positioniert ist.72 Das Mikrofon wird an ein Audio-Interface (Babyface Pro FS 24-Kanal USB 2.0, Heimhausen, Deutschland) angeschlossen und die kombinierte Eingangs-/Ausgangslatenz beträgt weniger als 5 ms, was dem Wert unterhalb des Bereichs eines wahrnehmbaren Echos entspricht (16 und 26 ms).73 Das Interface wird mit einem Computer verbunden, auf dem Reaper Audio Workstation läuft, um Audio-Rendering zu erstellen. Zur Erzeugung visueller Informationen (Räume und 3D-Avatar-Zuhörer) werden Virtual-Reality-Brillen (Oculus Rift S) eingesetzt. Raumvolumenbilder und Zuhörer werden mithilfe der Ovation-Software (https://www.ovationvr.com/) bereitgestellt. Die Software ermöglicht die Auswahl mehrerer Klassenzimmerumgebungen, die Beispiele aus der realen Welt nachbilden, und das Sprechen mit Hunderten von digital generierten 3D-Zuschauern (echte Personen), die auf den Sprecher mit Lächeln, Klatschen oder Bewegungen reagieren. Eine kürzlich durchgeführte Studie hat über die Wirksamkeit dieser Software zur Erstellung realer visueller Szenarien berichtet.92 Das Audiomikrofon wird nach veröffentlichten Verfahren kalibriert.93 Die VR-Brille wird für jeden Teilnehmer individuell optimal positioniert. Alle Äußerungen werden als wav-Dateien in einem verschlüsselten Ordner gespeichert.

5.0 Raumakustische Messungen und Audiowiedergabe: Auf dem Campus der University of Illinois Urbana-Champaign (vom Co-I Bottalico). Die Räume werden nach ISO 3382 akustisch charakterisiert.

An der Position, an der sich normalerweise ein Sprecher in den Räumen befindet, werden Oral-Binaurale Impulsantworten mit einem HATS gemessen. Insbesondere werden oral-binaurale Impulsantworten (OBRIRs) unter Verwendung der Faltungsmethode nach veröffentlichten Methoden erhalten.91 Insbesondere wird ein exponentielles Sweep-Signal, das über den Mund eines Head and Torso Simulators (HATS, GRAS 45BB KEMAR) ausgesendet wird, von den Ohren von HATS aufgezeichnet. Die Faltung zwischen den aufgezeichneten Sweeps (an den Ohren des HATS) und der Umkehrung des emittierten Sweeps (durch den Mund des HATS) erzeugt die OBRIRs. Die OBRIRs werden verwendet, um die Räume unter Berücksichtigung des Ohr-Mund-Wegs des Sprechers akustisch nachzubilden.

Die Echtzeit-Audiowiedergabe der Stimme des Probanden in der virtuellen Raumakustik wird durch die Verwendung von Echtzeit-Faltungs-Plug-Ins wie Analglyph und RoomZ erreicht, die von unserem Berater Katz an der Sorbonne University entwickelt wurden.74 Die Faltungsmaschine verwendet gemessene Raumimpulsantworten. Das virtuelle akustische Rendering wird dem Teilnehmer über offene Kopfhörer (HD 660S, Sennheiser, Wedemark, Deutschland) wiedergegeben, wodurch die Färbung durch das Hören der eigenen Stimme begrenzt wird.

6.0 Messwerte: Für SA1 werden Messwerte zur Wahrnehmung des Selbstberichts aus drei separaten Fragen zu Stimmlautstärke, Stimmanstrengung und Stimmkomfort unter Verwendung einer visuellen Analogskala (VAS; Tabelle 2) abgeleitet. Nach jeder Studienbedingung wird die VR-Brille entfernt und die Teilnehmer schließen die VAS mit HIPAA-konformem REDCap ab. Der REDCap-Wahrnehmungsfragebogen wird auf einem Computerbildschirm angezeigt. Die Teilnehmer beantworten jede Wahrnehmungsfrage nacheinander, indem sie einen Schieberegler auf einer Skala von 0 (überhaupt nicht) bis 100 (extrem [sehr]) bewegen. Jede Antwort wird numerisch in der REDCap-Datenbank erfasst. Das Ausfüllen des Fragebogens dauert ungefähr zwei Minuten, was eine Ruhephase nach dem vorangegangenen Studienzustand bietet und dazu beiträgt, eine mögliche Stimmermüdung zu minimieren. Für SA2 und SA3 umfassen die instrumentierten Stimmmessungen den Stimmschalldruckpegel-SPL und spektrale Momente (siehe 7.0).

7.0 Datenextraktion und -analyse: Die Extraktion von Sprachparametern wird mit Matlab R2021b (MathWorks, Natick, MA, USA) und Praat (Version 6.2.14) durchgeführt. Für jede der Aufzeichnungen wird ein Zeitverlauf von SPL90 und der Grundfrequenz f0 mit einem Zeitschritt von 0,05 s erhalten. Das f0 wird mit einem akustischen Periodizitätserkennungsalgorithmus auf der Grundlage eines genauen Autokorrelationsverfahrens geschätzt. Dieses Verfahren ist genauer, rauschresistenter und robuster als andere Verfahren, die auf dem Cepstrum oder Kämmen oder den ursprünglichen Autokorrelationsverfahren basieren. Für die beiden Zeitverläufe werden statistische Momente berechnet (spektraler Mittelwert, Standardabweichung, Schiefe und Kurtosis). Die Fähigkeit von spektralen Momenten, zwischen verschiedenen Graden der Stimmanstrengung zu unterscheiden, wurde bereits berichtet.76 Diese Messungen werden die wichtigsten spektralen Beiträge quantitativ bewerten, die mit potenziellen Änderungen der Stimmqualität in Bezug auf Stimmanstrengung und -komfort verbunden sein können. Wahrnehmungsmessungen der Sprachqualität werden jedoch in dieser Serie nicht vorgenommen.

8.0 Statistische Analysen: Für alle SAs werden Linear Mixed-Effects (LME)-Modelle (Matlab R2021b) durch Restricted Maximum Likelihood (REML) angepasst. Die abhängigen und unabhängigen Variablen dieser Modelle sind im SA-Abschnitt aufgeführt. Die Teilnehmer-ID wird als Zufallseffekt verwendet. Hier bezieht sich der zufällige Effekt von „Teilnehmer-ID“ auf die teilweise Zusammenfassung von Beobachtungen nach „Teilnehmer-ID“, wobei die Steigung und der Achsenabschnitt jeder Teilnehmer-ID zufällig sind. Die Modelle werden basierend auf dem Akaike-Informationskriterium und den Ergebnissen von Likelihood-Ratio-Tests ausgewählt. Tukeys paarweise Post-Hoc-Vergleiche werden durchgeführt, um die Unterschiede zwischen allen Ebenen der festen interessierenden Faktoren zu untersuchen, wenn sie mehr als 2 Ebenen betragen (in diesem Fall sowohl die Audio- als auch die visuellen Umgebungen). Dies sind paarweise z-Tests, bei denen die z-Statistik die Differenz zwischen einer beobachteten Statistik und ihrem hypothetischen Populationsparameter in Einheiten der Standardabweichung darstellt. Die p-Werte für diese Tests werden mit der standardmäßigen Einzelschrittmethode angepasst. Die LME-Ausgabe enthält die Schätzungen der Koeffizienten für feste Effekte, den mit der Schätzung verbundenen Standardfehler, die Freiheitsgrade (df), die Teststatistik (t) und den p-Wert. Die Satterthwaite-Methode wird verwendet, um Freiheitsgrade anzunähern und p-Werte zu berechnen.