Wpływ rzeczywistości wirtualnej na percepcję i produkcję głosu

Ten projekt odnosi się do trzech celów szczegółowych. Cele szczegółowe 1 i 2 określają wiele parametrów badania klinicznego, o których mowa w celu szczegółowym 3. Szczegóły dotyczące całego projektu, w tym badania klinicznego, zostały skopiowane i wklejone z wniosku o dofinansowanie w następujący sposób.

3.0 PODEJŚCIE BADAWCZE Ogólnym celem jest zbadanie wpływu informacji dźwiękowych, wizualnych i audiowizualnych na percepcję i wytwarzanie własnego głosu przy użyciu VR jako narzędzia badawczego oraz dostarczenie wstępnych danych na temat potencjalnej użyteczności VR w głosie środowisko szkoleniowe. Szczegóły dotyczące Celów Szczegółowych znajdują się na odpowiedniej stronie.

3.1 Uczestnicy: W przypadku SA1 i SA2 zostanie zatrudnionych 60 zdrowych głosowo nauczycieli w wieku od 24 do 50 lat (patrz 3.2). Na dolnym końcu ten przedział wiekowy reprezentuje najwcześniejszy wiek, w którym nauczyciele mogą rozpocząć karierę zawodową nauczyciela, a na górnym końcu reprezentuje średni wiek wystąpienia menopauzy u kobiet i chcemy ograniczyć hormony i inne związane z wiekiem wpływy w danych. Wszyscy uczestnicy wezmą udział w SA1 i SA2, które wykorzystują te same procedury jednoczesnego gromadzenia danych z różnymi analizami dla miar percepcyjnych (SA1) i miar produkcyjnych (SA2). W przypadku SA3, który ma charakter eksploracyjny, zostanie zatrudnionych 10 dodatkowych zdrowych nauczycieli o tych samych cechach. Dla wszystkich SA kryteria włączenia i wykluczenia są następujące: Włączenie: Według własnego zgłoszenia: (1) nauczyciel w klasie podstawowej z co najmniej dwuletnim doświadczeniem w nauczaniu (SA1 i SA2) lub nauczyciel w szkole podstawowej (SA3), w wieku od 24 do 50 lat ; (2) brak historii zaburzeń głosu trwających dłużej niż dwa tygodnie oraz wskaźnik upośledzenia głosu -10 (VHI-10)63 wynik < 10; (3) dożywotni niepalący; (4) brak upośledzenia słuchu lub nieskorygowanego wzroku; Na podstawie pisemnej dokumentacji: (5) Dowód pełnego szczepienia przeciwko COVID-19; Na podstawie oceny klinicznej: (6) Normalny głos w dniach uczestnictwa, oceniony przez licencjonowanego SLP specjalizującego się w głosie w oparciu o ogólną ocenę ciężkości z Consensus-Auditory Perceptual Evaluation of Voice (CAPE-V) < 10,65 Wykluczenie: na podstawie samodzielnego zgłoszenia :(7) Historia patologii fałdów głosowych lub innych patologii wpływających na głos; (8) każdy ostry stan, który może wpływać na produkcję głosu, taki jak kaszel, przekrwienie błony śluzowej nosa lub temperatura wyższa niż 98,6o F (37,0o C). Należy pamiętać, że na tym etapie oceniani są tylko nauczyciele zdrowi wokalnie, przed przedstawieniem zawiłości związanych z zaburzeniami głosu. Te złożoności zostaną omówione w późniejszych pracach tłumaczeniowych, które opierają się na obecnej serii. Należy zauważyć, że program badawczy jest ostatecznie odpowiedni dla nauczycieli z problemami z głosem, ale także dla środowiska pracy obecnie zdrowych nauczycieli.

3.2 Analizy mocy: W analizach mocy przyjęto średnią wielkość efektu d = 0,4, dwustronną, dla testów wszystkich zmiennych zależnych w SA1 i SA2. Wyniki sugerowały, że N=51 będzie wystarczające do wykrycia wyników dla wszystkich zmiennych o poziomie istotności α = 0,05 i mocy 0,8. Biorąc pod uwagę możliwe wyczerpanie, 60 uczestników zostanie zwerbowanych do celów 1 i 2. Liczba ta została wykazana przez naszego współbadacza Bottalico oraz w naszych własnych, nowszych danych wstępnych, jako wystarczająca do wykrycia znaczących efektów podobnych do tych badanych w niniejszej serii (np. różnice w percepcyjnych ocenach wysiłku i komfortu głosu, a także SPL i średniej f0; (Bottalico, 2017; Bottalico i in., 2016; Daşdöğen i in., dane niepublikowane). W przypadku SA3, który ma charakter eksploracyjny, zostanie zrekrutowanych łącznie 10 uczestników w celu uzyskania wstępnych danych do późniejszej serii klinicznej.

3.3 Procedury 3.3.1 SA1 i SA2: Sześćdziesięciu nauczycieli klas K-12 zostanie zatrudnionych na podstawie ulotek zamieszczonych w społeczności i w mediach społecznościowych oraz poprzez bezpośredni kontakt ze szkołami publicznymi w Delaware, New Jersey, Pensylwanii i Maryland, z których wszystkie mogą znajdować się w pobliżu miejsca badania na University of Delaware. Osoby, które skontaktują się z PI, zainteresowane udziałem, otrzymają przegląd badania przez telefon lub bezpieczne połączenie zdalne, a jeśli wyrażą zgodę, wyrażą świadomą zgodę. Po uzyskaniu zgody uczestnicy zostaną poprowadzeni do wypełnienia internetowego kwestionariusza REDCap przy użyciu serwera zgodnego z HIPAA w celu uwzględnienia wszystkich kryteriów włączenia i wykluczenia z wyjątkiem klinicznej słuchowo-percepcyjnej oceny głosu (CAPE-V). Zakwalifikowani uczestnicy zostaną umówieni na spotkanie w laboratorium w kampusowym laboratorium głosowym STAR University of Delaware. Na początku wizyty klinicysta oceni głos uczestnika, aby potwierdzić normalną jakość głosu za pomocą CAPE-V. Uczestnicy, którzy pomyślnie przejdą ten końcowy etap przesiewowy (ogólny wynik CAPE-V < 10), przejdą do procedur eksperymentalnych. Inni będą usprawiedliwieni.

W przypadku procedur eksperymentalnych, najpierw uczestnicy zostaną przeszkoleni w zakresie zadań związanych z mową, które będą wykorzystywane podczas badania: przedstawienie się w klasie na 15 sekund, wygłoszenie dwuminutowego samouczka związanego z ich wiedzą pedagogiczną, podtrzymywanie samogłoski /a/ przez 3 sekundy powtórzone trzy razy, a fraza CAPE-V: „Nie było nas rok temu” powtórzyła się trzy razy. Następnie uczestnicy otrzymają instrukcje dotyczące kwestionariusza samoopisowego odzwierciedlającego postrzeganą przez siebie głośność głosu, wysiłek głosowy i komfort głosowy dla bodźców mowy jako zestawu (patrz 6.0). Po dostarczeniu tych instrukcji oprzyrządowanie zostanie ustawione, w tym mikrofony zestawu słuchawkowego, słuchawki i okulary VR (patrz 4.0). Następnie uczestnicy wykonają eksperymentalne zadania mówienia w każdym z 15 losowo uporządkowanych warunków z hałasem tła i bez niego, które wirtualnie naśladują właściwości słuchowe i wizualne rzeczywistych pomieszczeń, od małej do dużej sali wykładowej, z akustyką suchą do silnie pogłosowej i różnymi głośnikami. odległości do słuchacza.

Akustyka pomieszczeń zostanie określona w celu scharakteryzowania i kontrolowania zróżnicowanych akustycznie warunków w środowiskach VR (ISO 3382, patrz 5.0). Pomiary OBRIR zostaną wykonane w klasie, sali wykładowej i szkolnej auli na kampusie University of Illinois Urbana-Champaign, gdzie wymiary są podobne do sal lekcyjnych VR (patrz 5.0). Oprogramowanie Ovation (Ovation VRSpeaking, LLC, NJ, USA) zostanie użyte do dostarczenia realistycznych pokoi VR i słuchaczy 3D (patrz 4.0). Zadania eksperymentalne będą obejmować ciąg podpowiedzi mowy, jak dla warunków treningowych, (i) bez zewnętrznego sprzężenia zwrotnego audio lub wizualnego lub szumu tła (podstawa eksperymentu), (ii) osobno w każdym stanie słuchowym, (iii) w każdym stanie wizualnym samodzielnie oraz (iv) w każdej kombinacji warunków słuchowych i wzrokowych. Wszystkie warunki ii-iv zostaną utworzone z i bez szumu tła opisanego pokrótce. W warunkach tylko dźwiękowych uczestnicy będą nosić maskę na oczy, aby zablokować informacje wizualne. W takich warunkach, aby wspomóc intencję komunikacyjną, uczestnicy usłyszą oklaski, które są powiązane z dopasowanymi reakcjami akustycznymi pomieszczenia, zanim zainicjują każdą sekwencję mowy, co dostarczy dźwiękowo-przestrzennej wskazówki dotyczącej obecności publiczności, przybliżonego stopnia zatłoczenia otoczenia i tego, jak dalecy słuchacze znajdują się w otoczeniu. Aby zwiększyć zaangażowanie uczestników w otoczenie, przed zabraniem głosu egzaminator poprosi ich o oszacowanie wielkości widowni i odległości między mówcą a słuchaczem. We wszystkich warunkach wizualnych uczestnicy zobaczą odpowiednie pokoje wizualne i siedzących słuchaczy, którzy zareagują na mówcę w realistyczny sposób (np. poruszając się podczas siedzenia, drapiąc się po głowie itp.). Aby jeszcze bardziej zwiększyć zaangażowanie uczestników, egzaminator zapyta każdego uczestnika, ile osób znajduje się w otoczeniu i jak daleko się znajdują. W każdych warunkach uczestnicy zostaną poproszeni o „mówienie tak, aby wszyscy mogli cię zrozumieć”. Jak zaznaczono, wszystkie warunki zostaną spełnione z szumem tła emitowanym podczas wystąpień uczestników i bez niego. Poziom hałasu będzie odpowiadał poziomowi reprezentatywnemu dla typowego środowiska szkolnego (średnio 54 dB).66 Po tym, jak uczestnicy wygłoszą wypowiedzi w każdych warunkach, zdejmą gogle VR lub maskę na oczy i zostaną poproszeni o wypełnienie kwestionariusza dotyczącego zgłaszanej przez siebie głośności, wysiłku głosowego i komfortu głosowego dla poprzedzających wypowiedzi. Ankieta zostanie wyświetlona na ekranie komputera, który umożliwia cyfrowe odpowiedzi na wagach VAS (patrz 6.0). Następnie uczestnicy przejdą do następnego warunku VR i tak dalej, aż do zakończenia gromadzenia danych dla wszystkich warunków, co zakończy sesję. Przewidywany całkowity czas trwania sesji to około 120 minut.

3.3.2 SA3: Uczestnikami będzie 10 nauczycieli klasowych. Po spełnieniu kryteriów włączenia i wykluczenia z wyjątkiem klinicznej oceny słuchowej głosu, kwalifikujący się uczestnicy zgłoszą się do laboratorium głosowego STAR w celu oceny głosu jak dla SA1 i SA2. Uczestnicy, którzy przejdą kontrolę głosu, zostaną następnie wyposażeni w odpowiednie oprzyrządowanie (3.3.1; 4.0) i wygeneruje takie same ciągi wypowiedzi jak dla SA1 i SA2, z odległością między mówcą a celem wynoszącą 4 m, określoną przez fizyczny manekin. Następnie uczestnicy zostaną losowo przydzieleni do jednego z dwóch warunków szkolenia: tradycyjnej sali klinicznej lub środowiska VR. W swoich warunkach uczestnicy przejdą szkolenie w zakresie terapeutycznego wzorca dźwięczności, który ma również wartość dla zdrowych mówców, „głosu rezonansowego”.68-71 Szkolenie będzie prowadzone przez logopedę z co najmniej dwuletnim doświadczeniem w leczeniu zaburzeń głosu, który ukończył standardowe szkolenie w zakresie Terapii Głosu Rezonansowego Lessaca-Madsena (LMRVT).26 Podczas szkolenia w obu środowiskach szum tła będzie prezentowany jak dla SA1 i SA2, w wolnym polu dla środowiska tradycyjnego oraz przez słuchawki w środowisku VR. W obu warunkach treningowych wykorzystane zostaną materiały z Sesji Drugiej LMRVT – pierwszej sesji, w której rozpoczyna się właściwy trening głosu w tym programie. W przypadku tradycyjnych warunków w sali klinicznej, po 30 minutach treningu LMRVT z wykorzystaniem materiałów Sesji Drugiej, uczestnicy zostaną poproszeni o powtórzenie tych samych ćwiczeń, w kolejności od Sesji Drugiej, z instrukcjami wydawania głosu tak, jakby przemawiał do osoby znajdującej się w odległości 2 metrów z głośnika, reprezentowanego przez fizyczny manekin, przez 5 minut. Następnie uczestnicy powtórzą ponownie te same ćwiczenia, jakby rozmawiali z manekinem ustawionym na 4 metrach przez 5 minut, a na końcu na 6 metrach przez 5 minut. Po treningu na każdym z tych dystansów uczestnicy będą powtarzać podstawowe wypowiedzi, które zostaną nagrane w celu zebrania danych dźwiękowych. W przypadku warunków środowiska VR uczestnicy przejdą takie samo szkolenie LMRVT, jak w przypadku tradycyjnej sali, tylko w klasie VR (sala 1; tabela 1) jako reprezentatywnej dla rzeczywistych warunków w klasie, stworzonej dla SA1 i SA2, ale niezależnej od wyników dla tych celów. Uczestnicy przejdą szkolenie w zakresie ćwiczeń LMRVT Sesja 2 przez 30 minut, po czym nastąpi powtórzenie tych samych ćwiczeń z Sesji Drugiej z instrukcjami tworzenia odpowiednich wypowiedzi przemawiających do słuchaczy w środowisku VR umieszczonym w odległości 2 metrów, 4 metrów i 6 metrów od głośnika przez 5 minut z każdej odległości. Podobnie jak w przypadku tradycyjnego środowiska, nagrania dźwiękowe zostaną wykonane z wykorzystaniem wypowiedzi bazowych po treningu na każdym dystansie. Po zakończeniu wszystkich szkoleń uczestnicy obu warunków zostaną skierowani do standardowej sali lekcyjnej w układzie STAR (sala 513; kubatura/plan ~2440 m3/69m2). W tym ustawieniu uczestnicy zostaną poproszeni o powtórzenie podstawowych zadań związanych z mową, rozmawiając ze słuchaczami siedzącymi na żywo, ustawionymi w odległości 4 metrów w celu przeprowadzenia testu retencji i nowej odległości – 9 metrów – a nagrania zostaną wykonane tak jak poprzednio. Uczestnicy będą wtedy usprawiedliwieni. Łączny czas trwania to około 90 minut. Wykazano, że krótkie sesje treningowe trwające około 30 minut powodują zmiany w produkcji głosu,94 co jest zgodne z rozległym doświadczeniem klinicznym PI. Spodziewamy się zatem znaleźć takie przesunięcia w niniejszej serii, która przygotowuje podstawy do bardziej rozbudowanych badań podłużnych odpowiednich dla planowanego R01 wyrastającego z niniejszej pracy.

4.0 Sprzęt: Cyfrowa stacja robocza audio (Reaper wersja 6.36, Rosendale, NY, USA) i mikrofon montowany na głowie (AKG C 520, Harman) będą używane do przechwytywania sygnałów głosowych dla wszystkich SA. Nagrania audio będą próbkowane z częstotliwością 44,1 kHz. Odległość między mikrofonem a ustami wynosi 5 cm, gdy mikrofon jest ustawiony pod kątem 450 stopni od ust uczestnika.72 Mikrofon zostanie podłączony do interfejsu audio (Babyface Pro FS 24-Channel USB 2.0, Heimhausen, Niemcy), a łączne opóźnienie wejścia/wyjścia będzie mniejsze niż 5 ms, co jest wartością poniżej zakresu zauważalnego echa (16 i 26 ms).73 Interfejs zostanie podłączony do komputera z uruchomioną stacją roboczą audio Reaper w celu renderowania dźwięku. Okulary wirtualnej rzeczywistości (Oculus Rift S) posłużą do tworzenia informacji wizualnych (pokoje i słuchacze awatarów 3D). Obrazy objętości pomieszczenia i słuchaczy zostaną dostarczone za pomocą oprogramowania Ovation (https://www.ovationvr.com/). Oprogramowanie pozwala na wybór wielu środowisk klasowych, które replikują rzeczywiste przykłady i przemawiają do setek wygenerowanych cyfrowo odbiorców 3D (prawdziwych ludzi), którzy reagują na mówcę uśmiechem, klaskaniem lub ruchem. Niedawne badanie wykazało skuteczność tego oprogramowania w tworzeniu rzeczywistych scenariuszy wizualnych.92 Mikrofon audio zostanie skalibrowany zgodnie z opublikowanymi procedurami.93 Okulary VR będą optymalnie ustawione dla każdego uczestnika indywidualnie. Wszystkie wypowiedzi zostaną zapisane jako pliki wav w zaszyfrowanym folderze.

5.0 Pomiary akustyki pomieszczeń i renderowanie dźwięku: Pomieszczenia o wielkości zbliżonej do wybranych w oprogramowaniu Ovation (klasa lekcyjna, sala wykładowa i aula szkolna) zostaną wybrane na terenie kampusu University of Illinois Urbana-Champaign (przez Co-I Bottalico). Pomieszczenia będą charakteryzowane akustycznie zgodnie z normą ISO 3382.

W miejscu, w którym zazwyczaj znajduje się głośnik w pomieszczeniu, odpowiedzi impulsowe ustno-obuuszne będą mierzone za pomocą HATS. Konkretnie, oralne obuuszne odpowiedzi impulsowe (OBRIR) zostaną uzyskane przy użyciu metody splotu zgodnie z opublikowanymi metodami.91 W szczególności wykładniczy sygnał przemiatania emitowany przez usta symulatora głowy i tułowia (HATS, GRAS 45BB KEMAR) zostanie zarejestrowany przez uszy HATS. Splot między zarejestrowanymi przemiataniami (przy uszach HATS) i odwrotnością wyemitowanego przemiatania (przez usta HATS) wygeneruje OBRIR. OBRIRy zostaną wykorzystane do akustycznego odtworzenia pomieszczeń z uwzględnieniem ścieżki uszu i ust mówcy.

Renderowanie dźwięku głosu podmiotu w akustyce wirtualnego pokoju w czasie rzeczywistym będzie realizowane za pomocą wtyczek konwolucyjnych w czasie rzeczywistym, takich jak Analglyph i RoomZ, opracowanych przez naszego konsultanta Katza z Sorbony.74 Silnik splotowy będzie wykorzystywał zmierzone odpowiedzi impulsowe pomieszczenia. Wirtualny rendering akustyczny zostanie odtworzony uczestnikowi przez otwarte słuchawki (HD 660S, Sennheiser, Wedemark, Niemcy), ograniczając podkolorowanie własnego głosu.

6.0 Miary: W przypadku SA1, miary percepcji samoopisowe zostaną wyprowadzone z trzech oddzielnych pytań dotyczących głośności głosu, wysiłku wokalnego i komfortu wokalnego, przy użyciu wizualnej skali analogowej (VAS; Tabela 2). Po każdym warunku badania okulary VR zostaną zdjęte, a uczestnicy wypełnią VAS przy użyciu REDCap zgodnego z HIPAA. Kwestionariusz percepcji REDCap zostanie wyświetlony na ekranie komputera. Uczestnicy będą kolejno odpowiadać na każde pytanie dotyczące percepcji, przesuwając suwak na skali od 0 (wcale) do 100 (skrajnie[ly]). Każda odpowiedź zostanie przechwycona numerycznie w bazie danych REDCap. Wypełnienie kwestionariusza zajmie około dwóch minut, co zapewni okres odpoczynku po poprzednim stanie badania i pomoże zminimalizować potencjalne zmęczenie głosu. W przypadku SA2 i SA3 instrumentalne pomiary głosu będą obejmować poziom ciśnienia akustycznego głosu – SPL i momenty spektralne (patrz 7.0).

7.0 Ekstrakcja i analiza danych: Ekstrakcja parametrów mowy zostanie przeprowadzona za pomocą Matlab R2021b (MathWorks, Natick, MA, Stany Zjednoczone) i Praat (wersja 6.2.14). Dla każdego z zapisów uzyskany zostanie przebieg czasowy SPL90 i częstotliwości podstawowej f0 z krokiem czasowym 0,05 s. Wartość f0 zostanie oszacowana za pomocą algorytmu detekcji okresowości akustycznej na podstawie dokładnej metody autokorelacji. Metoda ta jest dokładniejsza, bardziej odporna na szumy i solidniejsza niż inne metody oparte na cepstrum lub grzebieniach czy oryginalne metody autokorelacji. Dla dwóch historii czasowych zostaną obliczone momenty statystyczne (średnia widmowa, odchylenie standardowe, skośność i kurtoza). Zdolność momentów spektralnych do rozróżnienia różnych stopni wysiłku głosowego została opisana wcześniej.76 Środki te pozwolą na ilościową ocenę kluczowych składowych spektralnych, które mogą być związane z potencjalnymi zmianami w jakości głosu, w odniesieniu do wysiłku wokalnego i komfortu. Jednak w tej serii nie zostaną wykonane percepcyjne pomiary jakości głosu.

8.0 Analizy statystyczne: Dla wszystkich SA modele liniowego efektu mieszanego (LME) (Matlab R2021b) zostaną dopasowane przez ograniczone największe prawdopodobieństwo (REML). Zmienne zależne i niezależne tych modeli są wymienione w sekcji SA. Identyfikator uczestnika będzie używany jako losowy termin efektów. Tutaj losowy efekt „ID uczestnika” odnosi się do częściowego łączenia obserwacji przez „ID uczestnika”, przy czym nachylenie i punkt przecięcia każdego identyfikatora uczestnika są losowe. Modele zostaną wybrane na podstawie kryterium informacyjnego Akaike oraz wyników testów ilorazu wiarygodności. Porównania parami post-hoc Tukeya zostaną przeprowadzone w celu zbadania różnic między wszystkimi poziomami stałych czynników zainteresowania, gdy są one większe niż 2 poziomy (w tym przypadku zarówno w środowisku audio, jak i wizualnym). Są to testy z parami, w których statystyka z przedstawia różnicę między obserwowaną statystyką a jej hipotetycznym parametrem populacji w jednostkach odchylenia standardowego. Wartości p dla tych testów zostaną dostosowane przy użyciu domyślnej metody jednoetapowej. Dane wyjściowe LME będą zawierać oszacowania współczynników efektów stałych, błąd standardowy związany z oszacowaniem, stopnie swobody (df), statystykę testową (t) i wartość p. Metoda Satterthwaite'a zostanie wykorzystana do przybliżenia stopni swobody i obliczenia wartości p.