Влияние виртуальной реальности на восприятие и воспроизведение голоса

Этот проект направлен на достижение трех конкретных целей. Конкретные цели 1 и 2 устанавливают многие параметры для клинического испытания, которое рассматривается в Конкретной цели 3. Детали проекта в целом, включая клиническое испытание, скопированы и вставлены из заявки на грант.

3.0 ИССЛЕДОВАТЕЛЬСКИЙ ПОДХОД Общая цель состоит в том, чтобы исследовать влияние слуховой, визуальной и аудиовизуальной информации на восприятие и воспроизведение собственного голоса, используя виртуальную реальность в качестве инструмента исследования, и предоставить предварительные данные о потенциальной полезности виртуальной реальности для голоса. тренировочная среда. Подробная информация о конкретных целях представлена ​​на соответствующей странице.

3.1 Участники: Для SA1 и SA2 будут набраны 60 педагогов в возрасте от 24 до 50 лет со здоровыми голосами (см. 3.2). Нижний предел этого возрастного диапазона представляет собой самый ранний возраст, в котором учителя могут начать свою профессиональную педагогическую карьеру, а верхний предел представляет собой средний возраст наступления менопаузы у женщин, и мы хотим ограничить гормональные и другие возрастные изменения. влияет на данные. Все участники будут участвовать в SA1 и SA2, в которых используются одни и те же одновременные процедуры сбора данных с различным анализом мер восприятия (SA1) и производственных показателей (SA2). Для SA3, который является исследовательским, будут набраны 10 дополнительных здоровых учителей с такими же характеристиками. Для всех SA критериями включения и исключения являются: Включение: По самоотчету: (1) классный руководитель K-12 со стажем преподавания не менее двух лет (SA1 и SA2) или классный руководитель начальной школы (SA3), в возрасте от 24 до 50 лет. ; (2) отсутствие в анамнезе нарушения голоса продолжительностью более двух недель и индекс нарушения голоса -10 (VHI-10) 63 балла <10; (3) некурящий на протяжении всей жизни; (4) Отсутствие слуха или нескорректированное нарушение зрения; Письменными документами: (5) Доказательство полной вакцинации против COVID-19; По клинической оценке: (6) Нормальный голос в дни участия, по оценке лицензированного SLP, специализирующегося на голосовых связях, на основании общей оценки тяжести по шкале Consensus-Auditory Perceptual Evaluation of Voice (CAPE-V) < 10,65 Исключение: по самоотчету :(7) Патология голосовых связок или другая патология, влияющая на голос, в анамнезе; (8) любое острое состояние, которое может повлиять на голосообразование, такое как кашель, заложенность носа или температура выше 98,6°F (37,0°C). Обратите внимание, что на этом этапе оцениваются только вокально здоровые учителя, прежде чем вводить сложности, связанные с нарушениями голоса. Эти сложности будут рассмотрены в последующей переводческой работе, основанной на настоящей серии. Следует отметить, что исследовательская программа в конечном итоге актуальна для учителей с проблемами голоса, а также для рабочей среды здоровых в настоящее время учителей.

3.2 Анализ мощности. При анализе мощности предполагался средний размер эффекта d = 0,4, двусторонний, для тестов всех зависимых переменных в SA1 и SA2. Результаты показали, что N = 51 будет достаточно для обнаружения результатов для всех переменных с уровнем значимости α = 0,05 и мощностью 0,8. С учетом возможного отсева для целей 1 и 2 будет набрано 60 участников. Наш со-исследователь Ботталико показал, что этого числа и наших собственных более свежих предварительных данных достаточно для обнаружения значительных эффектов, аналогичных тем, которые исследовались в настоящей серии. (например, различия в перцептивных оценках вокального усилия и комфортности, а также SPL и среднего f0; (Bottalico, 2017; Bottalico et al., 2016; Daşdöğen et al., неопубликованные данные). Для SA3, который является исследовательским, будет набрано в общей сложности 10 участников для получения предварительных данных для более поздней клинической серии.

3.3 Процедуры 3.3.1 SA1 и SA2: Шестьдесят классных учителей K-12 будут набраны с помощью листовок, размещенных в сообществе и в социальных сетях, а также посредством прямого контакта с государственными школами Делавэра, Нью-Джерси, Пенсильвании и Мэриленда, все из которых могут находиться в непосредственной близости от места проведения исследования в Университете Делавэра. Лица, которые свяжутся с PI и заинтересованы в участии, получат обзор исследования по телефону или безопасному удаленному соединению и, если они согласятся, предоставят информированное согласие. После согласия участники будут направлены на онлайн-опросник REDCap с использованием сервера, совместимого с HIPAA, для выполнения всех критериев включения и исключения, за исключением клинической слухо-перцептивной оценки голоса (CAPE-V). Квалифицированные участники будут назначены на прием в лаборатории голоса кампуса STAR Делавэрского университета. В начале приема врач оценит голос участника, чтобы подтвердить нормальное качество голоса с помощью CAPE-V. Участники, прошедшие этот последний этап отбора (общая оценка тяжести CAPE-V <10), перейдут к экспериментальным процедурам. Другие будут освобождены.

Для экспериментальных процедур, во-первых, участники будут обучены речевым задачам, которые будут использоваться во время исследования: представление себя в классе в течение 15 секунд, предоставление двухминутного урока, связанного с их педагогическим опытом, поддержание гласного /a/ для 3 секунды повторяются три раза, и фраза CAPE-V «Мы отсутствовали год назад» повторяется три раза. Затем участники получат инструкции по анкете для самоотчета, отражающей воспринимаемую ими громкость голоса, усилие голоса и комфортность голоса для речевых стимулов в виде набора (см. 6.0). После доставки этих инструкций будет размещено оборудование, включая микрофоны гарнитуры, наушники и очки виртуальной реальности (см. 4.0). Затем участники будут выполнять экспериментальные устные задания в каждом из 15 произвольно упорядоченных условий с фоновым шумом и без него, которые практически имитируют слуховые и визуальные характеристики реальных помещений, варьирующихся от маленького до большого лекционного зала, с акустикой от сухой до сильно реверберирующей и с разной акустикой. расстояния до слушателя.

Акустика помещения будет предписана для характеристики и контроля акустических переменных условий в виртуальной среде (ISO 3382, см. 5.0). Измерения OBRIR будут проводиться в классе, лекционном зале и школьной аудитории в кампусе Университета Иллинойса в Урбане-Шампейне, где размеры аналогичны размерам классных комнат виртуальной реальности (см. 5.0). Программное обеспечение Ovation (Ovation VRSpeaking, LLC, Нью-Джерси, США) будет использоваться для создания реалистичных комнат виртуальной реальности и 3D-слушателей (см. 4.0). Экспериментальные задачи будут включать в себя последовательность речевых высказываний с подсказками, как в условиях обучения, (i) без внешней звуковой или визуальной обратной связи или фонового шума (экспериментальный базовый уровень), (ii) только в каждом слуховом состоянии, (iii) в каждом визуальном состоянии. по отдельности и (iv) в каждой комбинации слуховых и зрительных условий. Все условия ii-iv будут производиться с фоновым шумом и без него, описанным ниже. В условиях только аудио участники будут носить маску для глаз, чтобы блокировать визуальную информацию. В этих условиях, чтобы помочь с коммуникативным намерением, участники услышат аплодисменты, которые переплетаются с соответствующими акустическими реакциями помещения, прежде чем они начнут каждую речевую строку, что даст аудио-пространственную подсказку о присутствии аудитории, примерно о том, насколько переполнена окружающая среда и насколько далеко слушатели находятся в окружающей среде. Чтобы улучшить взаимодействие участников с окружающей средой, прежде чем они начнут говорить, экзаменатор попросит их оценить размер аудитории и расстояние от говорящего до слушателя. Для всех визуальных условий участники увидят соответствующие визуальные комнаты и сидящих слушателей, которые будут реалистично реагировать на говорящего (например, двигаться сидя, чесать голову и т. д.). Чтобы еще больше повысить вовлеченность участников, экзаменатор спросит каждого участника примерно, сколько людей находится в окружающей среде и как далеко они находятся. Во всех условиях участникам будет предложено «говорить так, чтобы все могли вас понять». Как уже отмечалось, все условия будут выполняться с фоновым шумом во время выступления участников и без него. Уровень шума будет соответствовать типичному уровню шума в классе (в среднем 54 дБ)66. После того, как участники произвели речевые высказывания в каждом состоянии, они снимут очки виртуальной реальности или маску для глаз, и им будет предложено заполнить анкету о громкости, вокальном усилии и вокальном комфорте для предыдущих высказываний. Анкета будет отображаться на экране компьютера, что позволяет вводить цифровые ответы по шкале ВАШ (см. 6.0). Затем участники переходят к следующему состоянию VR и так далее, пока не будет завершен сбор данных для всех условий, тем самым завершая сеанс. Ожидается, что общая продолжительность сеанса составит около 120 минут.

3.3.2 SA3: Участниками станут 10 классных руководителей. После удовлетворения критериев включения и исключения, за исключением клинической слуховой оценки голоса, прошедшие квалификацию участники представят голосовую лабораторию STAR для оценки голоса, как для SA1 и SA2. Участникам, прошедшим проверку голоса, затем будет предоставлено соответствующее оборудование (3.3.1; 4.0) и будет воспроизводить те же строки высказываний, что и для SA1 и SA2, с расстоянием от говорящего до цели 4 м, заданным физическим манекеном. Затем участники будут случайным образом распределены по одному из двух условий обучения: традиционная клиническая комната или среда виртуальной реальности. В соответствующих условиях участники пройдут обучение терапевтическому речевому паттерну, который также полезен для здоровых ораторов, «резонансному голосу». Обучение будет проводиться логопедом, имеющим не менее двух лет опыта работы с голосовыми расстройствами и прошедшим стандартное обучение по резонансной голосовой терапии Лессака-Мадсена (LMRVT)26. Во время тренировки в обеих средах фоновый шум будет представлен как для SA1 и SA2, в свободном поле для традиционной среды и через наушники в среде VR. В обоих условиях обучения будут использоваться материалы второй сессии LMRVT — первой сессии, в которой начинается реальная тренировка голоса в этой программе. В традиционных условиях клинической палаты после 30 минут обучения LMRVT с использованием материалов второй сессии участникам будет предложено повторить те же упражнения по порядку из второй сессии с инструкциями воспроизводить голос, как если бы они разговаривали с человеком, находящимся на расстоянии 2 метров. от говорящего, представленного физическим манекеном, в течение 5 минут. Затем участники снова повторяют те же упражнения, как если бы разговаривали с манекеном, расположенным на высоте 4 метра, в течение 5 минут и, наконец, на высоте 6 метров в течение 5 минут. После обучения на каждой из этих дистанций участники будут повторять базовые высказывания, которые будут записаны для сбора аудиоданных. В условиях виртуальной среды участники пройдут такое же обучение LMRVT, что и в традиционной комнате, только в классе виртуальной реальности (комната 1; таблица 1), как репрезентативном для реальных условий в классе, созданных для SA1 и SA2, но не зависящих от результатов. для этих Целей. Участники пройдут обучение упражнениям LMRVT Session 2 в течение 30 минут, после чего будут повторены те же упражнения из второго сеанса с инструкциями по созданию соответствующих высказываний, говорящих со слушателями в среде виртуальной реальности, расположенной на расстоянии 2 метра, 4 метра и 6 метров. динамик по 5 минут на каждом расстоянии. Что касается традиционной среды, аудиозаписи будут производиться с использованием исходных высказываний после тренировки на каждой дистанции. После того, как все обучение будет завершено, участники в обоих условиях будут направлены в стандартный класс в обстановке STAR (комната 513; объем / план этажа ~ 2440 м3 / 69 м2). В этих условиях участников попросят повторить базовые речевые задания, говоря перед живыми сидящими слушателями, расположенными на расстоянии 4 метров, для теста на запоминание и на новом расстоянии — 9 метров — и записи будут производиться, как и раньше. После этого участники освобождаются. Общая продолжительность около 90 минут. Было показано, что короткие обучающие занятия продолжительностью около 30 минут вызывают изменения в воспроизведении голоса94, что согласуется с обширным клиническим опытом ИП. Таким образом, мы ожидаем найти такие сдвиги в настоящей серии, что подготовит основу для более расширенных лонгитюдных исследований, подходящих для запланированного R01, выросшего из настоящей работы.

4.0 Оборудование: цифровая звуковая рабочая станция (Reaper Version 6.36, Розендейл, штат Нью-Йорк, США) и головной микрофон (AKG C 520, Harman) будут использоваться для захвата голосовых сигналов для всех SA. Аудиозаписи будут дискретизированы с частотой 44,1 кГц. Расстояние от микрофона до рта будет составлять 5 см, микрофон будет расположен под углом 45° ко рту участника72. Микрофон будет подключен к аудиоинтерфейсу (Babyface Pro FS 24-Channel USB 2.0, Хаймхаузен, Германия), а комбинированная задержка ввода/вывода будет менее 5 мс, что ниже диапазона заметного эха (16 и 26 мс)73. Интерфейс будет подключен к компьютеру, на котором установлена ​​звуковая рабочая станция Reaper, для создания звукового рендеринга. Очки виртуальной реальности (Oculus Rift S) будут использоваться для получения визуальной информации (комнаты и слушатели 3D-аватара). Изображения объема помещения и слушатели будут предоставлены с помощью программного обеспечения Ovation (https://www.ovationvr.com/). Программное обеспечение позволяет выбирать несколько классных сред, которые воспроизводят примеры из реального мира и разговаривают с сотнями созданных в цифровом виде 3D-аудиторий (реальных людей), которые реагируют на выступающего, улыбаясь, хлопая в ладоши или двигаясь. В недавнем исследовании сообщалось об эффективности этого программного обеспечения для создания реальных визуальных сценариев92. Аудиомикрофон будет откалиброван в соответствии с опубликованными процедурами93. Очки виртуальной реальности будут оптимально расположены для каждого участника индивидуально. Все высказывания будут сохранены в виде файлов wav в зашифрованной папке.

5.0 Измерения акустики помещения и воспроизведение звука: Помещения, аналогичные по размеру тем, которые были выбраны в программном обеспечении Ovation (классная комната, лекционный зал и школьная аудитория), будут выбраны в кампусе Университета Иллинойса в Урбане-Шампейн (Co-I). Ботталико). Акустические характеристики помещений будут соответствовать стандарту ISO 3382.

В том месте, где в комнате обычно находится динамик, орально-бинауральные импульсные отклики будут измеряться с помощью HATS. В частности, орально-бинауральные импульсные ответы (OBRIR) будут получены с использованием метода свертки в соответствии с опубликованными методами.91 В частности, экспоненциальный сигнал развертки, излучаемый через рот симулятора головы и туловища (HATS, GRAS 45BB KEMAR), будет записан ушами HATS. Свертка между записанными развертками (в ушах HATS) и обратным излучаемым разверткой (в рот HATS) будет генерировать OBRIR. OBRIR будут использоваться для акустического воссоздания помещений с учетом пути ушей и рта говорящего.

Звуковой рендеринг голоса субъекта в акустике виртуальной комнаты в реальном времени будет осуществляться с помощью подключаемых модулей свертки в реальном времени, таких как Analglyph и RoomZ, разработанных нашим консультантом Кацем из Сорбоннского университета.74 Механизм свертки будет использовать измеренные импульсные характеристики помещения. Виртуальный акустический рендеринг будет воспроизводиться участнику через открытые наушники (HD 660S, Sennheiser, Wedemark, Германия), что ограничивает окрашивание от прослушивания собственного голоса.

6.0 Показатели: Для SA1 показатели восприятия самооценки будут получены из трех отдельных вопросов о громкости голоса, вокальном усилии и вокальном комфорте с использованием визуальной аналоговой шкалы (ВАШ; таблица 2). После каждого условия исследования очки виртуальной реальности будут сниматься, и участники будут проходить VAS с использованием REDCap, совместимого с HIPAA. Опросник восприятия REDCap будет отображаться на экране компьютера. Участники будут последовательно отвечать на каждый вопрос о восприятии, перемещая ползунок по шкале от 0 (вовсе нет) до 100 (крайне[ly]). Каждый ответ будет численно зафиксирован в базе данных REDCap. Заполнение анкеты займет примерно две минуты, что обеспечит период отдыха после предыдущего условия исследования и поможет свести к минимуму возможную голосовую усталость. Для SA2 и SA3 инструментальные измерения голоса будут включать уровень звукового давления голоса — SPL и спектральные моменты (см. 7.0).

7.0 Извлечение и анализ данных. Извлечение параметров речи будет выполняться с помощью Matlab R2021b (MathWorks, Natick, MA, США) и Praat (версия 6.2.14). Для каждой записи будет получена временная история SPL90 и основной частоты f0 с временным шагом 0,05 с. f0 будет оцениваться с помощью алгоритма обнаружения акустической периодичности на основе точного метода автокорреляции. Этот метод является более точным, помехоустойчивым и надежным, чем другие методы, основанные на кепстре или гребенках, или оригинальные методы автокорреляции. Для двух временных историй будут рассчитаны статистические моменты (спектральное среднее, стандартное отклонение, асимметрия и эксцесс). О способности спектральных моментов различать разные степени вокальных усилий сообщалось ранее.76 Эти меры позволят количественно оценить ключевые спектральные вклады, которые могут быть связаны с потенциальными изменениями качества голоса в отношении вокального усилия и комфорта. Однако перцептивные измерения качества голоса не будут проводиться в этой серии.

8.0 Статистический анализ. Для всех СА линейные модели со смешанными эффектами (LME) (Matlab R2021b) будут соответствовать ограниченному максимальному правдоподобию (REML). Зависимые и независимые переменные этих моделей перечислены в разделе SA. Идентификатор участника будет использоваться в качестве условия случайного эффекта. Здесь случайный эффект «идентификатора участника» относится к частичному объединению наблюдений по «идентификатору участника», при этом наклон и пересечение каждого идентификатора участника являются случайными. Модели будут выбраны на основе информационного критерия Акаике и результатов тестов отношения правдоподобия. Апостериорные попарные сравнения Тьюки будут выполняться для изучения различий между всеми уровнями фиксированных интересующих факторов, когда они превышают 2 уровня (в данном случае как звуковая, так и визуальная среда). Это парные тесты z, где статистика z представляет собой разницу между наблюдаемой статистикой и ее гипотетическим параметром совокупности в единицах стандартного отклонения. P-значения для этих тестов будут скорректированы с использованием одношагового метода по умолчанию. Выходные данные LME будут включать оценки коэффициентов фиксированных эффектов, стандартную ошибку, связанную с оценкой, степени свободы (df), тестовую статистику (t) и p-значение. Метод Саттертуэйта будет использоваться для аппроксимации степеней свободы и расчета p-значений.