가상 현실이 음성 인식 및 생성에 미치는 영향

이 프로젝트는 세 가지 특정 목표를 다룹니다. 특정 목표 1과 2는 특정 목표 3에서 다루는 임상 시험에 대한 많은 매개 변수를 설정합니다. 임상 시험을 포함한 전체 프로젝트에 대한 세부 사항은 다음과 같으며 보조금 제안서에서 복사하여 붙여넣습니다.

3.0 RESEARCH APPROACH 전반적인 목적은 VR을 조사 도구로 사용하여 청각, 시각 및 시청각 정보가 자신의 음성 인식 및 생성에 미치는 영향을 조사하고 음성에서 VR의 잠재적 유용성에 대한 예비 데이터를 제공하는 것입니다. 교육 환경. 특정 목표에 대한 자세한 내용은 관련 페이지에서 제공됩니다.

3.1 참가자: SA1 및 SA2의 경우 24세에서 50세 사이의 60명의 발성 건강한 학급 교사를 모집합니다(3.2 참조). 하단에서 이 연령대는 교사가 전문 교육 경력을 시작할 수 있는 가장 빠른 연령을 나타내고 상단에서 여성의 평균 폐경 시작 연령을 나타냅니다. 호르몬 및 기타 연령 관련 데이터에 영향을 미칩니다. 모든 참가자는 지각 측정(SA1) 및 생산 측정(SA2)에 대해 서로 다른 분석과 함께 동일한 동시 데이터 수집 절차를 사용하는 SA1 및 SA2에 참여합니다. 탐색적 SA3의 경우 동일한 특성을 지닌 건강한 교사 10명을 추가 모집한다. 모든 SA에 대한 포함 및 제외 기준은 다음과 같습니다. 포함: 자가 보고: (1) 최소 2년의 교육 경험이 있는 K-12 담임 교사(SA1 및 SA2) 또는 초등학교 담임 교사(SA3), 24세에서 50세 사이 ; (2) 2주 이상 지속되는 음성 장애의 병력이 없고 음성 장애 지수 -10(VHI-10)63 점수 < 10; (3) 평생 비흡연자; (4) 청력 또는 교정되지 않은 시각 장애 없음; 서면 문서: (5) 전체 COVID-19 백신 접종 증명서; 임상 평가에 의해: (6) 음성에 대한 합의-청각 지각 평가(CAPE-V) < 10.65의 전체 심각도 점수를 기반으로 음성 전문 라이선스 SLP에 의해 평가된 참여일의 정상 음성 제외: 자체 보고 :(7) 성대 병리 또는 음성에 영향을 미치는 기타 병리의 병력; (8) 기침, 코막힘 또는 98.6oF(37.0oC) 이상의 온도와 같이 음성 생성에 영향을 줄 수 있는 급성 상태. 음성 장애와 관련된 복잡성을 소개하기 전에 이 단계에서는 음성적으로 건강한 교사만 평가한다는 점에 유의하십시오. 이러한 복잡성은 현재 시리즈를 기반으로 하는 이후 번역 작업에서 다루어질 것입니다. 연구 프로그램은 궁극적으로 음성 문제가 있는 교사와 관련이 있을 뿐만 아니라 현재 건강한 교사의 작업 환경과도 관련이 있다는 점에 유의해야 합니다.

3.2 검정력 분석: 검정력 분석은 SA1 및 SA2에 걸친 모든 종속 변수의 테스트에 대해 d = 0.4, 양면의 중간 효과 크기를 가정했습니다. 결과는 N=51이면 유의 수준 α = 0.05 및 검정력 0.8인 모든 변수에 대한 결과를 탐지하는 데 충분할 것이라고 제안했습니다. 잠재적인 감소를 고려하여 60명의 참가자가 목표 1과 2를 위해 모집될 것입니다. 이 숫자는 우리의 공동 조사자 Bottalico와 우리 자신의 보다 최근 예비 데이터에서 현재 시리즈에서 조사된 것과 유사한 중요한 효과를 감지하기에 충분하다는 것을 보여주었습니다. (예: 발성 노력 및 편안함에 대한 지각 등급의 차이, SPL 및 평균 f0; (Bottalico, 2017; Bottalico et al., 2016; Daşdöğen et al., 미공개 데이터). 탐색적 SA3의 경우 후속 임상 시리즈에 대한 예비 데이터를 얻기 위해 총 10명의 참가자를 모집합니다.

3.3 절차 3.3.1 SA1 및 SA2: 60명의 K-12 교실 교사는 커뮤니티 및 소셜 미디어에 게시된 전단지를 통해 그리고 델라웨어, 뉴저지, 펜실베니아 및 메릴랜드 공립학교와 직접 접촉하여 모집합니다. University of Delaware의 연구 장소와 가까운 곳에 있어야 합니다. 참여에 관심이 있는 PI에 연락하는 개인은 전화 또는 보안 원격 연결을 통해 연구 개요를 받게 되며, 동의하는 경우 정보에 입각한 동의를 제공합니다. 동의 후 참가자는 HIPAA 준수 서버를 사용하여 음성의 임상 청각-지각 평가(CAPE-V)를 제외한 모든 포함 및 제외 기준을 처리하기 위해 온라인 선별 REDCap 설문지로 안내됩니다. 자격을 갖춘 참가자는 University of Delaware STAR 캠퍼스 음성 연구실에서 연구실 약속을 잡게 됩니다. 예약 시작 시 임상의는 참가자의 음성을 평가하여 CAPE-V를 사용하여 정상적인 음성 품질을 확인합니다. 이 최종 심사 단계(전체 CAPE-V 심각도 점수 < 10)를 통과한 참가자는 실험 절차를 진행합니다. 다른 사람들은 용서될 것입니다.

실험 절차를 위해 먼저 참가자는 연구 중에 사용될 말하기 작업에 대해 교육을 받습니다. 15초 동안 교실에 자신을 소개하고, 자신의 교육 전문 지식과 관련된 2분 자습서를 제공하고, 모음 /a/를 계속 유지합니다. 3초가 세 번 반복되고 CAPE-V 문구 "We were away a year ago"가 세 번 반복됩니다. 그런 다음 참가자는 음성 자극에 대한 자체 인식 음성 음량, 음성 노력 및 음성 편안함을 세트로 반영하는 자체 보고서 설문지에 대한 지침을 받게 됩니다(6.0 참조). 이러한 지침을 전달한 후 헤드셋 마이크, 헤드폰 및 VR 안경(4.0 참조)을 포함한 기기가 배치됩니다. 그런 다음 참가자는 작은 강의실에서 큰 강의실까지 다양한 실제 공간의 청각 및 시각적 속성을 가상으로 모방하는 배경 소음이 있거나 없는 15개의 임의로 정렬된 조건에서 실험적인 말하기 작업을 수행합니다. 청취자 거리.

실내 음향은 VR 환경(ISO 3382, 5.0 참조)에서 음향적으로 다양한 조건을 특성화하고 제어하기 위해 규정됩니다. OBRIR 측정은 일리노이 대학교 어바나-섐페인 캠퍼스의 강의실, 강당 및 학교 강당 환경에서 이루어지며 치수는 VR 강의실과 유사합니다(5.0 참조). Ovation 소프트웨어(Ovation VRSpeaking, LLC, NJ, US)는 사실적인 VR 룸과 3D 청취자를 제공하는 데 사용됩니다(4.0 참조). 실험 작업에는 (i) 외부 오디오 또는 시각적 피드백 또는 배경 소음이 없는 경우(실험 기준선), (ii) 각 청각 조건에서만, (iii) 각 시각적 조건에서 훈련 조건에 대한 일련의 프롬프트된 음성 발언이 포함됩니다. 단독으로, 그리고 (iv) 청각 및 시각 조건의 각 조합에서. 모든 조건 ii-iv는 간략하게 설명된 배경 소음이 있거나 없는 상태에서 생성됩니다. 오디오 전용 조건의 경우 참가자는 시각 정보를 차단하기 위해 아이 마스크를 착용합니다. 이러한 조건에서 의사 소통 의도를 돕기 위해 참가자는 각 음성 문자열을 시작하기 전에 일치하는 실내 음향 응답과 관련된 박수 소리를 듣게 됩니다. 이는 청중의 존재에 대한 오디오 공간적 단서, 대략적인 환경이 얼마나 혼잡한지, 멀리 떨어진 청취자는 환경에 있습니다. 참가자의 환경 참여를 향상시키기 위해 말하기 전에 심사관은 청중 규모와 화자와 청취자 거리를 추정하도록 요청할 것입니다. 모든 시각적 조건에서 참가자는 실제적인 방식(예: 앉아 있는 동안 움직이기, 머리 긁기 등)으로 화자에게 반응할 각각의 시각적 방과 앉아 있는 청취자를 보게 됩니다. 참가자 참여를 더욱 촉진하기 위해 심사관은 각 참가자에게 환경에 얼마나 많은 사람들이 있고 얼마나 멀리 떨어져 있는지 물어볼 것입니다. 모든 조건에서 참가자는 "모든 사람이 당신을 이해할 수 있도록 말하십시오"라는 메시지를 받게 됩니다. 언급한 바와 같이 모든 조건은 참가자의 연설 중에 전달되는 배경 소음이 있거나 없는 상태에서 수행됩니다. 소음 수준은 일반적인 교실 환경을 대표하는 수준(평균 54dB)에 해당합니다.66 참가자는 각 조건에서 음성 발화를 생성한 후 VR 고글 또는 아이 마스크를 제거하고 이전 발화에 대한 자체 보고된 음량, 음성 노력 및 음성 편안함에 대한 설문지를 작성해야 합니다. 설문지는 VAS 척도에서 디지털 응답을 허용하는 컴퓨터 화면에 표시됩니다(6.0 참조). 그 후 참가자는 다음 VR 조건으로 진행하는 식으로 모든 조건에 대한 데이터 수집이 완료될 때까지 세션을 종료합니다. 총 세션 시간은 약 120분으로 예상됩니다.

3.3.2 SA3: 참가자는 10명의 교실 교사입니다. 음성의 임상적 청각 평가를 제외하고 포함 및 제외 기준을 만족한 후 자격을 갖춘 참가자는 SA1 및 SA2에 대한 음성 평가를 위해 STAR 음성 실험실에 제출합니다. 음성 검사를 통과한 참가자는 관련 기기를 착용하게 됩니다(3.3.1; 4.0) SA1 및 SA2와 동일한 발화 문자열을 생성하며 실제 마네킹에 의해 지정된 화자-대상 거리 4m입니다. 그런 다음 참가자는 전통적인 임상실 또는 VR 환경의 두 가지 교육 조건 중 하나에 무작위로 할당됩니다. 각자의 조건에서 참가자는 건강한 화자에게도 가치가 있는 "공명 음성"68-71 치료 음성 패턴으로 훈련을 받게 됩니다. 교육은 음성 장애에 대한 최소 2년의 경험이 있고 LMRVT(Lessac-Madsen Resonant Voice Therapy)에서 표준화된 교육을 이수한 언어 병리학자가 제공합니다.26 두 환경에서 훈련하는 동안 배경 소음은 SA1 및 SA2와 같이 기존 환경의 자유 필드와 VR 환경의 헤드폰을 통해 제공됩니다. 두 교육 조건 모두에서 LMRVT의 세션 2(해당 프로그램에서 실제 음성 교육이 시작되는 첫 번째 세션)의 자료가 사용됩니다. 전통적인 진료실 조건의 경우 세션 2 자료를 사용하여 30분 동안 LMRVT 교육을 받은 후 참가자는 세션 2부터 순서대로 동일한 운동을 반복하도록 안내되며 2m 거리에 있는 사람에게 말하는 것처럼 음성을 생성하도록 지시합니다. 실제 마네킹으로 표시되는 스피커에서 5분 동안 그런 다음 참가자는 4m에 위치한 마네킹에게 5분 동안, 마지막으로 6m에 위치한 마네킹에게 5분 동안 말을 하는 것처럼 동일한 운동을 다시 반복합니다. 이러한 각 거리에서 교육을 받은 후 참가자는 오디오 데이터 수집을 위해 녹음될 기본 발화를 반복합니다. VR 환경 조건의 경우 참가자는 SA1 및 SA2에 대해 생성되었지만 결과에 의존하지 않는 실제 교실 조건을 대표하는 VR 교실(방 1; 표 1)에서만 기존 방과 동일한 LMRVT 교육을 받습니다. 그 목표를 위해. 참가자는 30분 동안 LMRVT 세션 2 연습에서 교육을 받은 후 세션 2에서 동일한 연습을 반복하고 2미터, 4미터 및 6미터에 위치한 VR 환경에서 청취자에게 말하는 관련 발화를 생성하라는 지침을 받습니다. 각 거리에서 5분 동안 스피커. 기존 환경의 경우 오디오 녹음은 각 거리에서 훈련 후 기본 발화를 사용하여 이루어집니다. 모든 교육이 완료된 후 두 조건의 참가자는 STAR 설정(513호실, ~2440m3/69m2의 용적/평면도)의 표준 강의실로 안내됩니다. 해당 설정에서 참가자는 유지 테스트를 위해 4미터에 위치한 실제 청취자에게 말하기 기본 말하기 작업을 반복하고 이전과 같이 녹음이 이루어집니다. 그러면 참가자는 면제됩니다. 총 소요시간은 약 90분입니다. 약 30분 정도의 짧은 훈련 세션은 PI의 광범위한 임상 경험과 일치하는94 음성 생성의 변화를 일으키는 것으로 나타났습니다. 따라서 우리는 현재 작업에서 성장하는 계획된 R01에 적합한 보다 확장된 종단 연구를 위한 기반을 준비하는 현재 시리즈에서 그러한 변화를 찾을 것으로 기대합니다.

4.0 장비: 디지털 오디오 워크스테이션(Reaper 버전 6.36, Rosendale, NY, US) 및 헤드 마운트 마이크(AKG C 520, Harman)는 모든 SA의 음성 신호를 캡처하는 데 사용됩니다. 오디오 녹음은 44.1kHz로 샘플링됩니다. 마이크와 입의 거리는 마이크가 참가자의 입에서 450 각도로 배치된 상태에서 5cm입니다.72 마이크는 오디오 인터페이스(Babyface Pro FS 24-Channel USB 2.0, Heimhausen, Germany)에 연결되며 결합된 입력/출력 대기 시간은 5ms 미만이며, 이는 눈에 띄는 에코 범위(16 및 26ms).73 인터페이스는 오디오 렌더링을 생성하기 위해 Reaper 오디오 워크스테이션을 실행하는 컴퓨터에 연결됩니다. 가상 현실 안경(Oculus Rift S)은 시각 정보(방 및 3D 아바타 청취자)를 생성하는 데 사용됩니다. 룸 볼륨 이미지와 리스너는 Ovation 소프트웨어(https://www.ovationvr.com/)를 사용하여 제공됩니다. 이 소프트웨어를 사용하면 실제 사례를 복제하고 미소, 박수 또는 움직임으로 연사에 응답하는 수백 명의 디지털 생성 3D 청중(실제 사람)과 대화하는 여러 교실 환경을 선택할 수 있습니다. 최근 연구에서는 실제 시각적 시나리오를 생성하는 이 소프트웨어의 효과에 대해 보고했습니다.92 오디오 마이크는 게시된 절차에 따라 보정됩니다.93 VR 안경은 각 참가자에게 개별적으로 최적의 위치에 배치됩니다. 모든 발언은 암호화된 폴더에 wav 파일로 저장됩니다.

5.0 실내 음향 측정 및 오디오 렌더링: Ovation 소프트웨어에서 선택한 것과 비슷한 크기의 방(교실, 강당 및 학교 강당)은 University of Illinois Urbana-Champaign 캠퍼스(Co-I에 의해) 내에서 선택됩니다. Bottalico). 객실은 ISO 3382에 따라 음향 특성이 결정됩니다.

스피커가 일반적으로 방에 있는 위치에서 구강-양이 임펄스 응답이 HATS로 측정됩니다. 구체적으로, OBRIR(Oral-Binaural Impulse Response)은 발표된 방법에 따라 컨볼루션 방법을 사용하여 얻을 것입니다.91 특히 Head and Torso Simulator(HATS, GRAS 45BB KEMAR)의 입을 통해 방출되는 지수 스위프 신호는 HATS의 귀에 기록됩니다. 기록된 스위프(HATS의 귀에서)와 방출된 스위프의 역(HATS의 입에서) 간의 회선은 OBRIR을 생성합니다. OBRIR은 스피커의 귀-입 경로를 고려하여 방을 음향적으로 재현하는 데 사용됩니다.

가상 공간 음향에서 대상자의 음성에 대한 실시간 오디오 렌더링은 Sorbonne University의 컨설턴트 Katz가 개발한 Analglyph 및 RoomZ와 같은 실시간 컨볼루션 플러그인을 사용하여 수행됩니다.74 컨볼루션 엔진은 측정된 실내 임펄스 응답을 사용합니다. 가상 음향 렌더링은 개방형 헤드폰(HD 660S, Sennheiser, Wedemark, Germany)을 통해 참가자에게 재생되어 자신의 목소리를 들을 때 착색을 제한합니다.

6.0 측정: SA1의 경우 시각적 아날로그 척도(VAS; 표 2)를 사용하여 음성 크기, 음성 노력 및 음성 편안함에 대한 세 가지 별도의 질문에서 자체 보고 인식 측정을 도출합니다. 각 연구 조건 후 VR 안경을 벗고 참가자는 HIPAA 준수 REDCap을 사용하여 VAS를 완료합니다. REDCap 인식 설문지가 컴퓨터 화면에 표시됩니다. 참가자는 0(전혀 아님)에서 100(매우[매우])까지 슬라이더를 이동하여 각 인식 질문에 순차적으로 응답합니다. 각 응답은 REDCap 데이터베이스에 숫자로 캡처됩니다. 설문지 작성에는 약 2분이 소요되며, 이는 선행 연구 조건 후 휴식 시간을 제공하고 잠재적인 음성 피로를 최소화하는 데 도움이 됩니다. SA2 및 SA3의 경우 계측된 음성 측정에는 음성 음압 수준-SPL 및 Spectral Moments(7.0 참조)가 포함됩니다.

7.0 데이터 추출 및 분석: 음성 매개변수 추출은 Matlab R2021b(MathWorks, Natick, MA, United States) 및 Praat(버전 6.2.14)로 수행됩니다. 각 기록에 대해 SPL90의 시간 기록과 기본 주파수 f0은 0.05초의 시간 간격으로 얻어집니다. f0는 정확한 자기 상관 방법을 기반으로 하는 음향 주기성 감지 알고리즘으로 추정됩니다. 이 방법은 켑스트럼이나 콤 또는 원래의 자기상관 방법에 기반한 다른 방법보다 더 정확하고 잡음에 강하며 견고합니다. 두 시간 이력에 대해 통계적 모멘트가 계산됩니다(스펙트럼 평균, 표준 편차, 왜도 및 첨도). 다른 수준의 발성 노력을 구별하는 스펙트럼 순간의 능력은 이전에 보고되었습니다.76 이러한 측정은 보컬 노력 및 편안함과 관련하여 보컬 품질의 잠재적인 변화와 관련될 수 있는 주요 스펙트럼 기여도를 정량적으로 평가합니다. 그러나 음성 품질에 대한 지각적 측정은 이 시리즈에서 이루어지지 않습니다.

8.0 통계 분석: 모든 SA에 대해 LME(Linear Mixed-Effects) 모델(Matlab R2021b)은 REML(Restricted Maximum Likelihood)로 적합합니다. 이러한 모델의 종속 및 독립 변수는 SA ​​섹션에 나열됩니다. 참가자 ID는 무작위 효과 용어로 사용됩니다. 여기서 "참가자 ID"의 무작위 효과는 각 참가자 ID의 기울기와 절편이 무작위인 "참가자 ID"에 의한 관찰의 부분 풀링을 의미합니다. 모델은 Akaike 정보 기준과 우도비 테스트 결과에 따라 선택됩니다. Tukey의 사후 쌍대 비교는 관심 고정 요소의 모든 수준이 2 수준 이상일 때(이 경우 오디오 및 시각적 환경 모두) 차이점을 조사하기 위해 수행됩니다. 이들은 쌍별 z 검정이며, 여기서 z 통계는 관찰된 통계와 가정된 모집단 매개변수 간의 차이를 표준 편차 단위로 나타냅니다. 이러한 테스트의 p-값은 기본 단일 단계 방법을 사용하여 조정됩니다. LME 출력에는 고정 효과 계수의 추정치, 추정치와 관련된 표준 오차, 자유도(df), 검정 통계량(t) 및 p-값이 포함됩니다. Satterthwaite 방법은 자유도를 근사화하고 p-값을 계산하는 데 사용됩니다.