시력상실군인을 위한 가상현실 이동훈련 시스템

이것은 청각 방향 및 이동성(O&M) 교육 도구로 사용하기 위한 새로운 가상 현실(VR) "홀로그래픽" 사운드 시스템을 평가하기 위한 2년 간의 개념 증명 연구입니다. 이 새로운 시스템은 청각 훈련에 제한적으로만 사용되었던 다른 기술(즉, 바이노럴 녹음 및 기존 VR 사운드 시스템)의 한계를 피합니다. 이 새로운 홀로그램 시스템으로 대표되는 최첨단 기술의 네 가지 발전은 청각 O&M 교육에 대한 새로운 약속을 제공합니다. 첫째, 바이노럴 시스템과 달리 새로운 시스템은 사람이 소리를 현지화하기 위해 자연스러운 방식으로 머리를 움직일 수 있게 합니다. 둘째, 각 주변 소리가 발생한 방향을 유지하기 위해 구형 마이크 ​​배열을 사용하여 소리 환경을 녹음합니다. 이러한 녹음된 사운드 환경이 나중에 VR 환경에서 헤드 트래킹 헤드폰을 통해 제공될 때 실시간 소프트웨어는 사운드의 방향성을 유지하여 사람이 머리를 움직이거나 돌리는 방식에 관계없이 사실을 유지합니다. 셋째, 이 새로운 시스템은 각 사람의 머리와 귀의 실제 물리적 음향 구조를 모델링하여 녹음된 설정에서 특정 사람이 들을 수 있는 소리를 제공합니다. 넷째, 이 시스템은 소프트웨어 알고리즘을 사용하여 특정 사운드(예: 움직이는 차량)를 분리하여 가상 재생 중에 이러한 사운드를 가상 음장에 마음대로 삽입할 수 있으며 사용자 지정 가능한 방식으로 진정으로 독특하고 유연한 가상 사운드를 생성할 수 있습니다. 프레젠테이션.

두 가지 연구 가설이 있습니다. 첫째, 교통 교차로를 협상하기 위해 소리를 사용할 때 실제 환경에서 경험이 풍부한 여행자가 사용하는 기술은 실제 환경에서 수행되는 청각 작업이 VR 환경에서 쉽게 수행되는 정도까지 제안된 VR 환경으로 쉽게 이전될 것입니다. 둘째, VR 환경이 중요한 사운드 큐를 강조하고 산만하거나 혼란스러운 소음과 소리를 제거하도록 향상되면 VR 환경에서 숙련된 여행자의 성능이 실제 환경보다 훨씬 더 좋아질 것입니다.

목표는 다음과 같습니다. (1) 교차 협상에 사용되는 중요한 교차 소리 캡처에 가장 적합하도록 기존 구형 마이크 ​​어레이 및 디지털 녹음 소프트웨어 알고리즘을 조정합니다. (2) 다양한 복잡성의 특정 환경의 VR 구성을 위해 각 사운드를 분리하여 교차 사운드를 분해하는 소프트웨어 알고리즘을 개발합니다. (3) 교차로를 성공적으로 협상하는 데 필요한 사운드 세부 수준을 결정합니다. (4) 원하는 세부 수준을 얻기 위해 기존 시스템을 확장합니다. (5) 청각 작업을 단순화하기 위해 제공되는 다양한 사운드 요소의 상대적 강조를 제어하는 ​​기능을 제공하는 소프트웨어를 개발합니다. (6) 연구 참가자를 고용하여 VR 환경에서의 성능을 실외 성능과 비교합니다.

일단 검증되면, 이 시스템은 (1) 학생들에게 스스로 청각 기술을 연습하는 효과적인 수단을 제공함으로써 강사 시간을 활용하고, (2) 강사에게 점진적인 학습 시퀀스에서 개념을 소개하는 수단을 제공할 수 있어야 합니다. 실제 환경에서 발견되는 특정 소리 및 조건의 우연한 가용성에 따라, (3) 훈련 장소 근처에 위치하지 않지만 재향 군인의 고향 커뮤니티를 나타내는 환경에 대한 청각 훈련을 제공합니다.

연구는 이 홀로그램 VR 사운드 시스템을 처음으로 구상하고 개발한 메릴랜드 대학의 지각 인터페이스 및 현실 연구소(PIRL)의 조사자들과 협력하여 수행될 것입니다.

비교: 야외 O&M 교육 전용