Duchenne 근이영양증 환자의 가상 현실

상파울루 대학교(브라질)의 폴리테크닉 학교 전자 시스템 공학과에서는 웹캠으로 캡처한 실제 이미지 위에 가상 객체를 중첩시키는 소프트웨어를 개발했습니다.

일치 타이밍 작업은 가상 또는 실제 인터페이스를 가질 수 있습니다. 실제 인터페이스는 키보드를 사용했습니다. 가상 인터페이스의 경우 웹캠이 컴퓨터 키보드 옆 테이블에 마커를 기록했습니다. 이미지는 컴퓨터에 입력되어 온라인으로 분석되었습니다. 맞춤형 소프트웨어를 사용하여 참가자의 손이 마커를 가리는지 여부를 결정한 다음 가상 환경으로 피드백했습니다. 일치 타이밍 작업은 Bassin 예상 타이머를 기반으로 합니다. 이를 위해 10개의 3D 큐브가 모니터의 세로 열에 동시에 표시되었습니다. 큐브는 대상 큐브(즉, 10번째 큐브)에 도달할 때까지 켜졌다(즉, 흰색에서 녹색으로 변경됨) 순차적으로 꺼졌다(위에서 아래로). 참가자의 작업은 키보드의 스페이스 바를 누르거나(즉, 물리적 접촉에 의한 유형의 버튼 누르기 작업, 그림 1A 및 1B에 표시됨) 대상 물체를 때리는 것처럼 옆으로 손 제스처를 만드는 것(즉, 그림 1C 및 1D에 표시된 물리적 접촉이 없는 더 추상적인 제스처 작업, 즉 대상 큐브가 녹색으로 바뀌는 정확한 순간에 마커를 차단합니다.

참가자들은 지시를 내린 심사관만 있는 조용한 방에서 개별적으로 작업을 수행했습니다. 컴퓨터는 탁자 위에 놓였습니다. 참가자들은 개인의 필요에 따라 조정된 휠체어에 앉았습니다.

시험관은 작업을 구두로 설명하고 동시 타이밍 작업을 수행하는 방법에 대해 세 가지 데모를 제공했습니다. 참여자들은 선호하는 손(즉, 덜 영향을 받는 손)을 대상 옆의 표시에 두도록 지시했습니다(위치는 개별적으로 조정되었지만 대상에서 2~4cm 범위). 첫 번째 상단 큐브가 켜지면 개인은 키보드의 대상 키를 터치하거나 웹캠 앞에서 타격 제스처를 만들기 위해 손을 움직여야 했습니다. 이때 정확히 하단 대상 큐브가 켜집니다. 획득, 유지 및 전송 중에 히트 또는 미스에 대한 피드백으로 다양한 소리가 제공되었으며 오류 범위는 -200 ~ 200ms입니다.

DMD와 TD가 있는 참가자는 무작위로 두 개의 하위 그룹으로 나뉩니다. (a) 버튼 누르기 작업 그룹(BPT) - 이 그룹에서 획득 단계 동안 참가자는 동시 타이밍 작업을 완료하기 위해 키보드의 스페이스 버튼을 눌러야 합니다(보다 실제적인 인터페이스 ) 및 (b) 제스처 작업 그룹(GT) - 이 그룹에서 획득 단계 동안 참가자는 컴퓨터 버튼(더 많은 가상 인터페이스)을 누르는 대신 일치 타이밍 작업을 완료하기 위해 웹캠으로 생성된 가상 대상을 교차해야 합니다.

모든 작업(버튼 누름 및 제스처)에 대해 획득 단계 동안 모든 그룹은 일치 타이밍 작업을 20번 시도하기 시작했으며 작업과 접촉하지 않은 5분 후에 유지 단계를 위해 5번 더 반복을 수행했습니다(둘 다 더 느린 속도의 단계 - 400ms 간격으로 표시등 켜기 및 끄기), 마지막으로 그들은 두 개의 다른 전송 단계에 대해 5번의 반복을 수행했습니다. 첫 번째 전송은 더 빠른 속도로 수행되었습니다. - 300ms의 표시등 간격(속도로 전송) 증가-TSI). 두 번째 전송은 다른 인터페이스에서 전송 단계를 5회 시도하여 그룹 간 변경 작업(환경 교환으로 전송 - TEE)으로 수행되었습니다. 즉, 버튼 누르기 작업에서 획득 단계를 수행한 그룹은 제스처 작업에서 전환을 수행했으며 그 반대의 경우도 마찬가지입니다.