인공와우 사용자의 경청 노력

일반적인 방법:

음성 인식 테스트: 주요 실험 작업은 소리가 감쇠된 부스의 자유 필드에서 음성을 듣는 것입니다. 전통적인 음성 인식은 문장을 듣고 반복하는 것으로 구성되며, 이러한 연구는 프로젝트의 특정 목표에 맞게 수정하여 일반적인 주제에 따라 달라질 것입니다. 예를 들어, 어떤 자극은 언어적 반응 전에 두 번 반복되고, 어떤 자극은 서술문이 아닌 질문과 대답입니다. 우리는 동공 확장에 큰 영향을 미칠 수 있기 때문에 감정적으로 연상되는 자극을 항상 피하면서 각 실험에 맞게 특별히 자극을 개발했습니다.

명료성: 전체 문장과 각 문장 내의 단어에 대한 정답률 점수를 추적합니다. 또한 문장 중 실수 위치도 추적합니다(예: 첫 번째 단어, 마지막 단어), 그리고 참가자의 반응이 합리적 발화일 수 있는지 또는 일관된 의미가 부족한지 여부를 결정합니다. 왜냐하면 이 요소는 청취 노력에 큰 영향을 미치기 때문입니다.

우리는 일반 청력(NH 또는 TH 일반 청력) 청취자의 일반 음성 및 보코드 음성에 대한 인식을 테스트하여 청각 장애의 만성 경험과 별도로 신호 저하의 영향을 별도로 조사할 수 있습니다.

동공 측정법: 음성 인식 테스트 중에 참가자의 동공 크기 변화는 눈에서 50cm 떨어진 곳에 위치한 Eyelink 시선 추적기로 모니터링됩니다. 위상 동공 확장은 발표된 수많은 연구를 기반으로 청취 노력의 변화로 해석되는 실험 타이밍 랜드마크와 연결됩니다. 비청각 작업: NASA 작업 부하 지수(TLX)를 관리하여 듣는 동안 5가지 차원의 노력에 대한 참가자의 주관적인 경험을 측정합니다. 작업. NIH Toolbox 패턴 비교 처리 속도 테스트를 관리합니다. 우리는 Xie 등이 개발한 수정된 플랭커를 사용하여 관련 없는 정보를 억제하는 참가자의 능력을 탐구할 것입니다. (2017)은 테스트 중 전략적인 순간에 반응 규칙이 변경되는 신중하게 구조화된 플랭커 시퀀스를 사용하여 간섭 억제, 규칙 억제 및 반응 억제를 비교합니다. 또한 Peristeri et al.이 설명한 접근 방식을 사용하여 로컬-글로벌 주의 전환 작업을 구현할 것입니다. (2020).

실험 1A: 청취자가 다가오는 자극이 이해하기 더 쉽거나 어려울지 미리 아는 연구에서 추가 노력을 준비하는 능력을 테스트합니다. 각 시도는 화면에 텍스트로 표시되는 "쉬움" 또는 "어려움" 신호로 시작됩니다. 학생들이 기준선으로 돌아갈 수 있도록 4초 동안 지연시킨 후 문장이 재생됩니다. 동공 확장은 시험 전체에 걸쳐 추적되며 텍스트 신호와 음성 시작 사이의 결정적인 차이를 조사하여 청취자의 순간적인 추가 노력 준비를 반영합니다. 중요한 것은 쉬운 시련과 어려운 시련이 차단되기보다는 무작위로 혼합되어 있어 유발된 노력이 장기적인 성향보다는 순간적인 준비를 구체적으로 반영한다는 것입니다.

실험 2A: 이 작업은 문장 중에 단어에 대한 잘못된 인식을 시뮬레이션하고 해당 단어를 명확하게 하기 위해 문장의 반복을 들을 수 있는 기회를 제공합니다. 각 재판에서는 한 문장이 두 번 재생됩니다. 첫 번째 프레젠테이션에서는 문장이 완전히 손상되지 않았거나(정상) 단일 단어가 노이즈로 대체되었습니다. 문장은 단어가 문장의 의미에 필수적이지만 문맥에 따라 복구될 수 없도록 구성됩니다. 두 번째 프리젠테이션에서는 문장이 항상 온전하게 유지되어 누락된 단어를 복원할 수 있습니다.

실험 2B: 이 작업은 청취자가 관련 정보가 도착할 때까지 노력을 보류하는 상황을 시뮬레이션합니다. 참가자는 표준 문장 반복 작업을 완료하지만 응답에는 두 가지 종류가 있습니다. 전체 문장을 반복하거나 마지막 단어만 반복합니다.

실험 3A: 질문에 대한 답변 판단. 각 시험에서 참가자는 대화 상대의 경우처럼 다른 화자가 말하는 질문(Q)과 대답(A)을 듣습니다. 참가자는 "예"(답이 정확함) 또는 "아니요"(답이 정확하지 않음)로 응답하라는 메시지를 받습니다. 답변은 정확하거나, 틀리거나, 전혀 예상하지 못한(말도 안 되는) 것일 수 있으며, 무작위로 시행에 따라 달라질 수 있습니다. 말도 안되는 대답은 너무 예상치 못한 것이기 때문에 인식을 다시 추측하는 순간을 초대합니다.

실험 3B: 이는 실험 3A와 유사하지만 완전히 예상치 못한 답변 대신 청취자는 질문과 관련된 답변을 듣게 되어 질문이 올바르게 들렸는지 재평가하게 됩니다. 예를 들어, "농구공은 무슨 색인가요? Round'는 청취자가 질문을 올바르게 이해했는지 잠시 의심하도록 유도합니다.

실험 3C: 이 실험은 잘못된 단어를 강조하여 듣는 혼란을 시뮬레이션합니다. 각 시험에서 참가자는 일련의 질문을 듣고 한 단어에 강조가 포함된 전체 문장의 답변을 듣습니다. 대답은 질문에 직접 대답하는 단어를 적절하게 강조하거나, 이미 질문에 있는 중요하지 않은 단어를 예기치 않게 강조합니다.

실험 3D: 청취자가 연속적인 문장 흐름을 듣고 도착할 때까지 음성 속도(Praat의 피치 동기 중첩 추가 PSOLA 알고리즘을 사용하여 조작)를 수동으로 조정할 수 있는 행동 연구에서 문장 후 노력에 대한 의존도를 검사합니다. 편안한 속도로.