Wysiłek słuchowy u użytkowników implantów ślimakowych

Metody ogólne:

Badanie rozpoznawania mowy: Głównym zadaniem eksperymentalnym jest słuchanie mowy w wolnej przestrzeni, w wyciszonej kabinie. Tradycyjne rozpoznawanie mowy polega na słuchaniu i powtarzaniu zdań, a badania te będą się różnić w zależności od ogólnego tematu, z modyfikacjami dostosowanymi do konkretnych celów projektu. Na przykład niektóre bodźce powtarzają się dwukrotnie przed reakcją werbalną, a niektóre są raczej pytaniami i odpowiedziami niż zdaniami oznajmującymi. Opracowaliśmy bodźce specjalnie na potrzeby każdego eksperymentu, zawsze unikając bodźców wywołujących emocje, ponieważ mogą one mieć duży wpływ na rozszerzenie źrenic.

Zrozumiałość: będziemy śledzić procentowo poprawne wyniki dla całych zdań i słów w każdym zdaniu. Śledzimy także położenie błędów w zdaniu (np. pierwsze słowo, ostatnie słowo) i czy reakcja badanego może być rozsądną wypowiedzią, czy też brakuje jej spójnego znaczenia, ponieważ ten czynnik ma tak duży wpływ na wysiłek słuchania.

Przetestujemy percepcję słuchaczy o normalnym słyszeniu (NH lub TH Typical Hearing) zarówno mowy normalnej, jak i mowy wokodowanej, co pozwoli nam na osobne zbadanie wpływu degradacji sygnału, niezależnie od chronicznego doświadczenia problemów ze słuchem.

Pupilometria: Podczas testów rozpoznawania mowy zmiany w wielkości źrenic uczestnika będą monitorowane za pomocą eyetrackera Eyelink umieszczonego 50 cm od oczu. Fazowe rozszerzenie źrenic powiązano z punktami orientacyjnymi w czasie eksperymentu, interpretowanymi jako zmiany w wysiłku słuchowym, w oparciu o liczne opublikowane badania. Zadania pozasłuchowe: Będziemy administrować wskaźnikiem obciążenia zadaniem NASA (TLX), aby ocenić subiektywne doświadczenie uczestnika w zakresie pięciu wymiarów wysiłku podczas słuchania zadania. Przeprowadzimy test szybkości przetwarzania porównawczego wzorców NIH Toolbox. Zbadamy zdolność uczestników do powstrzymywania nieistotnych informacji za pomocą zmodyfikowanego Flankera opracowanego przez Xie i in. (2017), który porównuje hamowanie interferencji, hamowanie reguł i hamowanie odpowiedzi, wykorzystując starannie ustrukturyzowane sekwencje flankera, w których reguły reakcji zmieniają się w strategicznych momentach podczas testowania. Zrealizujemy również zadanie lokalno-globalnego przełączenia uwagi, korzystając z podejścia opisanego przez Peristeri i in. (2020).

Eksperyment 1A: Zdolność do przygotowania dodatkowego wysiłku przetestujemy w badaniu, w którym słuchacz wie z góry, czy nadchodzący bodziec będzie łatwiejszy, czy trudniejszy do zrozumienia. Każda próba rozpoczyna się od wskazania „łatwego” lub „trudnego” wyświetlanego w tekście na ekranie. Po czterosekundowym opóźnieniu, pozwalającym uczniom powrócić do stanu wyjściowego, zdanie jest odtwarzane. Rozszerzanie źrenic monitoruje się przez cały czas trwania badania, badając zasadnicze różnice pomiędzy sygnałem tekstowym a początkiem mowy, odzwierciedlające chwilowe przygotowanie słuchacza do dodatkowego wysiłku. Co ważne, łatwe i trudne próby są losowo mieszane, a nie blokowane, tak że wywołany wysiłek odzwierciedla chwilowe przygotowanie, a nie długoterminową dyspozycję.

Eksperyment 2A: To zadanie symuluje błędne zrozumienie słowa w zdaniu, z możliwością usłyszenia powtórzenia zdania w celu wyjaśnienia tego słowa. W każdej próbie zdanie odtwarzane jest dwukrotnie. W pierwszej prezentacji zdanie jest albo całkowicie nienaruszone (normalne), albo jedno słowo zostało zastąpione szumem. Zdania są skonstruowane w taki sposób, że słowo jest niezbędne dla znaczenia zdania, ale nie można go odzyskać na podstawie kontekstu. W drugiej prezentacji zdanie jest zawsze w pełni nienaruszone, co umożliwia odtworzenie brakującego słowa.

Eksperyment 2B: To zadanie symuluje sytuację, w której słuchacz wstrzymuje się z wysiłkiem do czasu otrzymania istotnej informacji. Uczestnicy wykonają standardowe zadanie polegające na powtórzeniu zdania, ale z dwoma różnymi rodzajami odpowiedzi: albo powtarzają całe zdanie, albo powtarzają tylko ostatnie słowo.

Eksperyment 3A: Ocena odpowiedzi na pytania. W każdej próbie uczestnik słyszy pytanie (Q) i odpowiedź (A) wypowiadane przez innego rozmówcę, jak w diadzie konwersacyjnej. Uczestnik jest proszony o odpowiedź „tak” (odpowiedź była prawidłowa) lub „nie” (odpowiedź była niepoprawna). Odpowiedź może być poprawna, błędna lub całkowicie nieoczekiwana (nonsens), losowo zmieniająca się w próbie z próbą. Nonsensowne odpowiedzi zachęcają do chwili zastanowienia się nad percepcją, ponieważ są tak nieoczekiwane.

Eksperyment 3B: Jest podobny do eksperymentu 3A, ale zamiast zupełnie nieoczekiwanych odpowiedzi, słuchacz usłyszy odpowiedź powiązaną z pytaniem, co zachęca do ponownej oceny, czy pytanie zostało usłyszane poprawnie. Na przykład: „Jakiego koloru jest piłka do koszykówki? Round” skłania słuchacza do chwilowej wątpliwości, czy pytanie zostało poprawnie zrozumiane.

Eksperyment 3C: Ten eksperyment symuluje zamieszanie spowodowane usłyszeniem nacisku na niewłaściwe słowo. Podczas każdej próby uczestnicy słyszą sekwencję pytań, a następnie pełną odpowiedź z naciskiem na pojedyncze słowo. Odpowiedź albo zawiera odpowiedni nacisk na słowo, które bezpośrednio odpowiada na pytanie, albo nieoczekiwany nacisk na nieistotne słowo, które już było w pytaniu.

Eksperyment 3D: Poleganie na wysiłku po zdaniu zostanie sprawdzone w badaniu behawioralnym, w którym słuchacze słyszą ciągły strumień zdań i mogą ręcznie regulować tempo mowy (manipulowane przy użyciu algorytmu PSOLA z synchronicznym tonem i dodawaniem nakładania się w Praat) aż do przybycia w komfortowym tempie.