Oczy na ustach? Umiejętności czytania mowy i dyskryminacja wyrazu twarzy u dzieci z uszkodzonym słuchem i bez

1. Cel Celem tego projektu jest 1) uzyskanie informacji na temat umiejętności czytania mowy w języku fińskim dzieci bez i z wadą słuchu, 2) uzyskanie informacji na temat związku między zachowaniem wzrokowym a dokładnością czytania mowy, 3) opracowanie testu czytania mowy dla osób mówiących po fińsku dzieci, 4) dowiedzieć się, czy dyskryminacja emocji (dyskryminacja mimiki twarzy) pomaga dzieciom z upośledzeniem czytania mowy, 5) dowiedzieć się, czy czytanie mowy można skutecznie trenować za pomocą aplikacji na smartfonie, oraz 6) dalej badać i trenować algorytmy sztucznej inteligencji za pomocą pomocą danych na temat używania przez dzieci wzroku i umiejętności czytania mowy (ta część nie należy do części badania dotyczącej badania klinicznego).

2. Projekt badania Kontrolowane badanie kliniczne. Grupy badawcze: 1) dzieci słyszące jako grupa kontrolna 2) dzieci słabosłyszące biorące udział w treningu czytania mowy, 3) dzieci słabosłyszące jako grupa kontrolna

   Łącznie 140 dzieci (połowa z wadą słuchu) zostanie przebadanych zdalnie (przez aplikację Zoom), a 100 dzieci na miejscu (ponieważ do zbierania od nich danych wykorzystuje się eye-tracking).

   Opiekunowie zostaną poproszeni o wypełnienie formularza informacyjnego za pomocą internetowej platformy ankietowej REDCap, która zapewnia wysoki poziom ochrony danych. Opiekunowie udzielą informacji na temat zdolności/poziomu słuchu dziecka w oparciu o najnowszy audiogram, ogólny stan zdrowia (np. możliwe diagnozy medyczne, wzrok) i rozwój. Badany będzie również zawód i poziom wykształcenia opiekunów.

   Wyniki dzieci:

   Dzieci zostaną przebadane testami i zadaniami językowymi, poznawczymi i społeczno-poznawczymi, a 100 dzieci również metodą eye-trackingu.

   Spośród testów i zadań lingwistycznych, do testowania wyrazistego słownictwa dziecka używana jest zwalidowana fińska wersja (Laine i in., 1997) Bostońskiego Testu Nazywania (Kaplan i in., 1983). W podteście powtórzeń niebędących słowami testu Nepsy'ego (Korkman, 1998) dziecko jest proszone o powtórzenie 16 niesłów prezentowanych jako nagranie dźwiękowe. Podtest przetwarzania fonologicznego w teście NEPSY II (Kemp & Korkman, 2008) składa się z dwóch zadań przetwarzania fonologicznego zaprojektowanych do oceny świadomości fonologicznej. Bada identyfikację słów z segmentów słów. Dzieci w wieku od 7 do 8 lat są proszone o powtórzenie słowa, a następnie pokazanie na obrazkach danej alternatywy, gdy administrator testu najpierw wymówi tylko część słowa jako wskazówkę. Dzieci w wieku od 9 do 11 lat są proszone o utworzenie nowego słowa poprzez pominięcie części złożonego słowa lub fonemu, przy czym administrator testu najpierw wymawia część, która ma zostać pominięta. Umiejętności czytania dzieci są badane za pomocą trzech podtestów, technicznej umiejętności czytania TL2B, TL3B i TL4B, testu ALLU (Lindeman, 1998). Dziecko jest proszone o wybranie właściwej alternatywy spośród czterech rysunków kreskowych w celu dopasowania jej do pojedynczych słów lub zdań lub osądzenie, czy znaczenie zapisanego zdania jest prawdziwe, czy fałszywe.

   Umiejętność czytania mowy przez dzieci zostanie oceniona za pomocą Testu czytania mowy dla dzieci (Huttunen & Saalasti), który zawiera pojedyncze słowa i krótkie zdania oraz zadanie, w którym mimika twarzy i czytanie mowy muszą być połączone na poziomie zdań.

   Po pierwsze, zostanie skonstruowany nowy skomputeryzowany test czytania mowy dla dzieci (Huttunen & Saalasti) dla dzieci uczących się języka fińskiego. Oprócz wyników pilotażu słyszących dzieci w wieku od 8 do 11 lat, jako centralną podstawę zostaną wykorzystane informacje o leksyce receptywnej dzieci z uszkodzonym słuchem w wieku 8-11 lat oraz wizualne analogi fonemów mówionych (visemes) w języku fińskim za wybór elementów do części testu wielokrotnego wyboru na poziomie słów. Zdania składające się z dwóch do trzech słów zostaną uwzględnione w części testu na poziomie zdania.

   Udzielając odpowiedzi w teście czytania mowy dzieci, po obejrzeniu każdego klipu wideo, dzieci muszą rozróżnić wyrażone słowo lub zdanie, wybierając spośród alternatyw podanych w postaci rysunków i ilustrujących różne osoby, przedmioty lub wydarzenia. W celu walidacji nowatorskiego testu czytania mowy, czyli uzyskania dla niego norm wiekowych i zbadania jego właściwości psychometrycznych, 120 dzieci z prawidłowym słuchem i typowym rozwojem (30 dzieci na grupę wiekową) oraz 120 dzieci z HI (ponownie 30 dzieci na grupa wiekowa) będą z nim testowane. Wymagany jest od uczestników poziom czytania wystarczający do wyboru wariantów znaczenia krótkich zdań w części zdaniowej testu czytania mowy.

   Oprócz testu czytania mowy dla dzieci, opracowano zadanie czytania emocji + speecread, aby sprawdzić, czy dzieci mogą wykorzystać dodatkowe informacje z wyrazu twarzy, aby rozróżnić zdania, które czytają. W tym celu mówca wyraża pewne klasyczne podstawowe emocje (radość, smutek, złość) w 10 zestawach po cztery zdania, które należy w tym celu skonstruować. Dziesięć nagrań wideo jest prezentowanych bez głosu dzieciom z zawsze czterema pisemnymi alternatywami.

   Dzieci zostaną również przetestowane za pomocą testów i zadań kognitywnych i społecznych: czas reakcji (zadanie czasu reakcji), teoria umysłu pierwszego rzędu (test Sally Anne), umiejętności teorii umysłu drugiego rzędu (zmodyfikowane zadanie Ice Cream Van), słuch pamięć krótkotrwała (podtest pamięci seryjnej ITPA), krótkotrwała pamięć wzrokowa (podtest pamięci seryjnej wzrokowej ITPA), krótkoterminowa pamięć wzrokowo-przestrzenna (test Corsi Block), dyskryminacja emocji (rozróżnianie mimiki twarzy ze zdjęć, klipów wideo i test FEFA 2).

   Spośród testów i zadań kognitywnych i społeczno-poznawczych, zadanie Czas reakcji, które jest zgodne z klasycznymi zasadami testu czasu reakcji z dwoma wyborami, dwie liczby pojawiają się losowo na ekranie komputera; w ciągu 1 do 3 sekund po lewej lub po prawej stronie ekranu. Zadaniem dziecka jest uderzenie w lewą lub prawą strzałkę na klawiaturze, gdy tylko cyfra pojawi się na ekranie. Wykonanie zadania zajmuje mniej niż dwie minuty, a po 40 wyświetlonych liczbach oprogramowanie podaje wyniki (średni czas reakcji w milisekundach, SD, min, max oraz liczba poprawnych odpowiedzi jako względny wynik procentowy).

   Jako zadanie Teorii Umysłu pierwszego rzędu zostanie użyty klasyczny Test Sally Anne (Baron-Cohen, Leslie & Frith, 1985), a jako umiejętności drugiego rzędu Teoria Umysłu, zmodyfikowana wersja zadania Ice Cream Van (Perner i Wimmer, 1985; Doherty, 2009). W zadaniu drugiego rzędu wykorzystuje się cztery skonstruowane rysunki, które pomagają dziecku zrozumieć i zapamiętać historię opowiedzianą przez administratora zadania.

   Umiejętności związane z pamięcią krótkotrwałą są oceniane za pomocą podtestów słuchowej i wzrokowej krótkotrwałej pamięci sekwencyjnej zatwierdzonej wersji fińskiej (Kuusinen & Blåfield, 1974) Testu Zdolności Psycholingwistycznych (ITPA) stanu Illinois (Kirk i in., 1968). W krótkoterminowym podteście słuchowym ITPA dziecko jest proszone o ustne powtórzenie podanych serii cyfr, aw krótkoterminowym podteście wzrokowym o ułożenie właściwych symboli we właściwej kolejności. W wizualnym podteście krótkoterminowym administrator testu najpierw pokazuje serię symboli, a dziecko odtwarza ją w pamięci krótkotrwałej, aby odtworzyć serię. Wzrokowo-przestrzenna pamięć krótkotrwała jest badana za pomocą testu blokowego Corsi (Corsi, 1972, Kessels, van Zandvoort, Postman, Kapelle & de Hand, 2000) zawartego w PsyToolkit (profesor Gijsbert Stoet). W teście on-line pokazano dziewięć bloków. Są one rozmieszczone w określonych stałych pozycjach na ekranie przed uczestnikiem. Oprogramowanie wyświetla sekwencję bloków, na przykład sekwencję trzech różnych bloków, jeden po drugim. W odpowiedzi, za pomocą myszy, uczestnik musi stukać klocki na ekranie w tej samej kolejności, w jakiej pokazał test on-line. Wykonanie testu zajmuje mniej niż 30 sekund. Rozpiętość Corsiego jest zdefiniowana jako najdłuższa sekwencja, którą uczestnik może poprawnie powtórzyć.

   Dyskryminacja mimiki twarzy na podstawie zdjęć i klipów wideo to zadania samodzielnie skonstruowane (Huttunen, 2015, po raz pierwszy opisane w: Huttunen, Kosonen, Laakso i Waaramaa, 2018). W pierwszym zadaniu komputerowym wyświetlany jest zestaw 12 fotografii przedstawiających cztery różne emocje (trzy emocje podstawowe i wyraz neutralny). Cztery etykiety słowne są podane jako pisemne wybory odpowiedzi. Aby przetestować umiejętności rozpoznawania emocji twarzy za pomocą dynamicznego wprowadzania danych, ten sam zestaw emocji wyrażanych przez te same osoby jest prezentowany jako dwusekundowe klipy wideo z czterema słownymi etykietami jako odpowiedziami.

   Skomputeryzowany moduł podrzędny „Twarze” fińskiej wersji testu FEFA 2 (The Frankfurt Test and Training of Facial Affect Recognition; Bölte i in., 2013; Bölte i Poustka, 2003) jest używany jako standardowe zadanie do oceny emocji twarzy dzieci umiejętności rozpoznawania. Ten test składa się z 50 fotografii przedstawiających siedem różnych emocji i ich etykiet jako odpowiedzi (radość, złość, smutek, strach, zaskoczenie, wstręt i neutralność). Dziecko wybiera wariant pasujący do prezentowanego wyrazu twarzy (emocji). Oprogramowanie FEFA 2 podsumowuje wyniki (całkowity wynik, macierze zamieszania, czas odpowiedzi).

   Wykorzystanie wzroku dzieci będzie badane za pomocą śledzenia wzroku (urządzenie EyeLink 1000+) podczas testów i zadań związanych z wyrazem twarzy i czytaniem mowy. Eye-tracking zastosowano u 100 dzieci (50 z prawidłowym słuchem i 50 z uszkodzeniem/ubytkiem słuchu). Używanie ich wzroku jest badane podczas testu czytania mowy u dzieci, podczas zadań, w których mimika twarzy musi być odróżniona od zdjęć i klipów wideo oraz podczas zadania emocje + czytanie mowy. Podpórka pod brodę służy do stabilizacji pozycji dziecka w celu zapewnienia powodzenia w zbieraniu danych. Analizowane są fiksacje, czas zatrzymania (czas, w którym wzrok pozostaje w określonym miejscu na ekranie) oraz ścieżka spojrzenia, aby dowiedzieć się, które obszary twarzy najbardziej przyciągają wzrok dzieci. Na podstawie danych śledzenia ruchu gałek ocznych bada się, jaki rodzaj użycia wzroku i wzorce patrzenia są optymalne dla dzieci w zakresie czytania mowy i rozróżniania emocji.

3. Liczebność próby Dzieci słyszące (n = 120) w wieku od 8 do 11 lat (po 30 dzieci w grupie wiekowej), Dzieci z uszkodzonym słuchem (n = 120) w wieku od 8 do 11 lat (po 30 dzieci w grupie wiekowej).
4. Zaślepienie i randomizacja Brak
5. Protokoły kontrolne

W sumie 100 dzieci z uszkodzonym słuchem na docelową liczbę 120 zostanie przebadanych dwukrotnie:

1. Po wstępnych testach 50 dzieci z wadami słuchu zostanie poproszonych o ćwiczenie czytania mowy za pomocą aplikacji na smartfony w domu. Po dwóch miesiącach ich umiejętności rozróżniania emocji i czytania mowy oraz używania wzroku podczas zadań związanych z rozróżnianiem emocji i czytania mowy zostaną ponownie zbadane (testy na miejscu). Wykorzystanie przez nich aplikacji do czytania mowy zostanie zbadane poprzez przesłanie danych użytkownika (jak często korzystali z aplikacji i jak rozwijały się ich umiejętności czytania mowy, co wskazuje system punktacji wbudowany w oprogramowanie) za pomocą połączenia kablowego lub Bluetooth.
2. Grupa dzieci z uszkodzonym słuchem (n = 50) posłuży jako grupa kontrolna; zostaną przetestowane zdalnie (za pośrednictwem aplikacji Zoom) po dwóch miesiącach wstępnego testowania bez interwencji między wstępną a ostatnią oceną.