Augen auf Lippen? Sprachlesefähigkeiten und Gesichtsausdrucksdiskriminierung bei Kindern mit und ohne Hörbehinderung

1. Ziel Die Ziele dieses Projekts bestehen darin, 1) Informationen über die Sprachlesefähigkeiten von Kindern ohne und mit Hörbehinderung auf Finnisch zu gewinnen, 2) Informationen über den Zusammenhang zwischen Blickverhalten und Sprachlesegenauigkeit zu erhalten, 3) einen Test für das Sprachlesen für Finnisch zu entwickeln Kinder, 4) finden Sie heraus, ob Emotionsunterscheidung (Diskriminierung von Mimik) Kindern mit Beeinträchtigungen beim Sprachlesen hilft, 5) finden Sie heraus, ob Sprachlesen effektiv mit einer Smart-Device-Anwendung trainiert werden kann, und 6) erforschen und trainieren Sie Algorithmen der künstlichen Intelligenz weiter mit Hilfe von Daten über die Nutzung der Blick- und Sprachlesefähigkeiten von Kindern (dieser Teil gehört nicht zum klinischen Studienteil der Studie).

2. Studiendesign Kontrollierte, klinische Studie. Studienarme: 1) hörende Kinder, die als Kontrollen dienen, 2) Kinder mit Hörbehinderung, die am Sprachlesetraining teilnehmen, 3) Kinder mit Hörbehinderung, die als Kontrollen dienen

   Insgesamt werden 140 Kinder (die Hälfte davon mit Hörbehinderung) aus der Ferne getestet (über die Zoom-Anwendung) und 100 Kinder vor Ort (da bei der Datenerfassung von ihnen Eye-Tracking eingesetzt wird).

   Betreuer werden gebeten, ein Hintergrundformular auszufüllen, indem sie die Online-Umfrageplattform REDCap nutzen, die über eine hohe Datenschutzfähigkeit verfügt. Betreuer geben Informationen über die Hörfähigkeit/das Hörniveau ihres Kindes auf der Grundlage des neuesten Audiogramms, des allgemeinen Gesundheitszustands (z. B. mögliche medizinische Diagnosen, Sehkraft) und der Entwicklung. Auch der Beruf und das Bildungsniveau der Pflegekräfte werden erhoben.

   Ergebnisse für Kinder:

   Kinder werden mit sprachlichen, kognitiven und sozialkognitiven Tests und Aufgaben getestet, 100 Kinder zusätzlich mit Eye-Tracking.

   Von den sprachlichen Tests und Aufgaben wird eine validierte finnische Version (Laine et al., 1997) des Boston Naming Test (Kaplan et al., 1983) zum Testen des Ausdrucksvokabulars des Kindes verwendet. Im Untertest zur Nichtwortwiederholung des Nepsy-Tests (Korkman, 1998) wird das Kind gebeten, 16 Nichtwörter zu wiederholen, die als Audioaufnahme präsentiert werden. Der Subtest zur phonologischen Verarbeitung des NEPSY II-Tests (Kemp & Korkman, 2008) besteht aus zwei phonologischen Verarbeitungsaufgaben zur Beurteilung des phonemischen Bewusstseins. Es untersucht die Identifizierung von Wörtern aus Wortsegmenten. Kinder im Alter von 7 bis 8 Jahren werden gebeten, ein Wort zu wiederholen und dann anhand von Bildern die betreffende Alternative zu zeigen, wenn der Testleiter zunächst nur einen Teil des Wortes als Hinweis ausgesprochen hat. Kinder im Alter von 9 bis 11 Jahren werden gebeten, ein neues Wort zu bilden, indem sie einen Teil eines zusammengesetzten Worts oder eines Phonems weglassen, wobei der Testleiter zuerst den Teil ausspricht, der weggelassen werden soll. Die Lesefähigkeiten der Kinder werden mit drei Untertests untersucht: Technische Lesefähigkeit TL2B, TL3B und TL4B des ALLU-Tests (Lindeman, 1998). Das Kind wird gebeten, aus vier Strichzeichnungen die richtige Alternative auszuwählen, um sie einzelnen Wörtern oder Sätzen zuzuordnen, oder zu beurteilen, ob die Bedeutung des geschriebenen Satzes wahr oder falsch ist.

   Die Sprachlesefähigkeiten von Kindern werden mit dem Sprachlesetest für Kinder (Huttunen & Saalasti) bewertet, der einzelne Wörter und kurze Sätze sowie eine Aufgabe enthält, bei der Mimik und Sprachlesen auf Satzebene kombiniert werden müssen.

   Zunächst wird ein neuartiger computergestützter Sprachlesetest für Kinder (Huttunen & Saalasti) für Kinder entwickelt, die Finnisch lernen. Als zentrale Grundlage werden neben Pilotierungsergebnissen hörender Kinder im Alter von 8 bis 11 Jahren auch Informationen zum rezeptiven Vokabular hörgeschädigter 8- bis 11-jähriger Kinder sowie visuelle Analoga gesprochener Phoneme (Gesichtsbilder) im Finnischen herangezogen für die Auswahl der Elemente für den Multiple-Choice-Teil des Tests auf Wortebene. Im Satzteil des Tests werden Sätze mit zwei bis drei Wörtern berücksichtigt.

   Bei der Abgabe ihrer Antworten im Sprachlesetest für Kinder müssen die Kinder nach dem Ansehen jedes Videoclips das ausgedrückte Wort oder den ausgedrückten Satz unterscheiden, indem sie aus Alternativen auswählen, die in Form von Zeichnungen und der Darstellung verschiedener Personen, Gegenstände oder Ereignisse vorliegen. Zur Validierung des neuartigen Sprachlesetests, d. h. um die Altersnormen dafür zu ermitteln und seine psychometrischen Eigenschaften zu erforschen, wurden 120 Kinder mit normalem Hörvermögen und typischer Entwicklung (30 Kinder pro Altersgruppe) und 120 Kinder mit HI (wiederum 30 Kinder pro Altersgruppe) untersucht Altersgruppe) werden damit getestet. Von den Teilnehmern wird ein ausreichendes Leseniveau erwartet, um die Alternativen für die Bedeutung kurzer Sätze im satzbezogenen Teil des Sprachlesetests auswählen zu können.

   Zusätzlich zum Sprachlesetest für Kinder ist eine Emotions- und Sprachleseaufgabe konzipiert, um zu prüfen, ob Kinder zusätzliche Informationen aus der Mimik nutzen können, um die Sätze, die sie sprechen, zu unterscheiden. Dazu drückt ein Sprecher einige klassische Grundemotionen (Glück, Traurigkeit, Wut) in 10 Sätzen zu je vier Sätzen aus, die zu diesem Zweck konstruiert werden. Zehn Videoaufnahmen werden den Kindern ohne Stimme präsentiert, mit jeweils vier schriftlichen Alternativmöglichkeiten.

   Kinder werden auch mit kognitiven und sozialkognitiven Tests und Aufgaben getestet: Reaktionszeit (Reaktionszeitaufgabe), Theorie des Geistes erster Ordnung (Sally-Anne-Test), Fähigkeiten der Theorie des Geistes zweiter Ordnung (modifizierte Eiswagen-Aufgabe), auditiv Kurzzeitgedächtnis (ITPA-Untertest für das auditive serielle Gedächtnis), visuelles Kurzzeitgedächtnis (ITPA-Untertest für das visuelle serielle Gedächtnis), visuell-räumliches Kurzzeitgedächtnis (Corsi-Block-Test), Emotionsdiskriminierung (Unterscheidung von Gesichtsausdrücken anhand von Fotos und Videoclips). und der FEFA 2-Test).

   Von den kognitiven und sozialkognitiven Tests und Aufgaben, der Reaktionszeitaufgabe, die den klassischen Prinzipien eines Two-Choice-Reaktionszeittests folgt, erscheinen zwei Zahlen zufällig auf einem Computerbildschirm; innerhalb von 1 bis 3 Sekunden entweder auf der linken oder rechten Seite des Bildschirms. Die Aufgabe des Kindes besteht darin, die linke oder rechte Pfeiltaste auf der Tastatur zu drücken, sobald die Zahl auf dem Bildschirm erscheint. Die Durchführung der Aufgabe dauert weniger als zwei Minuten, und nach 40 angezeigten Zahlen liefert die Software die Ergebnisse (mittlere Reaktionszeit in Millisekunden, Standardabweichung, Min., Max. und die Anzahl der richtigen Antworten als relativer Prozentsatz).

   Als Theory-of-Mind-Aufgabe erster Ordnung wird der klassische Sally-Anne-Test (Baron-Cohen, Leslie & Frith, 1985) verwendet und als Theory-of-Mind-Fähigkeiten zweiter Ordnung eine modifizierte Version der Ice Cream Van-Aufgabe (Perner). & Wimmer, 1985; Doherty, 2009). In der Aufgabe zweiter Ordnung werden vier erstellte Zeichnungen verwendet, um dem Kind zu helfen, die vom Aufgabenverwalter erzählte Geschichte zu verstehen und sich daran zu erinnern.

   Die Fähigkeiten des Kurzzeitgedächtnisses werden mithilfe der Untertests für das auditive und visuelle Kurzzeitgedächtnis der validierten finnischen Version (Kuusinen & Blåfield, 1974) des Illinois Test of Psycholinguistic Abilities (ITPA) (Kirk et al., 1968) bewertet. Im auditiven Kurzzeit-Subtest von ITPA wird das Kind aufgefordert, vorgegebene Ziffernreihen mündlich zu wiederholen und im visuellen Kurzzeit-Subtest wird das Kind aufgefordert, die richtigen Symbole in der richtigen Reihenfolge anzuordnen. Im visuellen Kurzzeit-Subtest zeigt der Testleiter zunächst die Symbolreihe und das Kind stellt diese im Kurzzeitgedächtnis wieder her, um die Reihe zu reproduzieren. Das visuell-räumliche Kurzzeitgedächtnis wird mithilfe des Corsi-Blocktests (Corsi, 1972, Kessels, van Zandvoort, Postman, Kapelle & de Hand, 2000) untersucht, der im PsyToolkit (Professor Gijsbert Stoet) enthalten ist. Im Online-Test werden neun Blöcke angezeigt. Sie werden an bestimmten festen Positionen auf einem Bildschirm vor dem Teilnehmer angeordnet. Die Software flasht eine Folge von Blöcken, beispielsweise eine Folge von drei verschiedenen Blöcken, nacheinander. Als Reaktion darauf muss der Teilnehmer mit einer Maus auf die Blöcke auf dem Bildschirm in der gleichen Reihenfolge tippen, wie im Online-Test angezeigt. Die Durchführung des Tests dauert weniger als 30 Sekunden. Die Corsi-Spanne ist definiert als die längste Sequenz, die ein Teilnehmer korrekt wiederholen kann.

   Die Unterscheidung von Gesichtsausdrücken anhand von Fotos und Videoclips ist eine selbst konstruierte Aufgabe (Huttunen, 2015, erstmals beschrieben in Huttunen, Kosonen, Laakso & Waaramaa, 2018). In der ersten Computeraufgabe wird ein Satz von 12 Fotos gezeigt, die vier verschiedene Emotionen (drei Grundemotionen und ein neutraler Ausdruck) darstellen. Als schriftliche Antwortmöglichkeiten werden vier verbale Bezeichnungen angegeben. Um die Fähigkeiten zur Erkennung von Gesichtsemotionen mithilfe dynamischer Eingaben zu testen, werden dieselben von denselben Personen ausgedrückten Emotionen als Videoclips von jeweils zwei Sekunden Länge mit vier verbalen Bezeichnungen als Antwortmöglichkeiten präsentiert.

   Das computergestützte Untermodul „Gesichter“ der finnischen Version des FEFA 2-Tests (The Frankfurt Test and Training of Facial Affect Recognition; Bölte et al., 2013; Bölte & Poustka, 2003) wird als standardisierte Aufgabe zur Beurteilung der Gesichtsemotionen von Kindern verwendet Erkennungsfähigkeiten. Dieser Test besteht aus 50 Fotos, die sieben verschiedene Emotionen und ihre Bezeichnungen als Antwortmöglichkeiten zeigen (Freude, Wut, Traurigkeit, Angst, Überraschung, Ekel und neutral). Das Kind wählt die Alternative passend zum präsentierten Gesichtsausdruck (Emotion). Die FEFA 2-Software fasst die Ergebnisse zusammen (Gesamtpunktzahl, Verwirrungsmatrizen, Reaktionszeit).

   Der Blickgebrauch von Kindern wird durch Eye-Tracking (EyeLink 1000+-Gerät) während Mimik- und Sprachlesetests und -aufgaben untersucht. Eye-Tracking wird bei 100 Kindern eingesetzt (50 mit normalem Hörvermögen und 50 mit Hörbeeinträchtigung/-verlust). Ihr Blickgebrauch wird während des Sprachlesetests für Kinder, während der Aufgaben, bei denen Gesichtsausdrücke von Fotos und Videoclips unterschieden werden müssen, und während der Aufgabe „Emotionen + Sprachlesen“ untersucht. Die Kinnstütze dient der Stabilisierung der Position des Kindes und sichert so den Erfolg der Datenerfassung. Fixationen, Verweildauer (die Zeit, die der Blick an einer bestimmten Stelle auf dem Bildschirm verweilt) und Blickweg werden analysiert, um herauszufinden, welche Interessenbereiche im Gesicht den Blick der Kinder am meisten anziehen. Mithilfe von Eye-Tracking-Daten wird untersucht, welche Art von Blickverwendung und Blickmuster für das Sprachlesen und die Emotionsunterscheidungsleistung von Kindern optimal sind.

3. Stichprobengröße Hörende Kinder (n = 120) im Alter von 8 bis 11 Jahren (30 Kinder pro Altersgruppe), Kinder mit Hörbehinderung (n = 120) im Alter von 8 bis 11 Jahren (30 Kinder pro Altersgruppe).
4. Verblindung und Randomisierung Keine
5. Folgeprotokolle

Insgesamt werden 100 der angestrebten 120 Kinder mit Hörbehinderung zweimal getestet:

1. Nach ersten Tests werden 50 hörgeschädigte Kinder gebeten, das Sprachlesen mit einer Smart-Device-Anwendung zu Hause zu trainieren. Nach zwei Monaten werden ihre Fähigkeiten zur Emotionsunterscheidung und zum Sprachlesen sowie zur Blicknutzung bei Aufgaben zur Emotionsunterscheidung und zum Sprachlesen erneut überprüft (Test vor Ort). Ihre Verwendung der Sprachleseanwendung wird untersucht, indem die Benutzerdaten (wie oft sie die Anwendung verwendet haben und wie sich ihre Sprachlesefähigkeiten entwickelt haben, wie durch das in der Software integrierte Bewertungssystem angezeigt) über eine Kabel- oder Bluetooth-Verbindung übertragen werden.
2. Als Kontrolle dient eine Gruppe hörgeschädigter Kinder (n = 50); Sie werden zwei Monate nach dem ersten Test aus der Ferne getestet (über die Zoom-Anwendung), ohne dass zwischen der ersten und der letzten Beurteilung ein Eingriff erfolgt.