Wirksamkeit einer zweijährigen intensiven Leseintervention für Englischlerner der Mittelstufe mit Leseschwierigkeiten (TCLD)

Haupthypothese: Schüler, die die RISE-Intervention erhalten, werden diejenigen, die Business as Usual (BAU)-Unterricht erhalten, in Bezug auf lesebezogene Elemente, einschließlich Wortlesen, Sprachflüssigkeit und Verständnis, am Ende des zweiten Jahres der Behandlung übertreffen.

Sekundäre Hypothese: Schüler, die die RISE-Intervention erhalten, werden diejenigen, die Business as Usual (BAU)-Anweisungen zu Messungen des Wortlesens und der Leseflüssigkeit erhalten, nach einem Jahr der Behandlung übertreffen.

Überblick über das Forschungsdesign

Die Teilnehmer der Kohorte 1 werden im Herbst 2018 (6. und 7. Klasse) und die Teilnehmer der Kohorte 2 werden im Herbst 2020 (6. und 7. Klasse) rekrutiert. Teilnehmer, die die Eignungskriterien erfüllen, werden nach dem Zufallsprinzip einer von zwei Bedingungen zugewiesen: (1) der RISE-Intervention (eine 45- bis 50-minütige Klasse, 5 Tage pro Woche) oder (2) einer BAU-Vergleichsbedingung. Studierende, bei denen festgestellt wurde, dass sie eine Behinderung haben und eine Sonderausbildung erhalten, die ansonsten alle Kriterien erfüllen, dürfen an der Studie teilnehmen, und zusätzliche Interventionen werden dokumentiert. Behandlungslehrer werden von den Ermittlern eingestellt und ausgebildet. Teilnehmer in der Kontrollbedingung nehmen während dieser Unterrichtszeit normalerweise an einem Wahlfach teil (z. B. Kochen, Musik) und manchmal an einem Vorbereitungskurs für den staatlichen High-Stakes-Test. Die Lehrer werden einer Schule zugeteilt und sind für den Unterricht der Schüler in Gruppen von 3 bis 12 Schülern verantwortlich.

Teilnehmer

Die Stichprobe von Projekt 3 besteht aus Schülern der 6. und 7. Klasse von sechs Mittelschulen mit mittlerer bis hoher Armut in Austin/San Antonio und in Houston mit einer großen Anzahl von Schülern, die Englisch als Zweitsprache lernen. Um die primäre Hypothese zu bewerten, wird eine randomisierte Kontrollstudie mit zwei sich nicht überschneidenden Kohorten von Teilnehmern (Zweijahresintervention) durchgeführt. Die Ermittler werden Stichprobenteilnehmer anhand vorhandener Schulunterlagen und wie in den Einschluss-/Ausschlusskriterien beschrieben identifizieren.

Kohorte 1 wird aus 410 Els mit erheblichen Leseschwierigkeiten bestehen, 205 werden der Intervention (RISE) und 205 der BAU-Vergleichsbedingung ohne Intervention zugewiesen, beginnend im Herbst 2018 (Jahr 1) und weiterhin in der ihnen zugewiesenen Bedingung im Jahr 2 (Schüler 7. oder 8 Klassenjahr). Kohorte 2 ist eine nicht überlappende Stichprobe von 410 Schülern, die anhand derselben Einschluss-/Ausschlusskriterien identifiziert und ebenfalls zufällig der Intervention (RISE) oder der BAU-Vergleichsbedingung ohne Intervention zugewiesen wurden und bis zum Jahr 2 in dieser Bedingung bleiben. Schüler, die der Kontrolle zugewiesen wurden, können BAU erhalten Dienstleistungen (von Forschern dokumentiert) ihrer Schulen, erhalten jedoch keine von Forschern bereitgestellte Leseintervention. Diese beiden Kohorten (N = 820 Studenten) werden eine Stichprobe zur vollständigen Leistungsdatenanalyse liefern.

Maßnahmen und Bewertungsverfahren

Die Daten für Projekt 3 werden zu 4 Zeitpunkten (Jahresanfang und Jahresende für Jahr 1 und Jahr 2) für jede Kohorte erhoben, was eine Analyse der Behandlungseffekte nach ein- und zweijähriger Behandlung ermöglicht (siehe Interventionsbeschreibung). Das Forschungsteam, das für die Einstellung, Schulung und Überwachung der Datenerhebung in Schulen sowie für die Rekrutierung von Schulen und Teilnehmern verantwortlich ist, ist erfahren und arbeitet seit 10 Jahren zusammen. Datensammler sind blind für den zufällig zugewiesenen Zustand der Teilnehmer.

Primäre und sekundäre Ergebnismaße werden in Abschnitt 9 (Ergebnismaße) beschrieben.

Interventionsverfahren

Die Intervention wird detailliert in Abschnitt 8 (Waffen, Gruppen und Interventionen) beschrieben.

Genauigkeit der Implementierung. Die Genauigkeit der Umsetzung wird pro Interventionslehrer mindestens dreimal pro Jahr bewertet. Alle Interventionslehrer werden alle Interventionsstunden aufzeichnen. Eine Zufallsstichprobe von Aufzeichnungen wird ausgewählt und Schlüsselindikatoren für die Einhaltung der Interventionsimplementierung und die Qualität der Implementierung werden von einem Kodierer bewertet. Alle Codierer werden geschult und die Zuverlässigkeit wird vor der unabhängigen Codierung festgestellt.

Interventionslehrer. An jedem Standort führt hochqualifiziertes Personal, das von den Ermittlern eingestellt und beaufsichtigt wird, alle Behandlungen durch. Diese Lehrer werden vor der Implementierung 20 Stunden lang geschult und erhalten dann fortlaufende Schulungen und Unterstützung vor Ort für mindestens 10 Stunden pro Monat. Alle Behandlungen werden täglich in Gruppengrößen von ca. 8-11 Schülern für 50 Minuten pro Tag angeboten.

Business as Usual (BAU) Vergleichsbedingung. Schüler, die der BAU- oder Vergleichsbedingung zugeordnet sind, nehmen an einem Wahlkurs teil, der Optionen wie Musik, Kochen, Film, Lernzeit oder High-Stakes-Testvorbereitung umfasst. Diese Schülerinnen und Schüler nehmen am gesamten normativen Bildungsprogramm ihrer Schulen teil, erhalten jedoch keine Anweisungen des Forschungsteams.

Datenmanagement

Datenerfassung. Das Datenmanagementteam erstellt Datenerfassungsformulare und Richtlinien zum Ausfüllen dieser Formulare. Wenn Änderungen an Verfahren oder Formularen erforderlich sind, teilt das Datenverwaltungspersonal diese Änderungen den Mitarbeitern an jedem Standort mit und stellt sicher, dass die Verfahren und Formularhandbücher entsprechend aktualisiert werden. Das Datenverwaltungspersonal wird auch daran arbeiten, die Einheitlichkeit des Formularlayouts, der Formularüberarbeitung und der Formularnummerierung sicherzustellen. Datenmanagement- und Statistikmitarbeiter arbeiten auch mit Datenmanagern zusammen, um Datenprüfungen durchzuführen, um sicherzustellen, dass Fehlerquoten für alle Datenfelder vernachlässigbar sind.

Datenmanagement. Das Datenverwaltungspersonal führt alle Aktivitäten im Zusammenhang mit Datenbankdesign, -verwaltung und -erfassung so durch, dass alle Projektdaten in das Data Warehouse des Texas Institute for Measurement, Evaluation, and Statistics (TIMES) geschrieben werden. Das Warehouse ist auf maximale Datenintegrität und Standardisierung innerhalb und zwischen Projekten ausgelegt und ermöglicht gleichzeitig die notwendige Flexibilität über TIMES-Projekte hinweg in ihren Designs und spezifischen Maßnahmen und Methoden. Die Verwendung des Lagers als primäre Projektmanagement-Datenstruktur erhöht die Standardisierung über Projekte hinweg. Das Lager erstellt außerdem automatisch einen elektronischen Prüfpfad aller Datenverwaltungsaktivitäten, die zur Änderung auch nur eines einzigen Datenelements führen, was zusammen mit der Standardisierung für die Qualitätskontrolle in elektronischen Datenbanken unerlässlich ist.

Datenanalyse

Gesamtstrategie, Methodik und Analysen. Beschreibende Merkmale der Daten werden vor der Analyse untersucht. Nichtnormale abhängige Variablen werden nach Bedarf und Zweckmäßigkeit transformiert (logarithmisch, Quadratwurzel, invers usw.). Ausreißer werden mithilfe der modifizierten Z-Score-Analyse identifiziert und von Fall zu Fall entsprechend ihrer Hebelwirkung und ihrem Einfluss in bestimmten Modellen behandelt. Annahmen, dass Fehler normalverteilt, homoskedastisch und unabhängig über Stichprobeneinheiten und Ebenen des Modells sind, werden durch Analysieren von Residuen bewertet. Residuen auf höheren Ebenen werden typischerweise als multivariat normal und unabhängig von Fehlern auf niedrigeren Ebenen angenommen. Die Ermittler ergänzen Residuenanalysen um Einflussdiagnostik. Heterogenität wird gemäß ihrer offensichtlichen Quelle(n) behandelt, wobei nichtlineare Transformationen von Prädiktor- und/oder abhängigen Variablen je nach Bedarf und Zweck verwendet werden. Die Forscher werden die primäre Forschungshypothese im Zusammenhang mit mehreren Gruppen (RISE-Intervention vs. BAU), Mehrebenenregression und Strukturgleichungsmodellen (SEM) behandeln.

Analytischer Plan. Regressionen in mehreren Gruppen und auf mehreren Ebenen und SEMs werden geeignet sein, um die Hauptwirkung der Behandlung auf 1) Wortlese- und Sprachflussergebnisse nach 1 Jahr Intervention und Wortlese-, Sprachfluss und Verständnis nach 2 Jahren Intervention abzuschätzen. Für jedes Modell werden Pretest-Ergebnisse verwendet entsprechend zentriert und als Kovariaten der Ebene 1 verwendet werden. Mittelwerte auf Schulebene beim Vortest werden als "Kontexteffekte" einbezogen, um die Variabilität auf Schulebene zu minimieren und die statistische Aussagekraft zu verbessern. Die Haupteffekte der Behandlung (unter der Annahme eines Intent-to-treat-Modells) werden auf Schülerebene geschätzt, indem die bedingten Posttest-Mittelwerte für die RISE-Gruppe und die BAU-Gruppe im Kontext von verschachtelten Modellen verglichen werden. Fit-Indizes für das gruppenspezifische Modell (d. h. eindeutige Posttest-Mittelwerte, die für jede Gruppe geschätzt werden) und das eingeschränkte Modell (d. h. Posttest-Mittelwerte, die für alle Behandlungen und Gruppen als gleich festgelegt wurden) werden verglichen und die Differenz (Δχ2) wird gegen die getestet kritischer Wert, der der Differenz der Freiheitsgrade zwischen den Modellen entspricht (Δdf). Effektgrößen werden als Hedges g berechnet.

Leistung und Effektgröße. Die Datensimulation wurde verwendet, um die statistische Aussagekraft für den Haupteffekt auf die Ergebnisse der Schüler abzuschätzen. Diese sind als Beispiele gedacht, die auf alle primären und sekundären Ergebnisse angewendet werden können. Für die Schätzung der Aussagekraft wird die Verschachtelung auf Standort- und Kohortenebene ignoriert, da Intra-Class-Korrelationen in früheren Studien an ähnlichen Schulen vernachlässigbar waren, wenn der Pretest kontrolliert wurde. Darüber hinaus wurde die teilweise Verschachtelung auf der Grundlage früherer Erkenntnisse für mehrere Kohorten, mehrjährige Interventionen und teilweise verschachtelte Designs, die an diesen beiden Standorten implementiert wurden, ignoriert. Beim Blockieren von Schulen und beim Kontrollieren von Kovariaten auf Schulebene waren Clustereffekte von Standort, Kohorte und kleinen Unterrichtsgruppen für verständnisbezogene Ergebnisse trivial (0,00 bis 0,01 für die 2-Jahres-Intervention mit teilweiser Verschachtelung). Die Variabilität der Effektgröße unterschied sich statistisch nicht von 0 (σδ2 < 0,0001), was auf feste Behandlungseffekte hindeutet.

Power-Analysen gingen von einer Zeit-1-Stichprobe von 820 Schülern an 6 Schulen (n=205/Schule) aus. Im Bevölkerungsmodell ordneten die Ermittler die Fälle nach dem Zufallsprinzip der Behandlung oder BAU innerhalb der Schulen zu. Die Ermittler spezifizierten die Studentenabnutzung als 0,10 jährlich für beide Erkrankungen über Standorte und Kohorten hinweg ohne unterschiedliche Abnutzung durch Erkrankung oder durch Wechselwirkungen mit der Erkrankung, was auf eine Stichprobe von etwa 740 Schülern zum Bewertungszeitpunkt 2 (Frühjahrsjahr 1) und 670 zum Bewertungszeitpunkt 4 (Frühlingsjahr 2) hindeutet. Eine jährliche Fluktuationsrate von 10 % steht im Einklang mit früheren Studien, die das Forschungsteam an ähnlichen Schulen durchgeführt hat. Die Ermittler modellierten eine Kovariate auf Schulebene für den Pretest, um die Aussagekraft zu maximieren. In früheren Arbeiten entfielen etwa 75 % der Ergebnisvarianz auf Vortestmessungen der Leseergebnisse der Schüler (d. h. Wortlesen, Verständnis usw.). Die Leseergebnisse nach dem Test wurden als multivariate Normalwerte mit einem Mittelwert von 0 und einer Varianz von 1 in der unbehandelten Population modelliert. Für die der Behandlung zugewiesene Subpopulation wurde der Mittelwert nach dem Test auf 0,20 festgelegt, was eine auf Bevölkerungsebene standardisierte mittlere Differenz zwischen Behandlung und Kontrolle darstellt). Ein lesekompetenzbezogener Behandlungseffekt von 0,20 stellt einen bedeutenden Einfluss in dieser Population dar, sowohl auf die Lesemessungen auf Wortebene als auch auf die Ergebnisse beim Leseverständnis, bei der Rechtschreibung und beim Schreiben.

Im Stichprobenmodell schätzten die Untersucher Posttest-Mittelwerte als freie Parameter in den Behandlungs- und Vergleichsbedingungen, wobei Populationswerte als Ausgangswerte verwendet wurden. Die Wahrscheinlichkeit, die Nullhypothese abzulehnen, wenn sie falsch ist (d. h. statistische Aussagekraft), betrug 0,99, wenn Effekte als fest (σδ2 = 0) für Stichproben von 740 und 670 modelliert wurden. Die Verzerrung für den Schätzer72 betrug weniger als 1 %. Unter den gleichen Annahmen war eine standardisierte mittlere Differenz von 0,10 mit einer Leistung von mindestens 0,80 verbunden. Power-Schätzungen wurden für unabhängige Tests mit statistischer Signifikanz berechnet. Viele der obigen Kontraste sind jedoch nicht unabhängig. Um aufgeblasene Typ-1-Fehler im Zusammenhang mit Mehrfachvergleichen zu kontrollieren, schlagen die Forscher den Step-M-Ansatz für Modelle mit mehreren Ebenen und gemischten Effekten und hierarchischen Daten vor, der die Abhängigkeitsstruktur einzelner Teststatistiken nutzt und einen leistungsfähigeren Ansatz als Alternativen für die Handhabung bietet familienweiser Fehler in verschachtelten Daten.