Doeltreffendheid van een tweejarige intensieve leesinterventie voor leerlingen Engels op de middelbare school met leesproblemen (TCLD)

Hoofdhypothese: Leerlingen die de RISE-interventie krijgen, presteren beter dan leerlingen die Business as Usual (BAU)-instructies krijgen op het gebied van leesgerelateerde elementen, waaronder woordlezen, vloeiendheid en begrip aan het einde van het tweede jaar van de behandeling.

Secundaire hypothese: Studenten die de RISE-interventie krijgen, presteren beter dan degenen die Business as Usual (BAU)-instructie krijgen op het gebied van woordlezen en leesvaardigheid na één jaar behandeling.

Overzicht onderzoeksontwerp

Deelnemers aan cohort 1 worden in het najaar van 2018 geworven (6e en 7e leerjaar) en deelnemers aan cohort 2 worden in het najaar van 2020 geworven (6e en 7e leerjaar). Deelnemers die aan de geschiktheidscriteria voldoen, worden willekeurig toegewezen aan een van de twee voorwaarden: (1) de RISE-interventie (één les van 45 tot 50 minuten, 5 dagen per week) of (2) een BAU-vergelijkingsvoorwaarde. Studenten waarvan is vastgesteld dat ze een handicap hebben en die speciaal onderwijs volgen en verder aan alle criteria voldoen, mogen deelnemen aan het onderzoek en aanvullende interventies zullen worden gedocumenteerd. Behandeldocenten worden ingehuurd en opgeleid door de onderzoekers. Deelnemers in de controleconditie nemen doorgaans deel aan een keuzevak tijdens die lesperiode (bijvoorbeeld koken, muziek), en soms aan een voorbereidingsles voor de high stakes-test van de staat. Leraren worden toegewezen aan één school en zijn verantwoordelijk voor het geven van instructie aan leerlingen in groepen van 3 tot 12 leerlingen.

Deelnemers

De steekproef van Project 3 zal bestaan ​​uit leerlingen van de 6e en 7e klas van zes middenscholen in Austin/San Antonio en in Houston met matige tot hoge armoede, met grote aantallen leerlingen die Engels als tweede taal leren. Om de primaire hypothese te evalueren, zal één gerandomiseerde controlestudie worden uitgevoerd waarin twee niet-overlappende cohorten van deelnemers worden geïntegreerd (interventie van twee jaar). De onderzoekers zullen steekproefdeelnemers identificeren aan de hand van bestaande schoolgegevens en zoals beschreven in de opname-/uitsluitingscriteria.

Cohort 1 zal bestaan ​​uit 410 Els met significante leesproblemen, 205 toegewezen aan Intervention (RISE) en 205 aan de BAU-vergelijkingsconditie zonder interventie vanaf najaar 2018 (jaar 1) en voortgezet in hun toegewezen conditie in jaar 2 (studenten 7e of 8e leerjaar). Cohort 2 zal een niet-overlappende steekproef zijn van 410 studenten die zijn geïdentificeerd met behulp van dezelfde inclusie-/uitsluitingscriteria en ook willekeurig zijn toegewezen aan Intervention (RISE) of de BAU-vergelijkingsconditie zonder interventie en die in die conditie blijven tot en met jaar 2. Studenten die zijn toegewezen aan controle kunnen BAU ontvangen diensten (door onderzoeker gedocumenteerd) van hun scholen, maar zullen geen door onderzoekers verstrekte leesinterventie ontvangen. Deze twee cohorten (N = 820 studenten) zullen een voorbeeld vormen om de gegevensanalyse volledig te ondersteunen.

Maatregelen en beoordelingsprocedures

De gegevens voor project 3 worden verzameld op 4 tijdstippen (begin en einde van het jaar voor jaar 1 en jaar 2) voor elk cohort, waardoor een analyse van de behandelingseffecten na één en twee jaar behandeling mogelijk is (zie interventiebeschrijving). Het onderzoeksteam dat verantwoordelijk is voor het aannemen, opleiden en begeleiden van dataverzameling in scholen, en voor het werven van scholen en deelnemers, is ervaren en werkt al 10 jaar samen. Gegevensverzamelaars zijn blind voor de willekeurig toegewezen conditie van deelnemers.

Primaire en secundaire uitkomstmaten worden beschreven in paragraaf 9 (uitkomstmaten).

Interventieprocedures

De interventie wordt in detail beschreven in hoofdstuk 8 (Wapens, groepen en interventies).

Getrouwheid van implementatie. De betrouwbaarheid van de implementatie wordt minimaal drie keer per jaar per interventiedocent geëvalueerd. Alle interventiedocenten nemen alle interventielessen op met audio. Een willekeurige steekproef van opnames zal worden geselecteerd en de belangrijkste indicatoren van de naleving van de interventie-implementatie en de kwaliteit van de implementatie zullen worden geëvalueerd door een codeur. Alle codeerders worden getraind en betrouwbaarheid wordt vastgesteld voorafgaand aan onafhankelijke codering.

Interventie Leraren. Op elke locatie zal hoogopgeleid personeel, ingehuurd en begeleid door de onderzoekers, alle behandelingen uitvoeren. Deze docenten krijgen voorafgaand aan de implementatie 20 uur training en daarna doorlopende training en on-site ondersteuning gedurende minimaal 10 uur per maand. Alle behandelingen worden dagelijks gegeven in groepsgroottes van ongeveer 8-11 studenten gedurende 50 minuten per dag.

Business as Usual (BAU) vergelijkingsvoorwaarde. Studenten die zijn toegewezen aan de BAU- of vergelijkingsconditie, nemen deel aan een keuzevak met opties als muziek, koken, film, studietijd of voorbereiding op een toets met een hoge inzet. Deze leerlingen volgen het volledige normatieve onderwijsprogramma op hun school, maar krijgen geen instructie van het onderzoeksteam.

Gegevensbeheer

Gegevensverzameling. Het datamanagementteam stelt data-acquisitieformulieren en richtlijnen voor het invullen van die formulieren op. Wanneer er wijzigingen aan procedures of formulieren nodig zijn, zal het gegevensbeheerpersoneel deze wijzigingen doorgeven aan het personeel op elke locatie en ervoor zorgen dat procedures en formulierenhandleidingen op de juiste manier worden bijgewerkt. Het personeel voor gegevensbeheer zal ook zorgen voor consistentie in de lay-out van formulieren, de revisie van formulieren en de nummering van formulieren. Gegevensbeheer en statistisch personeel werken ook samen met gegevensbeheerders om gegevensaudits uit te voeren om ervoor te zorgen dat foutpercentages voor alle gegevensvelden verwaarloosbaar zijn.

Gegevensbeheer. Gegevensbeheerpersoneel voert alle databaseontwerp-, beheer- en verzamelingsgerelateerde activiteiten uit op een manier die ertoe leidt dat alle projectgegevens worden weggeschreven naar het datawarehouse van het Texas Institute for Measurement, Evaluation and Statistics (TIMES). Het magazijn is ontworpen voor maximale gegevensintegriteit en standaardisatie binnen en tussen projecten, terwijl de nodige flexibiliteit tussen TIMES-projecten mogelijk is in hun ontwerpen en specifieke maatregelen en methoden. Het gebruik van het magazijn als de primaire gegevensstructuur voor projectbeheer verhoogt de standaardisatie tussen projecten. Het magazijn bouwt ook automatisch een elektronisch audittraject op van alle gegevensbeheeractiviteiten die resulteren in de wijziging van zelfs maar een enkel gegevenselement, wat samen met standaardisatie essentieel is voor kwaliteitscontrole in elektronische databases.

Gegevensanalyse

Algemene strategie, methodologie en analyses. Voorafgaand aan de analyse worden beschrijvende kenmerken van de gegevens onderzocht. Niet-normale afhankelijke variabelen zullen worden getransformeerd (logaritmisch, vierkantswortel, omgekeerd, etc.) waar nodig en passend. Uitbijters zullen worden geïdentificeerd met behulp van aangepaste z-score-analyse en van geval tot geval worden behandeld op basis van hun hefboomwerking en invloed in specifieke modellen. Aannames dat fouten normaal verdeeld, homoscedastisch en onafhankelijk zijn over steekproefeenheden en niveaus van het model, zullen worden geëvalueerd door residuen te analyseren. Residuen op hogere niveaus worden doorgaans verondersteld multivariate normaal te zijn en onafhankelijk van fouten op lager niveau. De onderzoekers zullen restanalyses aanvullen met invloedsdiagnostiek. Heterogeniteit zal worden aangepakt op basis van de schijnbare bron(nen), met behulp van niet-lineaire transformaties van voorspellende variabelen en/of afhankelijke variabelen waar passend en nodig. De onderzoekers zullen de primaire onderzoekshypothese behandelen in de context van meerdere groepen (RISE interventie v. BAU), multilevel regressie en structurele vergelijkingsmodellen (SEM).

analytisch plan. Meerdere groepen, multilevel regressies en SEM's zullen geschikt zijn om het belangrijkste effect van de behandeling te schatten op 1) resultaten van woordlezen en vloeiendheid na 1 jaar interventie en woordlezen, vloeiendheid en begrip na 2 jaar interventie. Voor elk model zullen de pretestscores worden gecentreerd waar nodig en gebruikt als covariaten van niveau 1. Middelen op schoolniveau bij pretest zullen worden opgenomen als "contextuele effecten" om variabiliteit op schoolniveau te minimaliseren, waardoor de statistische kracht wordt verbeterd. De hoofdeffecten van de behandeling (uitgaande van een intent-to-treat-model) zullen worden geschat op het niveau van de student door de voorwaardelijke posttestgemiddelden voor de RISE-groep en de BAU-groep te vergelijken in de context van geneste modellen. Geschikte indices voor het groepsspecifieke model (d.w.z. unieke posttest-gemiddelden geschat voor elke groep) en het beperkte model (d.w.z. posttest-gemiddelden vastgesteld als gelijk voor alle behandelingen en groepen) zullen worden vergeleken en het verschil (Δχ2) zal worden getoetst aan de kritische waarde die overeenkomt met het verschil in vrijheidsgraden tussen modellen (Δdf). Effectgroottes worden berekend als Hedges g.

Kracht en effectgrootte. Gegevenssimulatie werd gebruikt om het statistische vermogen voor het belangrijkste effect op de resultaten van studenten te schatten. Deze zijn bedoeld als voorbeelden die kunnen worden toegepast op alle primaire en secundaire uitkomsten. Voor het schatten van het vermogen wordt nesting op locatie- en cohortniveau genegeerd, aangezien intra-klascorrelaties in eerdere studies in vergelijkbare scholen verwaarloosbaar waren bij het controleren voor pretest. Bovendien werd gedeeltelijke nesting genegeerd op basis van eerdere bevindingen voor meerjarige interventies met meerdere cohorten en gedeeltelijk geneste ontwerpen die op deze twee sites waren geïmplementeerd. Bij het blokkeren op scholen en bij het controleren voor covariaten op schoolniveau, waren de clusteringeffecten van locatie, cohort en kleine instructiegroepen triviaal voor begripsgerelateerde uitkomsten (0,00-0,01 voor de 2-jarige interventie met gedeeltelijke nesting). Variabiliteit in effectgrootte verschilde statistisch niet van 0 (σδ2 < .0001), suggereren vaste behandeleffecten.

Poweranalyses gingen uit van een tijd 1 steekproef van 820 leerlingen verdeeld over 6 scholen (n=205/school). In het populatiemodel wezen de onderzoekers willekeurig gevallen toe aan behandeling of BAU binnen scholen. De onderzoekers specificeerden het verloop van studenten als .10 jaarlijks voor beide condities op verschillende locaties en tussen cohorten zonder differentiële uitval per conditie of door interacties met conditie, wat duidt op een steekproef van ongeveer 740 studenten op beoordelingstijdstip 2 (voorjaarsjaar 1) en 670 op beoordelingstijdstip 4 (voorjaarsjaar 2). Een jaarlijks uitvalpercentage van 10% komt overeen met eerdere studies uitgevoerd door het onderzoeksteam op vergelijkbare scholen. De onderzoekers modelleerden een covariabele op schoolniveau voor de pretest om het vermogen te maximaliseren. In eerder werk waren pretestmetingen van leesresultaten van leerlingen (d.w.z. woordlezen, begrip, enz.) goed voor ongeveer 75% van de uitkomstvariantie. Leesscores na de test werden gemodelleerd als multivariaat normaal met een gemiddelde van 0 en een variantie van 1 in de onbehandelde populatie. Voor de subpopulatie die aan behandeling was toegewezen, werd het posttestgemiddelde vastgesteld op 0,20, wat een gestandaardiseerd gemiddeld verschil op populatieniveau vertegenwoordigt tussen behandeling en controle). Een geletterdheidsgerelateerd behandeleffect van 0,20 vertegenwoordigt een betekenisvolle impact in deze populatie, zowel op leesmetingen op woordniveau als op begrijpend lezen, spellen en schrijven.

In het steekproefmodel schatten de onderzoekers posttestgemiddelden als vrije parameters in de behandelings- en vergelijkingsomstandigheden, met behulp van populatiewaarden als startwaarden. De waarschijnlijkheid dat de nulhypothese wordt verworpen wanneer deze onwaar is (d.w.z. statistisch vermogen) was 0,99 bij het modelleren van effecten als vast (σδ2 = 0) voor steekproeven van 740 en 670. De bias voor de schatter72 was minder dan 1%. Onder dezelfde aannames ging een gestandaardiseerd gemiddeld verschil van .10 gepaard met een vermogen van ten minste .80. Vermogensschattingen werden berekend voor onafhankelijke tests van statistische significantie. Veel van de bovenstaande contrasten zijn echter niet onafhankelijk. Om te controleren op opgeblazen type 1-fouten in verband met meerdere vergelijkingen, stellen de onderzoekers de stap M-benadering voor voor modellen met meerdere niveaus en gemengde effecten en hiërarchische gegevens, die profiteert van de afhankelijkheidsstructuur van individuele teststatistieken en een krachtigere benadering biedt dan alternatieven voor het hanteren familiefout in geneste gegevens.