Effektiviteten af ​​en toårig intensiv læseintervention for engelske elever på ungdomsskolen med læsevanskeligheder (TCLD)

Primær hypotese: Studerende, der modtager RISE-interventionen, vil overgå dem, der modtager Business as Usual-instruktion (BAU) på tværs af læserelaterede elementer, herunder ordlæsning, flydende og forståelse i slutningen af ​​behandlingsår to.

Sekundær hypotese: Studerende, der modtager RISE-interventionen, vil klare sig bedre end dem, der modtager Business as Usual-instruktion (BAU) om mål for ordlæsning og læseflydende efter et års behandling.

Oversigt over forskningsdesign

Deltagere i kohorte 1 vil blive rekrutteret i efteråret 2018 (6. og 7. klasse), og deltagere i kohorte 2 vil blive rekrutteret i efteråret 2020 (6. og 7. klasse). Deltagere, der opfylder berettigelseskriterierne, vil blive tilfældigt tildelt en af ​​to betingelser: (1) RISE-interventionen (én 45 til 50-minutters klasse, 5 dage om ugen) eller (2) en BAU-sammenligningsbetingelse. Studerende, der er identificeret som handicappede og modtager specialundervisning, som ellers opfylder alle kriterier, vil få lov til at deltage i undersøgelsen, og yderligere interventioner vil blive dokumenteret. Behandlingslærere ansættes og uddannes af efterforskerne. Deltagere i kontrolbetingelsen deltager typisk i et valgfag i den pågældende klasseperiode (f.eks. madlavning, musik) og nogle gange i en forberedelsesklasse til statens high stakes-test. Lærere vil blive tilknyttet én skole og ansvarlige for at give undervisning til eleverne i grupper fra 3 til 12 elever.

Deltagere

Projekt 3-eksemplet vil være sammensat af elever i 6. og 7. klasse fra seks mellemskoler med moderat til høj fattigdom i Austin/San Antonio og i Houston med et stort antal elever, der lærer engelsk som andetsprog. For at evaluere den primære hypotese vil der blive udført et randomiseret kontrolforsøg, der integrerer to ikke-overlappende kohorter af deltagere (to-årig intervention). Efterforskerne vil identificere prøvedeltagere ved hjælp af eksisterende skoleregistre og som beskrevet i inklusions-/eksklusionskriterierne.

Kohorte 1 vil bestå af 410 El'er med betydelige læsevanskeligheder, 205 tildelt Intervention (RISE) og 205 til BAU-sammenligningstilstanden uden intervention, der begynder i efteråret 2018 (år 1) og fortsætter i deres tildelte tilstand i år 2 (elever 7. eller 8. klasseår). Kohorte 2 vil være en ikke-overlappende stikprøve på 410 studerende, der er identificeret ved hjælp af de samme inklusions-/udelukkelseskriterier og også tilfældigt tildelt Intervention (RISE) eller BAU-sammenligningstilstanden uden intervention og forbliver i denne tilstand til og med år 2. Studerende, der er tildelt kontrol, kan modtage BAU tjenester (forskerdokumenteret) fra deres skoler, men vil ikke modtage læseintervention leveret af forskeren. Disse to kohorter (N = 820 studerende) vil give en prøve til fuld kraft til dataanalyse.

Foranstaltninger og vurderingsprocedurer

Data for Projekt 3 indsamles på 4 tidspunkter (begyndelse og slutning af år for år 1 og år 2) for hver kohorte, hvilket muliggør en analyse af behandlingseffekter efter et og to års behandling (se interventionsbeskrivelse). Forskerholdet, der er ansvarlig for ansættelse, uddannelse og supervision af dataindsamling i skolerne, og for rekruttering af skoler og deltagere, er erfarne og har arbejdet sammen de sidste 10 år. Dataindsamlere er blinde for deltagernes tilfældigt tildelte tilstand.

Primære og sekundære resultatmål er beskrevet i afsnit 9 (resultatmål).

Interventionsprocedurer

Indgrebet er detaljeret beskrevet i afsnit 8 (Våben, grupper og indgreb).

Implementeringstroskab. Implementeringstrohed vil blive evalueret minimum tre gange om året pr. interventionslærer. Alle interventionslærere vil lydoptage alle interventionslektioner. En tilfældig stikprøve af optagelser vil blive udvalgt, og nøgleindikatorer for overholdelse af interventionsimplementering og kvaliteten af ​​implementering vil blive evalueret af en koder. Alle kodere vil blive trænet, og pålidelighed vil blive etableret forud for uafhængig kodning.

Interventionslærere. På hvert sted vil højtuddannet personale hyret og overvåget af efterforskerne levere alle behandlinger. Disse lærere vil få 20 timers træning forud for implementering og derefter løbende træning og support på stedet i mindst 10 timer om måneden. Alle behandlinger vil blive givet dagligt i gruppestørrelser på omkring 8-11 studerende i 50 minutter om dagen.

Business as Usual (BAU) sammenligningstilstand. Studerende, der er tildelt BAU eller sammenligningsbetingelsen, vil deltage i en valgfri klasse, der inkluderer muligheder som musik, madlavning, film, studietid eller forberedelse til high-stakes test. Disse studerende vil deltage i det fulde normative uddannelsesprogram på deres skoler, men vil ikke modtage undervisning fra forskerholdet.

Datastyring

Dataindsamling. Datastyringsteamet vil konstruere dataindsamlingsformularer og retningslinjer for udfyldelse af disse formularer. Når ændringer af procedurer eller formularer er nødvendige, vil datastyringspersonale kommunikere disse ændringer til personalet på hvert sted og sikre, at procedurer og formularmanualer er korrekt opdateret. Datastyringspersonale vil også arbejde for at sikre konsistens i formularlayout, formularrevision og formularnummerering. Datastyring og statistisk personale arbejder også sammen med dataansvarlige for at udføre datarevisioner for at sikre, at fejlraterne er ubetydelige for alle datafelter.

Datastyring. Datastyringspersonale udfører alle databasedesign-, -styrings- og indsamlingsrelaterede aktiviteter på en måde, der resulterer i, at alle projektdata bliver skrevet til Texas Institute for Measurement, Evaluation and Statistics (TIMES) datavarehus. Lageret er designet til maksimal dataintegritet og standardisering inden for og på tværs af projekter, samtidig med at det giver mulighed for nødvendig fleksibilitet på tværs af TIMES projekter i deres design og specifikke tiltag og metoder. Brugen af ​​lageret som den primære projektledelsesdatastruktur øger standardiseringen på tværs af projekter. Lageret konstruerer også automatisk et elektronisk revisionsspor af alle datastyringsaktiviteter, der resulterer i modifikation af selv et enkelt dataelement, hvilket sammen med standardisering er afgørende for kvalitetskontrol i elektroniske databaser.

Dataanalyse

Overordnet strategi, metode og analyser. Beskrivende træk ved dataene vil blive undersøgt før analyse. Ikke-normale afhængige variabler vil blive transformeret (logaritmisk, kvadratrod, inverse osv.) efter behov og passende. Outliers vil blive identificeret ved hjælp af modificeret z-score-analyse og håndteret fra sag til sag i henhold til deres løftestang og indflydelse i specifikke modeller. Antagelser om, at fejl er normalfordelte, homoskedastiske og uafhængige på tværs af prøveudtagningsenheder og niveauer af modellen, vil blive evalueret ved at analysere residualer. Rester på højere niveauer antages typisk at være multivariate normale og uafhængige af lavere niveaufejl. Efterforskerne vil supplere restanalyser med indflydelsesdiagnostik. Heterogenitet vil blive behandlet i overensstemmelse med dens tilsyneladende kilde(r) ved at anvende ikke-lineære transformationer af prædiktorer og/eller afhængige variabler efter behov. Forskerne vil behandle den primære forskningshypotese i sammenhæng med multiple group (RISE intervention v. BAU), multilevel regression og strukturelle ligningsmodeller (SEM).

Analytisk plan. Multipel gruppe, multilevel regression og SEM'er vil være egnet til at estimere hovedeffekten af ​​behandling på 1) ordlæsning og flydende resultater efter 1 års intervention og ordlæsning, flydende og forståelse efter 2 års intervention For hver model vil prætestresultater centreres efter behov og bruges som niveau-1-kovariater. Midler på skoleniveau ved prætest vil blive inkluderet som "kontekstuelle effekter" for at minimere variabilitet på skoleniveau, hvilket forbedrer den statistiske styrke. Behandlingens hovedeffekter (forudsat en intention-to-treat-model) vil blive estimeret på elevniveau ved at sammenligne betingede posttest-midler for RISE-gruppen og BAU-gruppen i sammenhæng med indlejrede modeller. Tilpasningsindekser for den gruppespecifikke model (dvs. unikke posttest-midler estimeret for hver gruppe) og den begrænsede model (dvs. posttest-midler fastsat som lige på tværs af behandling og grupper) vil blive sammenlignet, og forskellen (Δχ2) vil blive testet mod kritisk værdi, der svarer til forskellen i frihedsgrader på tværs af modeller (Δdf). Effektstørrelser vil blive beregnet som Hedges g.

Kraft og effektstørrelse. Datasimulering blev brugt til at estimere statistisk effekt for hovedeffekten på elevernes resultater. Disse er tænkt som eksempler, der kan anvendes på tværs af alle primære og sekundære resultater. Til estimering af kraft ignoreres nesting på lokalitets- og kohorteniveauer, da Intra Class-korrelationer i tidligere undersøgelser på lignende skoler har været ubetydelige ved kontrol til prætest. Derudover blev delvis indlejring ignoreret baseret på tidligere resultater for multi-kohorte, flerårige interventioner og delvist indlejrede design implementeret på disse to steder. Ved blokering på skoler og ved kontrol for kovariater på skoleniveau, var klyngeeffekter af sted, kohorte og små undervisningsgrupper trivielle for forståelsesrelaterede resultater (0,00-0,01 for den 2-årige intervention med delvis nesting). Variabilitet i effektstørrelse afveg ikke statistisk fra 0 (σδ2 < 0,0001), foreslår faste behandlingseffekter.

Effektanalyser antog en gang 1 stikprøve på 820 elever fordelt på 6 skoler (n=205/skole). I befolkningsmodellen tildelte efterforskerne tilfældigt sager til behandling eller BAU inden for skolerne. Efterforskerne specificerede studerendes nedslidning som .10 årligt for både tilstande på tværs af lokaliteter og på tværs af kohorter uden differentiel nedslidning efter tilstand eller ved interaktioner, der involverer tilstand, hvilket tyder på en stikprøve på cirka 740 elever på vurderingstidspunkt 2 (forår år 1) og 670 på vurderingstidspunkt 4 (forår år 2). En årlig nedslidning på 10 % er i overensstemmelse med tidligere undersøgelser udført af forskerholdet på lignende skoler. Efterforskerne modellerede en kovariat på skoleniveau til prætesten for at maksimere kraften. I tidligere arbejde udgjorde prætestmålinger af elevers læseresultater (dvs. ordlæsning, forståelse osv.) omkring 75 % af udfaldsvariansen. Posttest-læsningsscore blev modelleret som multivariat normal med et gennemsnit på 0 og varians på 1 i den ubehandlede population. For den delpopulation, der blev tildelt behandling, blev posttest-gennemsnittet sat til 0,20, hvilket repræsenterer en standardiseret gennemsnitsforskel på populationsniveau mellem behandling og kontrol). En læsefærdighedsrelateret behandlingseffekt på 0,20 repræsenterer en meningsfuld indvirkning i denne population, både på læsemål på ordniveau og på læseforståelse, stavning og skriveresultater.

I stikprøvemodellen estimerede efterforskerne posttest-middelværdier som frie parametre i behandlings- og sammenligningsbetingelserne ved at bruge populationsværdier som startværdier. Sandsynligheden for at forkaste nulhypotesen, når den er falsk (dvs. statistisk styrke) var 0,99 ved modellering af effekter som faste (σδ2 = 0) for prøver på 740 og 670. Bias for estimatoren72 var mindre end 1 %. Under de samme antagelser var en standardiseret middelforskel på 0,10 forbundet med en effekt på mindst 0,80. Effektestimater blev beregnet til uafhængige test af statistisk signifikans. Mange af ovenstående kontraster er dog ikke uafhængige. For at kontrollere for oppustede type 1-fejl forbundet med flere sammenligninger, foreslår efterforskerne Step M-tilgangen til modeller med flere niveauer og blandede effekter og hierarkiske data, som udnytter afhængighedsstrukturen af ​​individuelle teststatistikker og tilbyder en mere kraftfuld tilgang end alternativer til håndtering familiemæssig fejl i indlejrede data.