Effekten av en toårig intensiv leseintervensjon for engelske elever på ungdomsskolen med lesevansker (TCLD)

Primærhypotese: Studenter som mottar RISE-intervensjonen vil overgå de som mottar Business as Usual-instruksjon (BAU) på tvers av leserelaterte elementer, inkludert ordlesing, flyt og forståelse ved slutten av behandlingsår to.

Sekundær hypotese: Studenter som mottar RISE-intervensjonen vil overgå de som mottar Business as Usual-instruksjoner (BAU) om mål på ordlesing og leseflyt etter ett års behandling.

Forskningsdesignoversikt

Deltakere i kull 1 vil bli rekruttert høsten 2018 (6. og 7. klasse) og deltakere i kull 2 ​​rekrutteres høsten 2020 (6. og 7. klasse). Deltakere som oppfyller kvalifikasjonskriteriene vil bli tilfeldig tildelt en av to forhold: (1) RISE-intervensjonen (en 45 til 50-minutters klasse, 5 dager per uke) eller (2) en BAU-sammenligningsbetingelse. Studenter identifisert som funksjonshemmede og som mottar spesialundervisning som ellers oppfyller alle kriterier vil få delta i studien og ytterligere intervensjoner vil bli dokumentert. Behandlingslærere ansettes og utdannes av etterforskerne. Deltakere i kontrolltilstanden deltar vanligvis i et valgfag i løpet av den klasseperioden (f.eks. matlaging, musikk), og noen ganger i en forberedelsesklasse for statens høyinnsatstest. Lærere vil bli tildelt én skole og ansvarlig for å gi undervisning til elever i grupper fra 3 til 12 elever.

Deltakere

Prosjekt 3-utvalget vil være sammensatt av elever i 6. og 7. klasse fra seks middelskoler med moderat til høy fattigdom i Austin/San Antonio og i Houston med et stort antall elever som lærer engelsk som andrespråk. For å evaluere den primære hypotesen, vil en randomisert kontrollstudie som integrerer to ikke-overlappende kohorter av deltakere (to-års intervensjon) bli utført. Etterforskerne vil identifisere prøvedeltakere ved å bruke eksisterende skolejournaler og som beskrevet i inkluderings-/ekskluderingskriteriene.

Kohort 1 vil bestå av 410 El-er med betydelige lesevansker, 205 tildelt Intervention (RISE) og 205 til BAU-sammenligningsbetingelsen uten intervensjon som begynner høsten 2018 (År 1) og fortsetter i sin tildelte tilstand i år 2 (elever 7. eller 8. klasseår). Kohort 2 vil være et ikke-overlappende utvalg av 410 studenter identifisert ved bruk av de samme inkluderings-/eksklusjonskriteriene og også tilfeldig tildelt Intervention (RISE) eller BAU-sammenligningsbetingelsen uten intervensjon og forblir i denne tilstanden til og med år 2. Studenter som er tildelt kontroll kan motta BAU tjenester (forskerdokumentert) fra deres skoler, men vil ikke motta leseintervensjon levert av forskere. Disse to kohortene (N = 820 studenter) vil gi et utvalg for fullstendig dataanalyse.

Tiltak og vurderingsprosedyrer

Dataene for Prosjekt 3 samles inn på 4 tidspunkter (begynnelsen og slutten av året for år 1 og år 2) for hver kohort, noe som tillater en analyse av behandlingseffekter etter ett og to års behandling (se intervensjonsbeskrivelse). Forskerteamet som er ansvarlig for ansettelse, opplæring og veiledning av datainnsamling i skolen, og for rekruttering av skoler og deltakere, er erfarne og har jobbet sammen de siste 10 årene. Datainnsamlere er blinde for deltakernes tilfeldig tildelte tilstand.

Primære og sekundære utfallsmål er beskrevet i avsnitt 9 (resultatmål).

Intervensjonsprosedyrer

Intervensjonen er beskrevet i detalj i avsnitt 8 (Våpen, grupper og intervensjoner).

Fidelity of Implementation. Troskap i implementeringen vil bli evaluert minimum tre ganger per år per intervensjonslærer. Alle intervensjonslærere vil ta opp alle intervensjonstimer på lyd. Et tilfeldig utvalg av opptak vil bli valgt, og nøkkelindikatorer for etterlevelse av intervensjonsimplementering og kvaliteten på implementering vil bli evaluert av en koder. Alle kodere vil bli opplært og pålitelighet vil bli etablert før uavhengig koding.

Intervensjonslærere. På hvert sted vil høyt trent personell ansatt og overvåket av etterforskerne levere alle behandlingene. Disse lærerne vil få 20 timers opplæring før implementering og deretter kontinuerlig opplæring og støtte på stedet i minst 10 timer per måned. Alle behandlinger vil bli gitt daglig i gruppestørrelser på ca. 8-11 studenter i 50 minutter om dagen.

Business as Usual (BAU) sammenligningstilstand. Studenter som er tildelt BAU eller sammenligningsbetingelsen vil delta i en valgfri klasse som inkluderer alternativer som musikk, matlaging, film, studietid eller forberedelse av høy innsats. Disse studentene vil delta i det fulle normative utdanningsprogrammet på skolene sine, men vil ikke motta undervisning fra forskerteamet.

Dataledelse

Datainnsamling. Databehandlingsteamet vil konstruere datainnsamlingsskjemaer og retningslinjer for å fylle ut disse skjemaene. Når endringer i prosedyrer eller skjemaer er nødvendig, vil databehandlingspersonalet kommunisere disse endringene til personalet på hvert sted og sørge for at prosedyrer og skjemamanualer er riktig oppdatert. Databehandlingspersonalet vil også arbeide for å sikre konsistens i skjemaoppsett, skjemarevisjoner og skjemanummerering. Databehandling og statistisk personale samarbeider også med dataansvarlige for å gjennomføre datarevisjoner for å sikre at feilratene er ubetydelige for alle datafelt.

Dataledelse. Databehandlingspersonell utfører all databasedesign, administrasjon og innsamlingsrelaterte aktiviteter på en måte som resulterer i at alle prosjektdata blir skrevet til Texas Institute for Measurement, Evaluation, and Statistics (TIMES) datavarehus. Lageret er designet for maksimal dataintegritet og standardisering innenfor og på tvers av prosjekter, samtidig som det tillater nødvendig fleksibilitet på tvers av TIMES-prosjekter i deres design og spesifikke tiltak og metoder. Bruken av lageret som primær prosjektledelsesdatastruktur øker standardiseringen på tvers av prosjekter. Lageret konstruerer også automatisk et elektronisk revisjonsspor av alle databehandlingsaktiviteter som resulterer i modifikasjon av selv et enkelt dataelement, som sammen med standardisering er avgjørende for kvalitetskontroll i elektroniske databaser.

Dataanalyse

Overordnet strategi, metodikk og analyser. Beskrivende trekk ved dataene vil bli undersøkt før analyse. Ikke-normale avhengige variabler vil bli transformert (logaritmisk, kvadratrot, invers osv.) etter behov og hensiktsmessig. Outliers vil bli identifisert ved hjelp av modifisert z-score-analyse, og håndtert fra sak til sak i henhold til deres innflytelse og innflytelse i spesifikke modeller. Antakelser om at feil er normalfordelte, homoskedastiske og uavhengige på tvers av samplingsenheter og nivåer i modellen vil bli evaluert ved å analysere residualer. Rester på høyere nivåer antas vanligvis å være multivariate normale og uavhengige av lavere nivåfeil. Etterforskerne vil supplere restanalyser med påvirkningsdiagnostikk. Heterogenitet vil bli adressert i henhold til dens tilsynelatende kilde(r), ved å bruke ikke-lineære transformasjoner av prediktorer og/eller avhengige variabler som hensiktsmessig og nødvendig. Etterforskerne vil ta for seg den primære forskningshypotesen i sammenheng med multippelgruppe (RISE intervensjon v. BAU), multilevel regresjon og strukturelle ligningsmodeller (SEM).

Analytisk plan. Flere gruppe-, multilevel-regresjoner og SEM-er vil være egnet til å estimere hovedeffekten av behandling på 1) ordlesing og flytende resultater etter 1 års intervensjon og ordlesing, flyt og forståelse etter 2 års intervensjon For hver modell vil pretestskåre sentreres etter behov og brukes som nivå-1-kovariater. Midler på skolenivå ved pretest vil bli inkludert som "kontekstuelle effekter" for å minimere variasjoner på skolenivå, og forbedre statistisk kraft. Behandlingens hovedeffekter (forutsatt en intent-to-treat-modell) vil bli estimert på elevnivå ved å sammenligne betingede posttest-midler for RISE-gruppen og BAU-gruppen i sammenheng med nestede modeller. Tilpasningsindekser for den gruppespesifikke modellen (dvs. unike posttest-midler estimert for hver gruppe) og den begrensede modellen (dvs. posttest-midler fastsatt som lik på tvers av behandling og grupper) vil bli sammenlignet og forskjellen (Δχ2) vil bli testet mot kritisk verdi som tilsvarer forskjellen i frihetsgrader på tvers av modeller (Δdf). Effektstørrelser vil bli beregnet som hekker g.

Kraft og effektstørrelse. Datasimulering ble brukt for å estimere statistisk kraft for hovedeffekten på elevresultater. Disse er ment som eksempler som kan brukes på tvers av alle primære og sekundære utfall. For å estimere kraft ignoreres hekking på lokalitets- og kohortnivå, ettersom intraklassekorrelasjoner i tidligere studier på lignende skoler har vært ubetydelige ved kontroll for forhåndstest. I tillegg ble delvis hekking ignorert basert på tidligere funn for intervensjoner med flere kohorter, flerårige og delvis nestede design implementert på disse to stedene. Ved blokkering på skoler og ved kontroll for kovariater på skolenivå, var klyngeeffekter av sted, kohort og små instruksjonsgrupper trivielle for forståelsesrelaterte utfall (0,00-0,01 for 2-års intervensjon med delvis hekking). Variasjon i effektstørrelse skilte seg ikke statistisk fra 0 (σδ2 < 0,0001), antyder faste behandlingseffekter.

Kraftanalyser antok en gang 1-utvalg på 820 elever fordelt på 6 skoler (n=205/skole). I populasjonsmodellen tildelte etterforskerne saker tilfeldig til behandling eller BAU innenfor skoler. Etterforskerne spesifiserte studentavgang som .10 årlig for både tilstander på tvers av steder og på tvers av kohorter uten differensiell avgang etter tilstand eller ved interaksjoner som involverer tilstand, noe som antyder et utvalg på omtrent 740 elever ved vurderingstid 2 (vårår 1) og 670 ved vurderingstidspunkt 4 (vårår 2). En årlig avgang på 10 % stemmer overens med tidligere studier utført av forskerteamet ved tilsvarende skoler. Etterforskerne modellerte en kovariat på skolenivå for pretesten for å maksimere kraften. I tidligere arbeid utgjorde forhåndstestmål av elevenes leseresultater (dvs. ordlesing, forståelse osv.) for omtrent 75 % av utfallsvariansen. Leseresultater etter test ble modellert som multivariat normal med et gjennomsnitt på 0 og varians på 1 i den ubehandlede populasjonen. For underpopulasjonen som ble tildelt behandling, ble posttest-gjennomsnittet satt til 0,20, som representerer en standardisert gjennomsnittsforskjell på populasjonsnivå mellom behandling og kontroll). En leseferdighetsrelatert behandlingseffekt på .20 representerer en meningsfull innvirkning i denne populasjonen, både på lesemål på ordnivå og på leseforståelse, staving og skriveutfall.

I prøvemodellen estimerte etterforskerne posttest-gjennomsnitt som frie parametere i behandlings- og sammenligningsforholdene, ved å bruke populasjonsverdier som startverdier. Sannsynligheten for å forkaste nullhypotesen når den er usann (dvs. statistisk styrke) var 0,99 ved modellering av effekter som faste (σδ2 = 0) for prøver på 740 og 670. Bias for estimatoren72 var mindre enn 1 %. Under de samme forutsetningene var en standardisert gjennomsnittlig forskjell på 0,10 assosiert med en effekt på minst 0,80. Effektestimater ble beregnet for uavhengige tester av statistisk signifikans. Imidlertid er mange av kontrastene ovenfor ikke uavhengige. For å kontrollere for oppblåst type 1-feil assosiert med flere sammenligninger, foreslår etterforskerne Step M-tilnærmingen for modeller med flere nivåer og blandede effekter og hierarkiske data, som drar fordel av avhengighetsstrukturen til individuell teststatistikk og tilbyr en kraftigere tilnærming enn alternativer for håndtering familiemessig feil i nestede data.