Efficacia di un intervento di lettura intensiva di due anni per studenti di inglese della scuola media con difficoltà di lettura (TCLD)

Ipotesi principale: gli studenti che ricevono l'intervento RISE supereranno quelli che ricevono l'istruzione Business as Usual (BAU) in elementi relativi alla lettura, tra cui lettura di parole, fluidità e comprensione alla fine del secondo anno di trattamento.

Ipotesi secondaria: gli studenti che ricevono l'intervento RISE supereranno quelli che ricevono l'istruzione Business as Usual (BAU) sulle misure di lettura delle parole e fluidità di lettura dopo un anno di trattamento.

Panoramica del progetto di ricerca

I partecipanti alla Coorte 1 saranno reclutati nell'autunno del 2018 (6° e 7° grado) e i partecipanti alla Coorte 2 saranno reclutati nell'autunno 2020 (6° e 7° grado). I partecipanti che soddisfano i criteri di ammissibilità verranno assegnati in modo casuale a una delle due condizioni: (1) l'intervento RISE (una lezione da 45 a 50 minuti, 5 giorni a settimana) o (2) una condizione di confronto BAU. Gli studenti identificati come affetti da disabilità e che ricevono un'istruzione speciale che altrimenti soddisfano tutti i criteri saranno autorizzati a partecipare allo studio e saranno documentati ulteriori interventi. Gli insegnanti di trattamento sono assunti e formati dagli investigatori. I partecipanti nella condizione di controllo in genere partecipano a un corso facoltativo durante quel periodo di lezione (ad esempio, cucina, musica) e talvolta a un corso di preparazione per il test di stato ad alta posta in gioco. Gli insegnanti saranno assegnati a una scuola e responsabili di fornire istruzione agli studenti in gruppi che vanno da 3 a 12 studenti.

Partecipanti

Il campione del Progetto 3 sarà composto da studenti di 6a e 7a elementare provenienti da sei scuole medie di povertà da moderata ad alta ad Austin/San Antonio ea Houston con un gran numero di studenti che stanno imparando l'inglese come seconda lingua. Per valutare l'ipotesi primaria, verrà condotto uno studio di controllo randomizzato che integri due coorti di partecipanti non sovrapposte (intervento di due anni). Gli investigatori identificheranno i partecipanti al campione utilizzando i registri scolastici esistenti e come descritto nei criteri di inclusione/esclusione.

La coorte 1 sarà composta da 410 El con difficoltà di lettura significative, 205 assegnate all'intervento (RISE) e 205 alla condizione di confronto BAU senza intervento a partire dall'autunno 2018 (anno 1) e proseguendo nella condizione assegnata nell'anno 2 (studenti 7 o 8 anno scolastico). La coorte 2 sarà un campione non sovrapposto di 410 studenti identificati utilizzando gli stessi criteri di inclusione/esclusione e anche assegnati in modo casuale all'intervento (RISE) o alla condizione di confronto BAU senza intervento e rimanendo in tale condizione fino al secondo anno. Gli studenti assegnati al controllo possono ricevere BAU servizi (documentati dal ricercatore) dalle loro scuole, ma non riceveranno l'intervento di lettura fornito dal ricercatore. Queste due coorti (N = 820 studenti) forniranno un campione per potenziare completamente l'analisi dei dati.

Misure e procedure di valutazione

I dati per il Progetto 3 sono raccolti in 4 punti temporali (inizio e fine anno per anno 1 e anno 2) per ciascuna coorte, consentendo un'analisi degli effetti del trattamento dopo uno e due anni di trattamento (vedi descrizione dell'intervento). Il gruppo di ricerca responsabile dell'assunzione, della formazione e della supervisione della raccolta dei dati nelle scuole e del reclutamento delle scuole e dei partecipanti è esperto e ha lavorato insieme negli ultimi 10 anni. I raccoglitori di dati sono ciechi rispetto alla condizione assegnata casualmente ai partecipanti.

Le misure di esito primarie e secondarie sono descritte nella sezione 9 (misure di esito).

Procedure di intervento

L'intervento è descritto in dettaglio nella sezione 8 (Armi, gruppi e interventi).

Fedeltà di attuazione. La fedeltà dell'attuazione sarà valutata almeno tre volte all'anno per insegnante intervento. Tutti gli insegnanti di intervento registreranno audio tutte le lezioni di intervento. Verrà selezionato un campione casuale di registrazioni e gli indicatori chiave dell'aderenza all'attuazione dell'intervento e della qualità dell'attuazione saranno valutati da un codificatore. Tutti i codificatori saranno addestrati e l'affidabilità sarà stabilita prima della codifica indipendente.

Insegnanti di intervento. In ogni sito, personale altamente qualificato assunto e supervisionato dagli investigatori fornirà tutti i trattamenti. Questi insegnanti riceveranno 20 ore di formazione prima dell'implementazione e quindi formazione continua e supporto in loco per almeno 10 ore al mese. Tutti i trattamenti saranno forniti quotidianamente in gruppi di circa 8-11 studenti per 50 minuti al giorno.

Condizione di confronto Business as Usual (BAU). Gli studenti assegnati alla BAU o alla condizione di confronto parteciperanno a una classe elettiva che include opzioni come musica, cucina, film, tempo di studio o preparazione di test ad alto rischio. Questi studenti parteciperanno al programma educativo normativo completo nelle loro scuole, ma non riceveranno alcuna istruzione dal gruppo di ricerca.

Gestione dati

Acquisizione dei dati. Il team di gestione dei dati costruirà moduli di acquisizione dati e linee guida per la compilazione di tali moduli. Quando sono necessarie modifiche alle procedure o ai moduli, il personale addetto alla gestione dei dati comunicherà tali modifiche al personale di ciascun sito e assicurerà che i manuali delle procedure e dei moduli siano adeguatamente aggiornati. Il personale addetto alla gestione dei dati lavorerà anche per garantire la coerenza nel layout dei moduli, nella revisione dei moduli e nella numerazione dei moduli. La gestione dei dati e il personale statistico collaborano anche con i gestori dei dati per condurre audit dei dati per garantire che i tassi di errore siano trascurabili per tutti i campi di dati.

Gestione dati. Il personale addetto alla gestione dei dati conduce tutte le attività di progettazione, gestione e raccolta dei database in modo tale che tutti i dati del progetto vengano scritti nel data warehouse del Texas Institute for Measurement, Evaluation, and Statistics (TIMES). Il magazzino è progettato per la massima integrità e standardizzazione dei dati all'interno e tra i progetti, consentendo al tempo stesso la flessibilità necessaria tra i progetti TIMES nei loro progetti e misure e metodi specifici. L'utilizzo del magazzino come struttura dati primaria per la gestione dei progetti aumenta la standardizzazione tra i progetti. Il magazzino costruisce inoltre automaticamente un audit trail elettronico di tutte le attività di gestione dei dati che comportano la modifica anche di un singolo elemento di dati, che insieme alla standardizzazione è essenziale per il controllo di qualità nei database elettronici.

Analisi dei dati

Strategia generale, metodologia e analisi. Le caratteristiche descrittive dei dati saranno esaminate prima dell'analisi. Le variabili dipendenti non normali saranno trasformate (logaritmiche, radice quadrata, inverse, ecc.) come necessario e appropriato. I valori anomali saranno identificati utilizzando l'analisi z-score modificata e gestiti caso per caso in base alla loro leva e influenza in modelli specifici. L'ipotesi che gli errori siano normalmente distribuiti, omoschedastici e indipendenti tra unità di campionamento e livelli del modello saranno valutati analizzando i residui. I residui a livelli più alti sono generalmente considerati normali multivariati e indipendenti da errori di livello inferiore. Gli investigatori aumenteranno le analisi residue con la diagnostica dell'influenza. L'eterogeneità sarà affrontata in base alle sue apparenti fonti, utilizzando trasformazioni non lineari di variabili predittive e/o dipendenti come appropriato e necessario. I ricercatori affronteranno l'ipotesi di ricerca primaria nel contesto di gruppi multipli (intervento RISE v. BAU), regressione multilivello e modelli di equazioni strutturali (SEM).

Piano analitico. Le regressioni multilivello e multigruppo e i SEM saranno idonei per stimare l'effetto principale del trattamento su 1) lettura delle parole e risultati di fluidità dopo 1 anno di intervento e lettura delle parole, fluidità e comprensione dopo 2 anni di intervento Per ciascun modello, i punteggi pre-test saranno essere centrati in modo appropriato e utilizzati come covariate di livello 1. I mezzi a livello scolastico al pretest saranno inclusi come "effetti contestuali" per ridurre al minimo la variabilità a livello scolastico, migliorando il potere statistico. Gli effetti principali del trattamento (assumendo un modello intent-to-treat) saranno stimati a livello di studente confrontando le medie posttest condizionali per il gruppo RISE e il gruppo BAU nel contesto di modelli nidificati. Verranno confrontati gli indici di adattamento per il modello specifico del gruppo (ovvero, medie posttest univoche stimate per ciascun gruppo) e il modello vincolato (ovvero, medie posttest fissate come uguali tra trattamento e gruppi) e la differenza (Δχ2) verrà testata rispetto al valore critico che corrisponde alla differenza dei gradi di libertà tra i modelli (Δdf). Le dimensioni dell'effetto saranno calcolate come Siepi g.

Potenza e dimensione dell'effetto. La simulazione dei dati è stata utilizzata per stimare la potenza statistica per l'effetto principale sui risultati degli studenti. Questi sono intesi come esempi che possono essere applicati a tutti gli esiti primari e secondari. Per la stima della potenza, l'annidamento a livello di sito e di coorte viene ignorato, poiché le correlazioni intraclasse in studi precedenti in scuole simili sono state trascurabili durante il controllo per il pretest. Inoltre, l'annidamento parziale è stato ignorato sulla base di risultati precedenti per interventi multi-coorte, pluriennali e progetti parzialmente annidati implementati in questi due siti. Quando si bloccavano le scuole e quando si controllavano le covariate a livello di scuola, gli effetti di raggruppamento del sito, della coorte e dei piccoli gruppi didattici erano banali per i risultati relativi alla comprensione (.00-.01 per l'intervento di 2 anni con nidificazione parziale). La variabilità nella dimensione dell'effetto non differiva statisticamente da 0 (σδ2 <.0001), suggerendo effetti fissi del trattamento.

Le analisi di potenza hanno assunto un campione tempo 1 di 820 studenti in 6 scuole (n=205/scuola). Nel modello di popolazione, i ricercatori hanno assegnato in modo casuale i casi al trattamento o al BAU all'interno delle scuole. Gli investigatori hanno specificato il logoramento degli studenti come .10 annualmente per entrambe le condizioni tra i siti e tra le coorti senza attrito differenziale per condizione o per interazioni che coinvolgono la condizione, suggerendo un campione di circa 740 studenti al momento della valutazione 2 (anno primaverile 1) e 670 al momento della valutazione 4 (anno primaverile 2). Un tasso di abbandono annuale del 10% è coerente con studi precedenti condotti dal gruppo di ricerca in scuole simili. Gli investigatori hanno modellato una covariata a livello scolastico per il pretest per massimizzare il potere. Nel lavoro precedente, le misure pre-test dei risultati di lettura degli studenti (ad esempio, lettura di parole, comprensione, ecc.) rappresentavano circa il 75% della varianza dei risultati. I punteggi di lettura post-test sono stati modellati come normali multivariati con una media di 0 e una varianza di 1 nella popolazione non trattata. Per la sottopopolazione assegnata al trattamento, la media post-test è stata fissata a 0,20, che rappresenta una differenza media standardizzata a livello di popolazione tra trattamento e controllo). Un effetto del trattamento correlato all'alfabetizzazione di .20 rappresenta un impatto significativo in questa popolazione, sia sulle misure di lettura a livello di parola che sui risultati di comprensione della lettura, ortografia e scrittura.

Nel modello campione, i ricercatori hanno stimato le medie post-test come parametri liberi nelle condizioni di trattamento e confronto, utilizzando i valori della popolazione come valori iniziali. La probabilità di rifiutare l'ipotesi nulla quando è falsa (cioè potenza statistica) era 0,99 quando si modellavano gli effetti come fissi (σδ2 = 0) per campioni di 740 e 670. Il bias per lo stimatore72 era inferiore all'1%. Sotto le stesse ipotesi, una differenza media standardizzata di 0,10 è stata associata a una potenza di almeno 0,80. Le stime di potenza sono state calcolate per test indipendenti di significatività statistica. Tuttavia, molti dei contrasti di cui sopra non sono indipendenti. Per controllare l'errore di tipo 1 gonfiato associato a confronti multipli, i ricercatori propongono l'approccio Step M per modelli a effetti multilivello e misti e dati gerarchici, che sfrutta la struttura di dipendenza delle singole statistiche dei test e offre un approccio più potente rispetto alle alternative per la gestione errore familiare in un dato annidato.