Prova randomizzata del programma di azione positiva nelle scuole di Chicago ed estensione al grado 8

Questo progetto è uno dei sette in un test multi-sito di diversi programmi che è stato implementato a livello nazionale. L'Oregon State University (OSU) e l'Università dell'Illinois a Chicago (UIC) stanno conducendo uno studio randomizzato scolastico per valutare l'efficacia del programma di azione positiva (PA) per scoprire come funziona il programma, per determinare l'efficacia del programma di azione positiva Programma d'azione per ridurre i comportamenti negativi (compresi i comportamenti legati alla salute), aumentare i comportamenti positivi e migliorare il rendimento scolastico degli studenti delle scuole elementari. Il programma Positive Action è stato progettato per promuovere lo sviluppo sociale e caratteriale (rispetto, responsabilità, altruismo, virtù civica, comportamento prosociale) in modi che riducono il comportamento antisociale (violenza, uso di sostanze, delinquenza) e migliorano il rendimento scolastico (frequenza, punteggi dei test ). Quattordici scuole ammissibili selezionate durante l'inverno 2004 sono composte da 7 coppie abbinate (trattamento e controllo); le scuole sono state abbinate in base a un "punteggio di rischio" composto da più caratteristiche scolastiche. Gli studenti della terza elementare nell'anno scolastico 2004-2005, i loro genitori, i loro insegnanti e presidi sono stati intervistati al basale (autunno 2004), primavera e autunno 2005, primavera 2006 e primavera 2007. La valutazione si basa su più tipi di processi, variabili del mediatore e dati sui risultati dei registri scolastici (frequenza, transitorietà, voti, rendimento dei test, azioni disciplinari e sospensioni e cambiamenti nelle caratteristiche della scuola e della popolazione studentesca), registri degli studenti, sondaggi sugli studenti, sondaggi sui genitori , valutazioni e sondaggi degli insegnanti e sondaggi degli amministratori, raccolti dalle scuole in entrambe le condizioni (ad eccezione delle informazioni sull'erogazione del programma di azione positiva). Il lavoro svolto presso l'OSU è limitato alla supervisione generale del Dr. Flay di tutti gli aspetti del progetto e all'analisi dei dati utilizzando i dati non identificati ricevuti dal Dr. DuBois presso l'UIC e alla stesura di documenti di ricerca. Il lavoro svolto presso l'UIC, diretto dal Dr. David DuBois, include tutto il lavoro di intervento, la raccolta dei dati, l'inserimento dei dati e alcune analisi dei dati e la stesura di rapporti. Il Dipartimento dell'Istruzione degli Stati Uniti/IES ha assunto un appaltatore nazionale, Mathematica Policy Research, Inc. (MPR) per condurre indagini di base in tutti i siti della sperimentazione multi-sito fino alla primavera del 2007. Inoltre, OSU/UIC sta gestendo un'indagine studentesca specifica per il sito che è complementare alle indagini multi-sito durante tutte le ondate di raccolta dei dati. Poiché il finanziamento del progetto ha seguito il passaggio del Dr. Flay dall'UIC all'OSU nel settembre 2005, l'OSU IRB fornisce una revisione dell'intero progetto. A partire da aprile 2008, il nuovo finanziamento consente la continuazione dello studio fino a marzo 2012 e segue la coorte target di studenti fino alla fine dell'ottavo anno mentre loro, i loro insegnanti e presidi vengono intervistati nell'autunno 2008, nella primavera 2009 e di nuovo insieme ai loro genitori in primavera 2010. La raccolta dei dati per lo studio di continuazione include anche la raccolta dell'altezza e del peso dei bambini e dei dati di valutazione del processo di studenti e insegnanti. Non ci sarà alcun coinvolgimento di MPR. La raccolta dei dati è stata completata nel giugno 2010.

Tassi di consenso e mobilità:

Il consenso dei genitori è stato ottenuto prima che studenti, genitori o insegnanti completassero i sondaggi quando gli studenti erano in terza elementare. Il settantanove percento dei genitori ha fornito il consenso al basale. Gli studenti che si univano allo studio in ondate successive furono acconsentiti in quel momento; i tassi di consenso per loro variavano dal 65% al ​​78% per Waves 2-5. Tutti gli studenti hanno ricevuto nuovamente il consenso per la seconda fase del finanziamento al Wave 6 (inizio del grado 7); i tassi di consenso erano inferiori nelle onde da 6 a 8 (≈ da 58 a 64%). Ciò è coerente con studi precedenti che hanno rilevato che i tassi di consenso diminuiscono con l'aumentare dei livelli scolastici. Le percentuali di genitori consenzienti che hanno fornito rapporti sui propri figli sono state rispettivamente del 72,3%, 58,9%, 52,2%, 50,5% e 72,9% alle fasi 1, 2, 4, 5 e 8. Due fattori che probabilmente hanno aumentato il tasso di risposta dei genitori al Wave 8 sono stati (1) un aumento dell'incentivo finanziario per il completamento del rapporto dei genitori e (2) un intenso periodo di contatto telefonico con le famiglie per notare l'aumento dell'incentivo e incoraggiare il completamento del sondaggio. Le percentuali di studenti consenzienti per i quali gli insegnanti hanno completato le valutazioni sono state rispettivamente del 74,6%, 74,8%, 72,4%, 78,3%, 74,4% e 92,7% per le fasi 1, 2, 4, 5, 7 e 8. Alla Wave 8, abbiamo introdotto un ulteriore incentivo a livello scolastico per il 100% delle percentuali di completamento del sondaggio degli insegnanti, che probabilmente ha comportato un aumento delle valutazioni degli insegnanti completati. I modelli di mobilità sono stati identificati utilizzando i risultati di un'analisi di classe latente in cui una soluzione a 5 classi è risultata essere la soluzione più appropriata per i dati: 1) rimanenti (durata media dello studio di 5,72 anni, N = 158), 2) partecipanti temporanei (1,30 anni, solo nei gradi 4 o 5; N=196), 3) entrati in ritardo (1,38 anni; N=308); 4) abbandoni anticipati (0,94 anni; N=263) e 5) abbandoni tardivi (3,23 anni; N=287).

Analisi statistiche pianificate:

Poiché la sperimentazione era focalizzata sul cluster, abbiamo valutato gli studenti che sono entrati nelle scuole dopo l'inizio della sperimentazione (entranti), ma non abbiamo seguito i singoli studenti che hanno smesso di frequentare le scuole di studio (abbandoni). Dal punto di vista degli studenti, nel tempo potrebbero essere considerati una "dinamica" (ad es. mutevole) coorte di grado. Verranno utilizzati modelli multilivello per tener conto delle variazioni a livello di scuola e di studente. I dati mancanti saranno affrontati utilizzando il presupposto del mancante casuale (MAR), poiché è improbabile che una singola variabile non misurata o un insieme di variabili possa predire la mancanza per tutti gli studenti che hanno lasciato o si sono uniti alle scuole di prova dopo la randomizzazione. livello (occasioni di misurazione nidificate all'interno degli studenti nidificati all'interno delle scuole) modello di curva di crescita per l'analisi degli effetti del trattamento sui vari risultati a livello di studente. Questi modelli terranno conto di tutte le osservazioni e delle differenze fra le scuole modello. Questo approccio consente un'analisi completa delle molteplici ondate di dati disponibili e tiene conto dei modelli di cambiamento nel tempo. Saranno prima stimati i modelli di curva di crescita ad intercetta casuale. Seguendo il modello di intercettazione casuale, verrà eseguito un modello di coefficiente casuale per verificare se vi è una variazione significativa nel cambiamento degli studenti nel tempo, piuttosto che tutti gli studenti in ciascuna condizione hanno lo stesso modello di cambiamento. Verrà utilizzato un test Chi-quadro (LR) del rapporto di verosimiglianza per confrontare l'adattamento del modello con e senza il coefficiente casuale. Se un modello con un coefficiente temporale casuale fornisce un adattamento significativamente migliore per un determinato risultato, verrà riportato come modello finale. Gli effetti di intervento sulle scale raccolte solo a ondate successive (Wave 5 o 6 in poi) saranno testati con l'intercetta impostata all'endpoint (Wave 8) con il termine condizionale che indica una possibile differenza di effetti all'ultima (Wave 8).

Poiché solo 14 scuole partecipano a questo studio e l'effetto PA è testato a livello scolastico in uno studio randomizzato a grappolo, condurremo diverse analisi di sensibilità. In primo luogo, valuteremo la significatività statistica della stima del coefficiente PA e il suo errore standard utilizzando la distribuzione t con 12 gradi di libertà: 14 scuole - 1 (l'effetto condizione) - 1 = 12 df fornendo un approccio più conservativo. Un secondo approccio sarà un'analisi a livello di coppia, stimata come un modello a quattro livelli: occasioni di misurazione annidate all'interno degli studenti, annidate all'interno delle scuole, annidate all'interno di coppie abbinate.

Oltre ai dati del sondaggio a livello di studenti, verranno analizzate diverse misure di archiviazione a livello di scuola. Poiché questi dati sono a livello di scuola, i modelli della curva di crescita saranno a due livelli (osservazioni all'interno delle scuole) anziché a tre livelli. A causa della piccola quantità di dati (il numero di banchi moltiplicato per il numero di onde) e dei conseguenti limiti di potenza, queste analisi utilizzeranno solo il modello di intercettazione casuale.

Verificheremo la moderazione in base al genere e alla mobilità degli studenti. I test di moderazione riveleranno per chi il programma ha i suoi effetti; cioè, questi test ci permetteranno di valutare se gli effetti del programma differiscono in base al sesso o alla mobilità di un bambino. Non testeremo la moderazione per etnia perché è altamente confusa con la scuola, con 3 coppie di scuole con un'iscrizione prevalentemente afroamericana e 2 coppie di scuole con un'iscrizione prevalentemente ispanica.

Mentre tutte le 14 scuole sono state mantenute durante il CRCT, la popolazione studentesca in questo studio era altamente mobile. Pertanto, è importante testare i potenziali effetti di moderazione dei modelli di mobilità degli studenti. Un approccio recente all'analisi dei modelli di mobilità è l'analisi della classe latente (LCA). I modelli di mobilità sopra descritti possono quindi essere testati come moderatori degli effetti del programma; ovvero, esaminare se gli studenti con diversi modelli di mobilità hanno effetti diversi sul programma.

Le analisi sulla mediazione consentiranno di esaminare i meccanismi di azione del programma della PA. Per prima cosa stimeremo l'effetto bivariato di X su Y senza il mediatore incluso nel modello. Quindi, stimeremo simultaneamente l'effetto diretto di X su Y con il mediatore incluso nel modello, così come l'effetto mediato, che consiste nell'effetto di X su M × M su Y.