Randomisert utprøving av programmet for positiv handling i Chicago-skoler og utvidelse til 8. klasse

Dette prosjektet er ett av syv i en flerstedsutprøving av forskjellige programmer som har blitt implementert nasjonalt. Oregon State University (OSU) og University of Illinois i Chicago (UIC) gjennomfører en skolebasert randomisert studie for å evaluere effekten av Positive Action-programmet (PA) for å finne ut hvordan programmet fungerer, for å bestemme effektiviteten til Positive Handlingsprogram for å redusere negativ atferd (inkludert helserelatert atferd), øke positiv atferd og forbedre akademiske prestasjoner til grunnskoleelever. Positive Action-programmet ble utformet for å fremme sosial utvikling og karakterutvikling (respekt, ansvar, altruisme, samfunnsdyd, prososial atferd) på måter som reduserer antisosial atferd (vold, rusbruk, kriminelle handlinger) og forbedrer skoleprestasjoner (oppmøte, testresultater) ). Fjorten kvalifiserte skoler valgt i løpet av vinteren 2004 består av 7 matchede par (behandling og kontroll); skolene ble matchet på en "risikoscore" sammensatt av flere skolekarakteristikker. Elever i klasse 3 i skoleåret 2004-05, deres foreldre og deres lærere og rektorer ble undersøkt ved baseline (høsten 2004), våren og høsten 2005, våren 2006 og våren 2007. Evaluering er basert på flere typer prosesser, mediatorvariabler og utfallsdata fra skoleposter (oppmøte, forgjengelighet, karakterer, testprestasjoner, disiplinære handlinger og suspensjoner, og endringer i skole- og elevpopulasjonskarakteristikker), elevregistreringer, elevundersøkelser, foreldreundersøkelser , lærervurderinger og undersøkelser, og administratorundersøkelser, samlet inn fra skoler under begge forhold (unntatt informasjon om levering av Positive Action-programmet). Arbeidet som gjøres ved OSU er begrenset til Dr. Flays overordnede veiledning av alle aspekter av prosjektet, og dataanalyse ved hjelp av avidentifiserte data mottatt fra Dr. DuBois ved UIC og forskningsoppgaveskriving. Arbeidet som gjøres ved UIC, ledet av Dr. David DuBois, inkluderer alt intervensjonsarbeid, datainnsamling, datainntasting og noe dataanalyse og rapportskriving. U.S. Department of Education/IES hyret inn en nasjonal kontraktør, Mathematica Policy Research, Inc. (MPR) for å gjennomføre kjerneundersøkelser på alle stedene i flerstedsforsøket gjennom våren 2007. I tillegg administrerer OSU/UIC en stedsspesifikk studentundersøkelse som er komplementær til flerstedsundersøkelsene under alle bølger av datainnsamling. Ettersom prosjektfinansieringen fulgte Dr. Flays flytting fra UIC til OSU i september 2005, gir OSU IRB en gjennomgang for det overordnede prosjektet. Fra april 2008 tillater ny finansiering fortsettelse av studiet til mars 2012 og følger målkullet av elever til slutten av 8. klasse når de og deres lærere og rektorer blir undersøkt høsten 2008, våren 2009 og igjen sammen med foreldrene om våren 2010. Datainnsamling for fortsettelsesstudien inkluderer også innsamling av høyde og vekt på barn og prosessevalueringsdata fra elever og lærere. Det vil ikke være noen involvering av MPR. Datainnsamlingen ble fullført juni 2010.

Samtykkepriser og mobilitet:

Foreldres samtykke ble innhentet før elever, foreldre eller lærere fullførte undersøkelser når elevene gikk i klasse 3. Syttini prosent av foreldrene ga samtykke ved baseline. Studenter som ble med på studien på senere bølger ble samtykket på den tiden; samtykkerater for dem varierte fra 65 % til 78 % for Waves 2-5. Alle studentene fikk på nytt samtykke for den andre fasen av finansieringen ved Wave 6 (begynnelsen av klasse 7); samtykkeraten var lavere ved bølgene 6 til 8 (≈ 58 til 64 %). Dette samsvarer med tidligere studier som har funnet at samtykkeraten synker etter hvert som karakternivået øker. Prosentandelen av samtykkende foreldre som ga rapporter om barna sine var henholdsvis 72,3 %, 58,9 %, 52,2 %, 50,5 % og 72,9 % ved bølge 1, 2, 4, 5 og 8. To faktorer som sannsynligvis økte foreldrenes svarrate ved bølge 8 var (1) en økning i det økonomiske insentivet for å fullføre foreldrerapporten og (2) en intensiv periode med telefonoppsøk til familier for å merke insentivøkningen og oppmuntre til å fullføre undersøkelsen. Prosentandeler av samtykkende elever som lærere fullførte vurderinger for var henholdsvis 74,6 %, 74,8 %, 72,4 %, 78,3 %, 74,4 % og 92,7 % for bølgene 1, 2, 4, 5, 7 og 8. På bølge 8 introduserte vi et ekstra insentiv på skolenivå for 100 % fullføring av lærerundersøkelser, noe som sannsynligvis resulterte i økningen i fullførte lærervurderinger. Mobilitetsmønstre ble identifisert ved hjelp av resultater fra en latent klasseanalyse der en 5-klasses løsning ble funnet å passe best for dataene: 1) oppholdere (gjennomsnittlig studievarighet på 5,72 år, N = 158), 2) midlertidige deltakere (1,30 år, kun i 4. eller 5. klassetrinn; N=196), 3) etterkomne (1,38 år; N=308); 4) forlatere tidlig (0,94 år; N=263), og 5) sent forlate (3,23 år; N=287).

Planlagte statistiske analyser:

Fordi utprøvingen var klyngefokusert, vurderte vi elever som kom inn på skolene etter starten av forsøket (joiners), men fulgte ikke enkeltelever som sluttet å gå på studieskolene (forlater). Fra studentenes ståsted kan de over tid betraktes som en "dynamisk" (dvs. skiftende) karakterkull. Flernivåmodeller vil bli brukt for å ta hensyn til variasjon på skole- og elevnivå. Manglende data vil bli adressert ved bruk av missing-at-random (MAR)-antagelsen, siden det er usannsynlig at en enkelt umålt variabel eller sett med variabler vil forutsi manglende for alle elever som forlot eller begynte på prøveskolene etter randomisering. Vi foreslår en tre- nivå (anledninger av måling nestet i elever som er nestet i skoler) vekstkurvemodell for å analysere behandlingseffekter på ulike utfall på elevnivå. Disse modellene vil redegjøre for alle observasjoner og modellskoleforskjeller. Denne tilnærmingen tillater en fullstendig analyse av de mange bølgene av tilgjengelige data og tar hensyn til endringsmønstrene over tid. Vekstkurvemodeller med tilfeldig avskjæring vil først bli estimert. Etter random-intercept-modellen vil det kjøres en random-koeffisient-modell for å teste om det er signifikant variasjon i elevendring over tid, i stedet for at alle elever i hver tilstand har samme endringsmønster. En likelihood Ratio Chi-square (LR) test vil bli brukt for å sammenligne modelltilpasning med og uten den tilfeldige koeffisienten. Dersom en modell med en tilfeldig tidskoeffisient gir en betydelig bedre tilpasning for et gitt utfall, vil den bli rapportert som den endelige modellen. Intervensjonseffekter på skalaer samlet først ved senere bølger (bølge 5 eller 6 og utover) vil bli testet med skjæringspunktet satt til endepunktet (bølge 8) med betingelsesleddet som indikerer en mulig forskjell i effekter ved den siste (bølge 8).

Fordi kun 14 skoler er med i dette forsøket, og PA-effekten testes på skolenivå i en klynge-randomisert studie, vil vi gjennomføre flere sensitivitetsanalyser. Først vil vi vurdere den statistiske signifikansen av PA-koeffisientestimatet og dets standardfeil ved å bruke t-fordelingen med 12 frihetsgrader: 14 skoler - 1 (tilstandseffekten) - 1 = 12 df, noe som gir en mer konservativ tilnærming. En andre tilnærming vil være en par-nivå analyse, estimert som en fire-nivå modell: anledninger av måling nestet innenfor elever, nestet innenfor skoler, nestet innenfor matchede par.

I tillegg til undersøkelsesdataene på elevnivå, vil flere arkivtiltak på skolenivå bli analysert. Fordi disse dataene er på skolenivå, vil vekstkurvemodellene være to-nivå (observasjoner innenfor skoler) i stedet for tre-nivå. På grunn av den lille mengden data (antall skoler ganger antall bølger) og de resulterende effektbegrensningene, vil disse analysene kun bruke modellen med tilfeldig avskjæring.

Vi vil teste for moderasjon etter kjønn og studentmobilitet. Moderasjonstestene vil avsløre hvem programmet har sine effekter for; det vil si at disse testene vil tillate oss å vurdere om programeffekter varierer etter kjønn eller et barns mobilitet. Vi vil ikke teste for moderering etter etnisitet fordi det er svært forvirret med skole, med 3 skolepar som stort sett har en afroamerikansk påmelding og 2 skolepar som stort sett har en spansk påmelding.

Mens alle de 14 skolene ble beholdt gjennom hele CRCT, var elevpopulasjonen i denne prøven svært mobil. Derfor er det viktig å teste for potensielle modererende effekter av studentmobilitetsmønstre. En nyere tilnærming til å analysere mobilitetsmønstre er latent klasseanalyse (LCA). Mobilitetsmønstrene beskrevet ovenfor kan deretter testes som moderator for programeffekter; det vil si å undersøke om elever med ulikt mobilitetsmønster har ulike programeffekter.

Meklingsanalyser vil tillate oss å undersøke PA-programmets handlingsmekanismer. Vi vil først estimere den bivariate effekten av X på Y uten mediatoren inkludert i modellen. Deretter vil vi samtidig estimere den direkte effekten av X på Y med mediatoren inkludert i modellen, samt den medierte effekten, som består av effekten av X på M × M på Y.