Randomiserad prövning av programmet för positiv handling i Chicago-skolor och förlängning till årskurs 8

Detta projekt är ett av sju i en multi-site test av olika program som har implementerats nationellt. Oregon State University (OSU) och University of Illinois i Chicago (UIC) genomför en skolbaserad randomiserad studie för att utvärdera effekten av Positive Action-programmet (PA) för att ta reda på hur programmet fungerar, för att fastställa effektiviteten av Positive Åtgärdsprogram för att minska negativa beteenden (inklusive hälsorelaterade beteenden), öka positiva beteenden och förbättra akademiska prestationer för grundskoleelever. Positive Action-programmet var utformat för att främja social utveckling och karaktärsutveckling (respekt, ansvar, altruism, medborgerlig dygd, prosocialt beteende) på sätt som minskar antisocialt beteende (våld, droganvändning, brottslighet) och förbättrar skolprestationer (närvaro, provresultat ). Fjorton berättigade skolor utvalda under vintern 2004 består av 7 matchade par (behandling och kontroll); skolorna matchades på ett "riskpoäng" bestående av flera skolegenskaper. Elever i årskurs 3 under läsåret 2004-05, deras föräldrar och deras lärare och rektorer undersöktes vid baslinjen (hösten 2004), våren och hösten 2005, våren 2006 och våren 2007. Utvärderingen baseras på flera typer av processer, mediatorvariabler och resultatdata från skolregister (närvaro, förgänglighet, betyg, testprestationer, disciplinära åtgärder och avstängningar och förändringar i skolans och elevpopulationens egenskaper), elevregister, elevundersökningar, föräldraundersökningar , lärarbetyg och undersökningar, och administratörsundersökningar, insamlade från skolor under båda förhållanden (förutom information om leverans av Positiva Action-programmet). Arbetet som utförs vid OSU är begränsat till Dr. Flays övergripande övervakning av alla aspekter av projektet, och dataanalys med användning av avidentifierade data som tagits emot från Dr. DuBois vid UIC och forskningsuppsats. Arbetet som utförs vid UIC, under ledning av Dr. David DuBois, inkluderar allt interventionsarbete, datainsamling, datainmatning och viss dataanalys och rapportskrivning. USA:s utbildningsdepartement/IES anlitade en nationell entreprenör, Mathematica Policy Research, Inc. (MPR) för att genomföra kärnundersökningar på alla platser för flerplatsförsöket fram till våren 2007. Dessutom administrerar OSU/UIC en platsspecifik studentundersökning som är ett komplement till multi-site-undersökningarna under alla vågor av datainsamling. Eftersom projektfinansieringen följde på Dr. Flays övergång från UIC till OSU i september 2005, ger OSU IRB en översyn av det övergripande projektet. Från och med april 2008 tillåter ny finansiering fortsättning av studien till mars 2012 och följer målkullen av elever till slutet av 8:e klass då de och deras lärare och rektorer undersöks hösten 2008, våren 2009 och igen tillsammans med sina föräldrar under våren 2010. Datainsamling för fortsättningsstudien omfattar även insamling av barns längd och vikt samt processutvärderingsdata från elever och lärare. Det kommer inte att finnas någon inblandning av MPR. Datainsamlingen slutfördes juni 2010.

Samtycke och mobilitet:

Föräldrarnas samtycke erhölls innan elever, föräldrar eller lärare fyllde i undersökningar när eleverna gick i årskurs 3. 79 procent av föräldrarna gav sitt samtycke vid baslinjen. Studenter som gick med i studien vid senare vågor samtycktes vid den tiden; samtyckesfrekvensen för dem varierade från 65 % till 78 % för Waves 2-5. Alla elever fick ett nytt samtycke för den andra fasen av finansieringen vid våg 6 (början av årskurs 7); samtyckesfrekvensen var lägre vid vågorna 6 till 8 (≈ 58 till 64 %). Detta överensstämmer med tidigare studier som har funnit att samtyckesfrekvensen sjunker när betygsnivåerna ökar. Andelen samtyckande föräldrar som lämnade rapporter om sina barn var 72,3 %, 58,9 %, 52,2 %, 50,5 % och 72,9 % vid våg 1, 2, 4, 5 respektive 8. Två faktorer som sannolikt ökade föräldrarnas svarsfrekvens vid våg 8 var (1) en ökning av det ekonomiska incitamentet för att fylla i föräldrarapporten och (2) en intensiv period av telefonkontakt till familjer för att notera incitamentsökningen och för att uppmuntra att enkäten fylls i. Procentandelen av elever med samtycke för vilka lärare slutförde betyg var 74,6 %, 74,8 %, 72,4 %, 78,3 %, 74,4 % och 92,7 % för vågorna 1, 2, 4, 5, 7 respektive 8. På våg 8 introducerade vi ytterligare ett incitament på skolnivå för 100 % av slutförandet av lärarundersökningar, vilket sannolikt resulterade i en ökning av slutförda lärarbetyg. Rörlighetsmönster identifierades med hjälp av resultat från en latent klassanalys där en 5-klasslösning befanns vara den mest lämpliga passformen för data: 1) kvarvarande (genomsnittlig studielängd på 5,72 år, N = 158), 2) tillfälliga deltagare (1,30 år, endast i årskurs 4 eller 5; N=196), 3) sena snickare (1,38 år; N=308); 4) förtida lämnar (0,94 år; N=263) och 5) sena lämnar (3,23 år; N=287).

Planerade statistiska analyser:

Eftersom försöket var klusterfokuserat bedömde vi elever som kom in i skolor efter försökets början (anslutare), men följde inte enskilda elever som slutade gå på studieskolorna (avgångna). Ur elevernas synvinkel kan de över tid betraktas som en "dynamik" (dvs. ändras) årskurskohort. Flernivåmodeller kommer att användas för att ta hänsyn till variation på skol- och elevnivå. Saknade data kommer att åtgärdas med hjälp av missing-at-random (MAR)-antagandet, eftersom det är osannolikt att en enda omättad variabel eller uppsättning variabler skulle förutsäga saknad för alla elever som lämnade eller gick med i försöksskolorna efter randomisering. Vi föreslår en tre- nivå (tillfällen av mätningar kapslade inom elever kapslade inom skolor) tillväxtkurvamodell för att analysera behandlingseffekter på olika resultat på elevnivå. Dessa modeller kommer att ta hänsyn till alla observationer och modellskoleskillnader. Detta tillvägagångssätt möjliggör en fullständig analys av de många vågorna av tillgängliga data och tar hänsyn till förändringsmönster över tid. Tillväxtkurvamodeller med slumpmässig skärning kommer först att uppskattas. Efter modellen med slumpmässig intercept kommer en modell med slumpmässig koefficient att köras för att testa om det finns signifikant variation i elevförändring över tiden, snarare än att alla elever i varje tillstånd har samma förändringsmönster. Ett likelihood Ratio Chi-square (LR) test kommer att användas för att jämföra modellpassning med och utan den slumpmässiga koefficienten. Om en modell med en slumpmässig tidskoefficient ger en betydligt bättre passform för ett givet utfall kommer den att redovisas som den slutliga modellen. Interventionseffekter på skalor som samlas in först vid senare vågor (våg 5 eller 6 och framåt) kommer att testas med intercepten inställd vid ändpunkten (våg 8) med tillståndstermen som indikerar en möjlig skillnad i effekter vid den sista (våg 8).

Eftersom endast 14 skolor är med i detta försök, och PA-effekten testas på skolnivå i ett klusterrandomiserat försök, kommer vi att göra flera känslighetsanalyser. Först kommer vi att bedöma den statistiska signifikansen av PA-koefficientuppskattningen och dess standardfel med hjälp av t-fördelningen med 12 frihetsgrader: 14 skolor - 1 (villkorseffekten) - 1 = 12 df vilket ger ett mer konservativt tillvägagångssätt. Ett andra tillvägagångssätt kommer att vara en analys på parnivå, uppskattad som en modell med fyra nivåer: mättillfällen inkapslade inom elever, kapslade inom skolor, kapslade inom matchade par.

Utöver undersökningsdata på elevnivå kommer flera arkivåtgärder på skolnivå att analyseras. Eftersom dessa data finns på skolnivå, kommer tillväxtkurvmodellerna att vara tvånivåer (observationer inom skolor) snarare än trenivåer. På grund av den lilla mängden data (antalet skolor gånger antalet vågor) och de resulterande effektbegränsningarna kommer dessa analyser endast att använda modellen med slumpmässig intercept.

Vi kommer att testa måttlighet efter kön och studentrörlighet. Modereringstesterna kommer att avslöja för vem programmet har sina effekter; det vill säga dessa tester kommer att tillåta oss att bedöma om programeffekter skiljer sig åt beroende på kön eller ett barns rörlighet. Vi kommer inte att testa måttlighet efter etnicitet eftersom det är mycket förvirrat med skolan, med 3 par skolor som har en mestadels afroamerikansk inskrivning och 2 par skolor som har en mestadels spansktalande inskrivning.

Medan alla 14 skolorna behölls under hela CRCT, var elevpopulationen i detta försök mycket rörlig. Därför är det viktigt att testa för potentiella dämpande effekter av studentmobilitetsmönster. En ny metod för att analysera mobilitetsmönster är latent klassanalys (LCA). De ovan beskrivna rörlighetsmönstren kan sedan testas som moderator för programeffekter; det vill säga att undersöka om elever med olika rörlighetsmönster har olika programeffekter.

Medlingsanalyser kommer att göra det möjligt för oss att undersöka PA-programmets verkningsmekanismer. Vi kommer först att uppskatta den bivariata effekten av X på Y utan mediatorn som ingår i modellen. Sedan kommer vi samtidigt att uppskatta den direkta effekten av X på Y med mediatorn som ingår i modellen, såväl som den förmedlade effekten, som består av effekten av X på M × M på Y.