Randomiseret afprøvning af programmet for positiv handling i Chicago-skoler og udvidelse til 8. klasse

Dette projekt er et af syv i en multi-site forsøg med forskellige programmer, der er blevet implementeret nationalt. Oregon State University (OSU) og University of Illinois i Chicago (UIC) udfører et skolebaseret randomiseret forsøg for at evaluere effektiviteten af ​​Positive Action-programmet (PA) for at finde ud af, hvordan programmet fungerer, for at bestemme effektiviteten af ​​det positive Handlingsprogram om at reducere negativ adfærd (herunder sundhedsrelateret adfærd), øge positiv adfærd og forbedre akademiske præstationer for folkeskoleelever. Positive Action-programmet var designet til at fremme social udvikling og karakterudvikling (respekt, ansvar, altruisme, borgerdyd, prosocial adfærd) på måder, der reducerer antisocial adfærd (vold, stofbrug, kriminalitet) og forbedrer skolens præstationer (deltagelse, testresultater) ). Fjorten berettigede skoler udvalgt i løbet af vinteren 2004 består af 7 matchede par (behandling og kontrol); skolerne blev matchet på en 'risikoscore' sammensat af flere skolekarakteristika. Elever i klasse 3 i skoleåret 2004-05, deres forældre og deres lærere og rektorer blev undersøgt ved baseline (efterår 2004), forår og efterår 2005, forår 2006 og forår 2007. Evaluering er baseret på flere slags processer, mediatorvariable og resultatdata fra skoleregistreringer (deltagelse, forgængelighed, karakterer, testpræstationer, disciplinære handlinger og suspensioner og ændringer i skole- og elevpopulationskarakteristika), elevregistreringer, elevundersøgelser, forældreundersøgelser , lærervurderinger og -undersøgelser og administratorundersøgelser, indsamlet fra skoler under begge forhold (undtagen oplysninger om levering af Positive Action-programmet). Arbejdet, der udføres på OSU, er begrænset til Dr. Flays overordnede overvågning af alle aspekter af projektet og dataanalyse ved hjælp af afidentificerede data modtaget fra Dr. DuBois ved UIC og forskningspapirskrivning. Arbejdet, der udføres på UIC, ledet af Dr. David DuBois, omfatter alt interventionsarbejdet, dataindsamling, dataindtastning og en del dataanalyse og rapportskrivning. Det amerikanske undervisningsministerium/IES hyrede en national kontrahent, Mathematica Policy Research, Inc. (MPR) til at udføre kerneundersøgelser på alle steder af multi-site forsøget frem til foråret 2007. Derudover administrerer OSU/UIC en stedspecifik elevundersøgelse, der er komplementær til multi-site undersøgelser under alle bølger af dataindsamling. Da projektfinansieringen fulgte Dr. Flays flytning fra UIC til OSU i september 2005, giver OSU IRB en gennemgang af det overordnede projekt. Fra april 2008 tillader ny finansiering fortsættelse af studiet til marts 2012 og følger målgruppen af ​​elever til slutningen af ​​8. klasse, da de og deres lærere og rektorer undersøges efteråret 2008, foråret 2009 og igen sammen med deres forældre om foråret 2010. Dataindsamling til fortsættelsesundersøgelsen omfatter også indsamling af børns højde og vægt og procesevalueringsdata fra elever og lærere. Der vil ikke være involvering af MPR. Dataindsamlingen blev afsluttet juni 2010.

Samtykkesatser og mobilitet:

Forældrenes samtykke blev opnået, før elever, forældre eller lærere gennemførte undersøgelser, når eleverne gik i 3. klasse. 79 procent af forældrene gav samtykke ved baseline. Studerende, der deltog i undersøgelsen ved senere bølger, fik samtykke på det tidspunkt; samtykkerater for dem varierede fra 65 % til 78 % for Waves 2-5. Alle elever fik atter samtykke til anden fase af finansieringen ved Wave 6 (begyndelsen af ​​klasse 7); samtykkeraterne var lavere ved bølgerne 6 til 8 (≈ 58 til 64%). Dette er i overensstemmelse med tidligere undersøgelser, der har fundet ud af, at samtykkeprocenten falder, efterhånden som karakterniveauet stiger. Procentdelen af ​​samtykkende forældre, der afgav rapporter om deres børn, var henholdsvis 72,3 %, 58,9 %, 52,2 %, 50,5 % og 72,9 % ved bølge 1, 2, 4, 5 og 8. To faktorer, der sandsynligvis øgede forældres svarrate ved bølge 8, var (1) en stigning i det økonomiske incitament til at udfylde forældrerapporten og (2) en intensiv periode med telefonopsøgende kontakt til familier for at bemærke stigningen i incitamentet og tilskynde til at gennemføre undersøgelsen. Procentdelen af ​​samtykkede elever, for hvilke lærere gennemførte vurderinger, var henholdsvis 74,6 %, 74,8 %, 72,4 %, 78,3 %, 74,4 % og 92,7 % for Waves 1, 2, 4, 5, 7 og 8. På bølge 8 indførte vi et ekstra incitament på skoleniveau for 100 % fuldførelse af lærerundersøgelser, hvilket sandsynligvis resulterede i en stigning i fuldførte lærerbedømmelser. Mobilitetsmønstre blev identificeret ved hjælp af resultater fra en latent klasseanalyse, hvor en 5-klasses løsning blev fundet at være den mest passende pasform til dataene: 1) opholdende (gennemsnitlig undersøgelsesvarighed på 5,72 år, N = 158), 2) midlertidige deltagere (1,30 år, kun i 4. eller 5. klasse; N=196), 3) eftertømrede (1,38 år; N=308); 4) forlader tidligt (0,94 år; N=263) og 5) forlader sent (3,23 år; N=287).

Planlagte statistiske analyser:

Fordi forsøget var klyngefokuseret, vurderede vi elever, der kom ind på skoler efter forsøgets begyndelse (joiners), men fulgte ikke individuelle elever, der stoppede med at gå på studieskolerne (forlader). Fra elevernes synspunkt kunne de over tid betragtes som en "dynamisk" (dvs. skiftende) karakterkohorte. Multilevel-modeller vil blive brugt til at tage højde for variation på skole- og elevniveau. Manglende data vil blive behandlet ved hjælp af missing-at-random (MAR)-antagelsen, da det er usandsynligt, at en enkelt umålt variabel eller et sæt af variabler ville forudsige manglende for alle elever, der forlod eller sluttede sig til forsøgsskolerne efter randomisering. Vi foreslår en tre- niveau (begivenheder af måling indlejret i elever, der er indlejret i skoler) vækstkurvemodel til analyse af behandlingseffekter på forskellige resultater på elevniveau. Disse modeller vil tage højde for alle observationer og modelskoleforskelle. Denne tilgang giver mulighed for en komplet analyse af de mange bølger af tilgængelige data og tager højde for forandringsmønstre over tid. Vækstkurvemodeller med tilfældig skæring vil først blive estimeret. Efter random-intercept-modellen vil der blive kørt en random-coefficient model for at teste, om der er signifikant variation i elevændring over tid, frem for at alle elever i hver tilstand har det samme forandringsmønster. En Likelihood Ratio Chi-square (LR) test vil blive brugt til at sammenligne modeltilpasning med og uden den tilfældige koefficient. Hvis en model med en tilfældig tidskoefficient giver en væsentlig bedre tilpasning til et givent resultat, vil den blive rapporteret som den endelige model. Interventionseffekter på skalaer indsamlet først ved senere bølger (bølger 5 eller 6 og frem) vil blive testet med skæringspunktet sat ved endepunktet (bølge 8) med betingelsesleddet, der indikerer en mulig forskel i effekter ved den sidste (bølge 8).

Fordi kun 14 skoler er med i dette forsøg, og PA-effekten testes på skoleniveau i et klynge-randomiseret forsøg, vil vi foretage flere sensitivitetsanalyser. Først vil vi vurdere den statistiske signifikans af PA-koefficientestimatet og dets standardfejl ved hjælp af t-fordelingen med 12 frihedsgrader: 14 skoler - 1 (betingelseseffekten) - 1 = 12 df, hvilket giver en mere konservativ tilgang. En anden tilgang vil være en par-niveau analyse, estimeret som en fire-niveau model: lejligheder med måling indlejret i elever, indlejret inden for skoler, indlejret inden for matchede par.

Ud over undersøgelsesdataene på elevniveau vil flere arkiveringsforanstaltninger på skoleniveau blive analyseret. Fordi disse data er på skoleniveau, vil vækstkurvemodellerne være to-niveauer (observationer inden for skoler) snarere end tre-niveauer. På grund af den lille mængde data (antallet af skoler gange antallet af bølger) og de resulterende effektbegrænsninger, vil disse analyser kun bruge modellen med tilfældig skæring.

Vi vil teste for moderation efter køn og studerendes mobilitet. Moderationstestene vil afsløre, hvem programmet har sine effekter for; det vil sige, at disse test vil give os mulighed for at vurdere, om programeffekter er forskellige efter køn eller et barns mobilitet. Vi vil ikke teste for moderation efter etnicitet, fordi det er meget forvekslet med skole, hvor 3 skolepar har en hovedsagelig afroamerikansk tilmelding og 2 skolepar har en hovedsagelig latinamerikansk tilmelding.

Mens alle 14 skoler blev bibeholdt i hele CRCT, var elevpopulationen i dette forsøg meget mobil. Det er derfor vigtigt at teste for potentielle modererende effekter af studerendes mobilitetsmønstre. En nyere tilgang til at analysere mobilitetsmønstre er latent klasseanalyse (LCA). Mobilitetsmønstrene beskrevet ovenfor kan derefter testes som moderator for programeffekter; det vil sige at undersøge, om elever med forskellige mobilitetsmønstre har forskellige programeffekter.

Mediationsanalyser vil give os mulighed for at undersøge PA-programmets handlingsmekanismer. Vi vil først estimere den bivariate effekt af X på Y uden mediatoren inkluderet i modellen. Derefter vil vi samtidig estimere den direkte effekt af X på Y med mediatoren inkluderet i modellen, samt den medierede effekt, som består af effekten af ​​X på M × M på Y.