Gerandomiseerde proef van het Positive Action-programma op scholen in Chicago en uitbreiding naar groep 8

Dit project is een van de zeven in een multi-site proef van verschillende programma's die nationaal is geïmplementeerd. De Oregon State University (OSU) en de University of Illinois in Chicago (UIC) voeren een gerandomiseerde studie op school uit om de doeltreffendheid van het Positive Action-programma (PA) te evalueren, om erachter te komen hoe het programma werkt, om de effectiviteit van het Positive Action-programma te bepalen. Actieprogramma voor het verminderen van negatief gedrag (inclusief gezondheidsgerelateerd gedrag), het stimuleren van positief gedrag en het verbeteren van academische prestaties van basisschoolleerlingen. Het Positive Action-programma is ontworpen om sociale en karakterontwikkeling (respect, verantwoordelijkheid, altruïsme, burgerlijke deugd, prosociaal gedrag) te bevorderen op manieren die asociaal gedrag (geweld, middelengebruik, delinquentie) verminderen en schoolprestaties verbeteren (bezoek, testscores). ). Veertien in aanmerking komende scholen die in de winter van 2004 zijn geselecteerd, bestaan ​​uit 7 bij elkaar passende paren (behandeling en controle); de scholen werden gematcht op een 'risicoscore' samengesteld uit meerdere schoolkenmerken. Leerlingen in groep 3 in het schooljaar 2004-2005, hun ouders en hun leraren en schoolhoofden werden ondervraagd bij aanvang (herfst 2004), lente en herfst 2005, lente 2006 en lente 2007. Evaluatie is gebaseerd op meerdere soorten processen, bemiddelaarsvariabelen en resultaatgegevens uit schooldossiers (aanwezigheid, vergankelijkheid, cijfers, testprestaties, disciplinaire maatregelen en schorsingen, en veranderingen in de kenmerken van de school en de leerlingenpopulatie), leerlingendossiers, leerlingenenquêtes, ouderenquêtes , beoordelingen en enquêtes van docenten, en enquêtes onder beheerders, verzameld onder scholen in beide omstandigheden (behalve informatie over de levering van het Positive Action-programma). Het werk dat bij OSU wordt gedaan, is beperkt tot Dr. Flay's algemene supervisie over alle aspecten van het project, en gegevensanalyse met behulp van geanonimiseerde gegevens die zijn ontvangen van Dr. DuBois bij UIC en het schrijven van onderzoekspapers. Het werk dat wordt gedaan bij UIC, geregisseerd door Dr. David DuBois, omvat al het interventiewerk, het verzamelen van gegevens, het invoeren van gegevens en wat gegevensanalyse en het schrijven van rapporten. Het Amerikaanse ministerie van Onderwijs/IES huurde een nationale aannemer, Mathematica Policy Research, Inc. (MPR) in om kernenquêtes uit te voeren op alle locaties van de proef met meerdere locaties tot en met het voorjaar van 2007. Daarnaast beheert OSU/UIC een locatiespecifieke studentenenquête die een aanvulling is op de multi-site-enquêtes tijdens alle gegevensverzamelingsgolven. Aangezien de projectfinanciering volgde op de verhuizing van Dr. Flay van UIC naar OSU in september 2005, geeft OSU IRB een overzicht van het totale project. Vanaf april 2008 maakt nieuwe financiering de voortzetting van de studie tot maart 2012 mogelijk en volgt het beoogde cohort van studenten tot het einde van groep 8 terwijl zij en hun leraren en directeuren worden ondervraagd in het najaar van 2008, het voorjaar van 2009 en opnieuw samen met hun ouders in het voorjaar 2010. Gegevensverzameling voor het vervolgonderzoek omvat ook het verzamelen van lengte en gewicht van kinderen en procesevaluatiegegevens van studenten en docenten. Er zal geen betrokkenheid zijn van MPR. De gegevensverzameling werd voltooid in juni 2010.

Toestemmingspercentages en mobiliteit:

Ouderlijke toestemming werd verkregen voordat leerlingen, ouders of leerkrachten enquêtes hadden ingevuld toen leerlingen in groep 3 zaten. Negenenzeventig procent van de ouders gaf toestemming bij aanvang. Studenten die op latere golven aan het onderzoek deelnamen, kregen op dat moment toestemming; toestemmingspercentages voor hen varieerden van 65% tot 78% voor Waves 2-5. Alle studenten kregen opnieuw toestemming voor de tweede financieringsfase bij Wave 6 (begin klas 7); toestemmingspercentages waren lager bij golf 6 tot en met 8 (≈ 58 tot 64%). Dit komt overeen met eerdere onderzoeken die hebben aangetoond dat de toestemmingspercentages dalen naarmate de niveaus stijgen. De percentages instemmende ouders die rapporten over hun kinderen verstrekten, waren respectievelijk 72,3%, 58,9%, 52,2%, 50,5% en 72,9% bij Waves 1, 2, 4, 5 en 8. Twee factoren die waarschijnlijk de respons van ouders in Wave 8 hebben verhoogd, waren (1) een toename van de financiële prikkel voor het invullen van het ouderrapport en (2) een intensieve periode van telefonisch contact met gezinnen om de toename van de prikkel op te merken en om het invullen van de enquête aan te moedigen. Percentages van instemmende studenten voor wie docenten beoordelingen hebben voltooid, waren 74,6%, 74,8%, 72,4%, 78,3%, 74,4% en 92,7% voor respectievelijk Waves 1, 2, 4, 5, 7 en 8. Bij Wave 8 introduceerden we een extra stimulans op schoolniveau voor 100% voltooiingspercentages van lerarenenquêtes, wat waarschijnlijk resulteerde in een toename van voltooide lerarenbeoordelingen. Mobiliteitspatronen werden geïdentificeerd aan de hand van de resultaten van een latente klassenanalyse waarin een 5-klassenoplossing het meest geschikt bleek te zijn voor de gegevens: 1) blijvers (gemiddelde studieduur van 5,72 jaar, N = 158), 2) tijdelijke deelnemers (1,30 jaar, alleen in groep 4 of 5; N=196), 3) laatkomers (1,38 jaar; N=308); 4) vroege verlaters (0,94 jaar; N=263), en 5) late verlaters (3,23 jaar; N=287).

Geplande statistische analyses:

Omdat de proef clustergericht was, beoordeelden we leerlingen die na het begin van de proef naar school kwamen (toevoegers), maar volgden we geen individuele leerlingen die stopten met het bezoeken van de studiescholen (verlaters). Vanuit het standpunt van studenten kunnen ze in de loop van de tijd worden beschouwd als een "dynamische" (d.w.z. veranderend) leerjaarcohort. Multilevel-modellen zullen worden gebruikt om rekening te houden met variatie op school- en leerlingniveau. Ontbrekende gegevens zullen worden aangepakt met behulp van de Missing-at-Random (MAR)-aanname, aangezien het onwaarschijnlijk is dat een enkele niet-gemeten variabele of reeks variabelen de ontbrekende gegevens zou voorspellen voor alle leerlingen die na randomisatie de proefscholen verlieten of zich bij de proefscholen voegden. niveau (meetmomenten genest binnen leerlingen genest binnen scholen) groeicurvemodel voor het analyseren van behandelingseffecten op verschillende uitkomsten op leerlingniveau. Deze modellen zullen alle observaties en modelschoolverschillen verklaren. Deze benadering maakt een volledige analyse mogelijk van de meerdere golven van beschikbare gegevens en houdt rekening met de veranderingspatronen in de loop van de tijd. Eerst zullen modellen met een willekeurige interceptie van de groeicurve worden geschat. Volgens het random-intercept-model zal een random-coëfficiëntmodel worden uitgevoerd om te testen of er significante variatie is in de verandering van leerlingen in de loop van de tijd, in plaats van dat alle leerlingen in elke conditie hetzelfde veranderingspatroon hebben. Een Likelihood Ratio Chi-kwadraat (LR)-test zal worden gebruikt om modelfit met en zonder de willekeurige coëfficiënt te vergelijken. Als een model met een willekeurige tijdscoëfficiënt significant beter past bij een bepaalde uitkomst, wordt dit gerapporteerd als het uiteindelijke model. Interventie-effecten op schalen die alleen zijn verzameld bij latere golven (golf 5 of 6 en verder) zullen worden getest met het snijpunt ingesteld op het eindpunt (golf 8) waarbij de voorwaardeterm een ​​mogelijk verschil in effecten aangeeft bij de laatste (golf 8).

Omdat er slechts 14 scholen in deze proef zitten en het PA-effect op schoolniveau wordt getest in een cluster-gerandomiseerde proef, zullen we verschillende gevoeligheidsanalyses uitvoeren. Eerst zullen we de statistische significantie van de PA-coëfficiëntschatting en de standaardfout ervan beoordelen met behulp van de t-verdeling met 12 vrijheidsgraden: 14 scholen - 1 (het conditie-effect) - 1 = 12 df, wat zorgt voor een meer conservatieve benadering. Een tweede benadering zal een analyse op paarniveau zijn, geschat als een model met vier niveaus: meetmomenten genest binnen studenten, genest binnen scholen, genest binnen gematchte paren.

Naast de enquêtegegevens op leerlingniveau zullen verschillende archiefmaatregelen op schoolniveau worden geanalyseerd. Omdat deze gegevens op schoolniveau zijn, zullen de groeicurvemodellen twee niveaus hebben (observaties binnen scholen) in plaats van drie niveaus. Vanwege de kleine hoeveelheid gegevens (het aantal scholen maal het aantal golven) en de resulterende vermogensbeperkingen, zullen deze analyses alleen het random-intercept-model gebruiken.

We testen op matiging per geslacht en per studentenmobiliteit. De moderatietesten zullen uitwijzen voor wie het programma effecten heeft; dat wil zeggen, deze tests zullen ons in staat stellen te beoordelen of programma-effecten verschillen per geslacht of de mobiliteit van een kind. We zullen niet testen op matiging op basis van etniciteit, omdat dit sterk wordt verward met school, met 3 paar scholen met een overwegend Afro-Amerikaanse inschrijving en 2 paar scholen met een overwegend Spaanse inschrijving.

Hoewel alle 14 scholen in het CRCT behouden bleven, was de studentenpopulatie in deze proef zeer mobiel. Het is dus belangrijk om te testen op mogelijke modererende effecten van mobiliteitspatronen van studenten. Een recente benadering voor het analyseren van mobiliteitspatronen is latente klassenanalyse (LCA). De hierboven beschreven mobiliteitspatronen kunnen vervolgens worden getest als moderator van programma-effecten; dat wil zeggen, onderzoeken of studenten met verschillende mobiliteitspatronen verschillende programma-effecten hebben.

Met bemiddelingsanalyses kunnen we de werkingsmechanismen van het PA-programma onderzoeken. We zullen eerst het bivariate effect van X op Y schatten zonder dat de mediator in het model is opgenomen. Vervolgens schatten we tegelijkertijd het directe effect van X op Y met de bemiddelaar in het model, evenals het gemedieerde effect, dat bestaat uit het effect van X op M × M op Y.