Randomizovaná zkouška programu pozitivních akcí v chicagských školách a prodloužení do 8. třídy

Tento projekt je jedním ze sedmi ve vícemístném testování různých programů, které byly implementovány na národní úrovni. Oregon State University (OSU) a University of Illinois v Chicagu (UIC) provádějí školní randomizovanou studii s cílem vyhodnotit účinnost programu pozitivních akcí (PA), aby zjistily, jak program funguje, a určily účinnost pozitivního programu. Akční program na snížení negativního chování (včetně chování souvisejícího se zdravím), zvýšení pozitivního chování a zlepšení studijních výsledků žáků základních škol. Program Pozitivní akce byl navržen tak, aby podporoval sociální a charakterový rozvoj (respekt, odpovědnost, altruismus, občanské ctnosti, prosociální chování) způsoby, které snižují antisociální chování (násilí, užívání návykových látek, delikvence) a zlepšují školní výkon (docházka, výsledky testů). ). Čtrnáct způsobilých škol vybraných během zimy 2004 se skládá ze 7 spárovaných párů (léčba a kontrola); školy byly porovnány na základě „skóre rizika“ složeného z více charakteristik školy. Studenti ve 3. ročníku ve školním roce 2004-05, jejich rodiče a jejich učitelé a ředitelé byli dotazováni na výchozím stavu (podzim 2004), na jaře a na podzim 2005, na jaře 2006 a na jaře 2007. Hodnocení je založeno na různých typech procesů, zprostředkovatelských proměnných a výstupních datech ze školních záznamů (docházka, pomíjivost, známky, výsledky testů, disciplinární opatření a pozastavení a změny v charakteristikách školní a studentské populace), záznamy studentů, průzkumy studentů, průzkumy rodičů , hodnocení učitelů a průzkumy a průzkumy administrátorů shromážděné od škol v obou podmínkách (kromě informací o poskytování programu Pozitivní akce). Práce prováděná na OSU se omezuje na celkový dohled Dr. Flaye nad všemi aspekty projektu a analýzu dat pomocí de-identifikovaných dat obdržených od Dr. DuBoise z UIC a psaní výzkumných prací. Práce prováděná v UIC pod vedením Dr. Davida DuBoise zahrnuje veškerou intervenční práci, sběr dat, vkládání dat a některé analýzy dat a psaní zpráv. Americké ministerstvo školství/IES najalo národního dodavatele, společnost Mathematica Policy Research, Inc. (MPR), aby do jara 2007 prováděl základní průzkumy na všech místech testování na více místech. Kromě toho OSU/UIC spravuje studentský průzkum specifický pro dané místo, který doplňuje průzkumy na více místech během všech vln sběru dat. Vzhledem k tomu, že financování projektu následovalo po přechodu Dr. Flaye z UIC na OSU v září 2005, OSU IRB poskytuje přehled celého projektu. Od dubna 2008 umožňuje nové financování pokračovat ve studiu do března 2012 a sleduje cílovou skupinu studentů až do konce 8. ročníku, protože oni a jejich učitelé a ředitelé jsou dotazováni na podzim 2008, na jaře 2009 a znovu spolu s jejich rodiči na jaře. 2010. Sběr dat pro navazující studii zahrnuje také sběr údajů o výšce a váze dětí a proces hodnocení od studentů a učitelů. Nebude žádné zapojení MPR. Sběr dat byl dokončen v červnu 2010.

Míra souhlasu a mobilita:

Souhlas rodičů byl získán předtím, než studenti, rodiče nebo učitelé dokončili průzkum, když byli studenti ve 3. ročníku. Sedmdesát devět procent rodičů poskytlo souhlas na začátku. Studenti, kteří se připojili ke studiu v pozdějších vlnách, byli v té době schváleni; míra souhlasu se u nich pohybovala od 65 % do 78 % pro vlny 2–5. Všichni studenti získali opětovný souhlas s druhou fází financování v 6. vlně (začátek 7. ročníku); míra souhlasu byla nižší ve vlnách 6 až 8 (≈ 58 až 64 %). To je v souladu s předchozími studiemi, které zjistily, že míra souhlasu klesá s rostoucí úrovní. Procento souhlasných rodičů, kteří poskytli zprávy o svých dětech, bylo ve vlnách 1, 2, 4, 5 a 8 72,3 %, 58,9 %, 52,2 %, 50,5 % a 72,9 %. Dva faktory, které pravděpodobně zvýšily míru odezvy rodičů ve vlně 8, byly (1) zvýšení finanční pobídky pro vyplnění rodičovské zprávy a (2) intenzivní období telefonického kontaktu s rodinami, aby zaznamenaly nárůst pobídek a podpořily dokončení průzkumu. Procenta souhlasných studentů, u kterých učitelé dokončili hodnocení, byla 74,6 %, 74,8 %, 72,4 %, 78,3 %, 74,4 % a 92,7 % pro vlny 1, 2, 4, 5, 7 a 8, v tomto pořadí. Ve vlně 8 jsme zavedli další motivaci na úrovni školy pro 100% míru dokončení učitelského průzkumu, což pravděpodobně vedlo ke zvýšení hodnocení dokončených učitelů. Vzorce mobility byly identifikovány pomocí výsledků analýzy latentních tříd, ve kterých bylo zjištěno, že 5třídní řešení je nejvhodnější pro data: 1) zůstávající (průměrná délka studie 5,72 let, N = 158), 2) dočasní účastníci (1,30 roku, pouze ve 4. nebo 5. ročníku; N=196), 3) pozdní truhláři (1,38 roku; N=308); 4) předčasně opouštějící (0,94 let; N=263) a 5) opoždění (3,23 let; N=287).

Plánované statistické analýzy:

Vzhledem k tomu, že pokus byl klastrově zaměřený, hodnotili jsme studenty, kteří nastoupili do škol po začátku pokusu (spojovatele), ale nesledovali jednotlivé studenty, kteří přestali studovat školy (absolventi). Z hlediska studentů by je bylo možné v průběhu času považovat za „dynamické“ (tj. měnící se) ročník kohorty. Víceúrovňové modely budou použity k zohlednění rozdílů na úrovni škol a studentů. Chybějící data budou řešena pomocí předpokladu missing-at-random (MAR), protože je nepravděpodobné, že by jediná neměřená proměnná nebo sada proměnných předpovídala chybějící údaje pro všechny studenty, kteří po randomizaci odešli nebo nastoupili do zkušebních škol. Navrhujeme tři- model růstové křivky pro analýzu účinků léčby na různé výsledky na úrovni studentů. Tyto modely budou zohledňovat všechna pozorování a rozdíly modelových škol. Tento přístup umožňuje kompletní analýzu mnoha vln dostupných dat a bere v úvahu vzorce změn v čase. Nejprve budou odhadnuty modely s náhodným zachycením růstové křivky. V návaznosti na model náhodného zachycení bude spuštěn model s náhodným koeficientem, aby se otestovalo, zda existuje významná odchylka ve změně studenta v průběhu času, spíše než aby všichni studenti v každém stavu měli stejný vzorec změn. K porovnání shody modelu s náhodným koeficientem a bez něj bude použit test pravděpodobnostního poměru Chi-kvadrát (LR). Pokud model s náhodným časovým koeficientem poskytuje výrazně lepší shodu pro daný výsledek, bude uveden jako konečný model. Účinky zásahu na stupnice shromážděné pouze v pozdějších vlnách (vlna 5 nebo 6 a dále) budou testovány se zachycením nastaveným v koncovém bodě (vlna 8) s podmínkovým členem indikujícím možný rozdíl v účincích na poslední (vlna 8).

Protože se této studie účastní pouze 14 škol a efekt PA je testován na úrovni škol v klastrově randomizované studii, provedeme několik analýz citlivosti. Nejprve posoudíme statistickou významnost odhadu PA koeficientu a jeho směrodatnou chybu pomocí t-rozdělení s 12 stupni volnosti: 14 škol - 1 (podmínkový efekt) - 1 = 12 df, což umožňuje konzervativnější přístup. Druhým přístupem bude analýza na párové úrovni, odhadovaná jako čtyřúrovňový model: případy měření vnořené v rámci studentů, vnořené ve školách, vnořené v spárovaných párech.

Kromě údajů z průzkumu na úrovni studentů bude analyzováno několik archivních opatření na úrovni škol. Protože tato data jsou na úrovni škol, modely růstových křivek budou spíše dvouúrovňové (pozorování ve školách) než tříúrovňové. Vzhledem k malému množství dat (počet škol krát počet vln) az toho vyplývajícím omezením výkonu budou tyto analýzy používat pouze model náhodného zachycení.

Budeme testovat moderování podle pohlaví a podle mobility studentů. Testy moderování odhalí, pro koho má program své účinky; to znamená, že tyto testy nám umožní posoudit, zda se účinky programu liší podle pohlaví nebo mobility dítěte. Nebudeme testovat umírněnost podle etnické příslušnosti, protože je velmi zaměňována se školou, přičemž 3 páry škol mají většinou afroamerické zápisy a 2 páry škol mají převážně hispánský zápis.

Zatímco všech 14 škol bylo zachováno v celém CRCT, populace studentů v této studii byla vysoce mobilní. Proto je důležité otestovat potenciální zmírňující účinky vzorců mobility studentů. Nedávným přístupem k analýze vzorců mobility je analýza latentních tříd (LCA). Vzorce mobility popsané výše pak mohou být testovány jako moderátor efektů programu; tedy zkoumání, zda studenti s různými vzory mobility mají různé efekty programu.

Mediační analýzy nám umožní prozkoumat mechanismy působení programu PA. Nejprve odhadneme bivariační účinek X na Y bez mediátoru zahrnutého v modelu. Poté budeme současně odhadovat přímý vliv X na Y s mediátorem zahrnutým v modelu a také zprostředkovaný efekt, který se skládá z vlivu X na M × M na Y.