Positiivisen toimintaohjelman satunnaistettu kokeilu Chicagon kouluissa ja pidennys 8. luokalle

Tämä hanke on yksi seitsemästä kansallisesti toteutetusta eri ohjelmien monitoimipaikkakokeilusta. Oregon State University (OSU) ja University of Illinois at Chicago (UIC) suorittavat koulupohjaista satunnaistettua koetta arvioidakseen Positive Action -ohjelman (PA) tehokkuutta saadakseen selville, miten ohjelma toimii ja määrittääkseen Positive Action -ohjelman tehokkuuden. Toimintaohjelma negatiivisen käyttäytymisen (mukaan lukien terveyteen liittyvän käyttäytymisen) vähentämiseksi, positiivisen käyttäytymisen lisäämiseksi ja peruskoulun oppilaiden akateemisten tulosten parantamiseksi. Positive Action -ohjelma suunniteltiin edistämään sosiaalista ja luonteenkehitystä (kunnioitus, vastuullisuus, altruismi, kansalaishyve, prososiaalinen käyttäytyminen) tavoilla, jotka vähentävät epäsosiaalista käyttäytymistä (väkivalta, päihteiden käyttö, rikollisuus) ja parantavat koulumenestystä (läsnäolot, kokeiden tulokset) ). Neljätoista talven 2004 aikana valittua koulua koostuu seitsemästä parista (hoito ja kontrolli); kouluja verrattiin "riskipisteisiin", jotka koostuivat useista koulun ominaisuuksista. Lukuvuoden 2004-2005 kolmannen luokan oppilaat, heidän vanhempansa sekä heidän opettajansa ja rehtorinsa tutkittiin lähtötilanteessa (syksy 2004), keväällä ja syksyllä 2005, keväällä 2006 ja keväällä 2007. Arviointi perustuu monenlaisiin prosesseihin, välittäjämuuttujiin ja tulostietoihin koulun asiakirjoista (läsnäolo, ohimenevyys, arvosanat, testien suoritus, kurinpitotoimenpiteet ja erotukset sekä muutokset koulun ja oppilaiden ominaisuuksissa), oppilasasiakirjoista, opiskelijakyselyistä, vanhempien kyselyistä. , opettajien arvioinnit ja kyselyt sekä ylläpitäjän kyselyt, jotka on kerätty kouluista molemmissa olosuhteissa (paitsi tiedot Positive Action -ohjelman toimittamisesta). OSU:ssa tehtävä työ rajoittuu tohtori Flayn yleiseen valvontaan projektin kaikista osa-alueista ja tietojen analysointiin käyttäen tohtori DuBoisilta UIC:ssa saatua tunnistamattomia tietoja ja tutkimuspaperien kirjoittamista. Tohtori David DuBoisin johtama UIC:n työ sisältää kaiken interventiotyön, tiedonkeruun, tietojen syöttämisen sekä jonkin verran data-analyysiä ja raporttien kirjoittamista. Yhdysvaltain opetusministeriö/IES palkkasi kansallisen urakoitsijan Mathematica Policy Research, Inc:n (MPR) suorittamaan ydintutkimuksia kaikissa usean toimipisteen kokeilupaikoissa kevääseen 2007 asti. Lisäksi OSU/UIC hallinnoi paikkakohtaista opiskelijakyselyä, joka täydentää usean paikan tutkimuksia kaikkien tiedonkeruuaaltojen aikana. Koska hankkeen rahoitus seurasi tohtori Flayn siirtymistä UIC:stä OSU:hun syyskuussa 2005, OSU IRB tarjoaa katsauksen koko hankkeesta. Huhtikuusta 2008 alkaen uusi rahoitus mahdollistaa opiskelun jatkamisen maaliskuuhun 2012 asti ja seuraa tavoitekohorttia opiskelijoille 8. luokan loppuun asti, sillä heitä ja heidän opettajiaan ja rehtoreita tutkitaan syksyllä 2008, keväällä 2009 ja uudelleen yhdessä vanhempiensa kanssa keväällä 2010. Tiedonkeruu jatkotutkimukseen sisältää myös lasten pituuden ja painon keruun sekä prosessin arviointitiedot opiskelijoilta ja opettajilta. MPR ei ole mukana. Tiedonkeruu valmistui kesäkuussa 2010.

Suostumushinnat ja liikkuvuus:

Vanhempien suostumus saatiin ennen kuin oppilaat, vanhemmat tai opettajat suorittivat kyselyitä oppilaiden ollessa 3. luokalla. 79 prosenttia vanhemmista antoi suostumuksen lähtötilanteessa. Opiskelijat, jotka liittyivät tutkimukseen myöhemmillä aalloilla, hyväksyttiin tuolloin; heidän suostumusprosenttinsa vaihteli 65 prosentista 78 prosenttiin aalloissa 2–5. Kaikki opiskelijat saivat uudelleen suostumuksen rahoituksen toiseen vaiheeseen Wave 6:ssa (7. luokan alussa); suostumusasteet olivat alhaisemmat aalloilla 6–8 (≈ 58–64 %). Tämä on yhdenmukainen aiempien tutkimusten kanssa, joissa on havaittu, että suostumusprosentti laskee arvosanan noustessa. Suostuneiden vanhempien prosenttiosuudet, jotka raportoivat lapsistaan, olivat 72,3 %, 58,9 %, 52,2 %, 50,5 % ja 72,9 % aalloissa 1, 2, 4, 5 ja 8. Kaksi tekijää, jotka todennäköisesti lisäsivät vanhempien vastausprosenttia vaiheessa 8, olivat (1) taloudellisen kannustimen lisääminen vanhempainraportin täyttämiseen ja (2) intensiivinen yhteydenotto puhelimitse perheille kannustimen kasvun huomioimiseksi ja kyselyn suorittamisen kannustamiseksi. Suostuneiden opiskelijoiden prosenttiosuudet, joiden osalta opettajat suorittivat arvioinnit, olivat 74,6 %, 74,8 %, 72,4 %, 78,3 %, 74,4 % ja 92,7 % aalloissa 1, 2, 4, 5, 7 ja 8. Wave 8:ssa otimme käyttöön ylimääräisen koulutason kannustimen opettajien kyselyn 100 %:n suorittamisesta, mikä todennäköisesti johti suoritettujen opettajien arvioiden kasvuun. Liikkuvuusmallit tunnistettiin piilevän luokka-analyysin tuloksista, jossa 5-luokan ratkaisu todettiin sopivimmaksi datalle: 1) jääneet (keskimääräinen tutkimuksen kesto 5,72 vuotta, N = 158), 2) väliaikaiset osallistujat (1,30 vuotta, vain luokilla 4 tai 5; N = 196), 3) myöhään liittyneet (1,38 vuotta; N = 308); 4) varhain lähteneet (0,94 vuotta; N=263) ja 5) myöhään eroavat (3,23 vuotta; N=287).

Suunnitellut tilastolliset analyysit:

Koska koe oli klusterikeskeistä, arvioimme kokeen alun jälkeen kouluun tulleita opiskelijoita (liittyneitä), mutta emme seuranneet yksittäisiä opiskelukouluihin osallistumisen lopettaneita opiskelijoita (poistuneet). Opiskelijoiden näkökulmasta heitä voitaisiin ajan mittaan pitää "dynaamisina" (ts. muuttuva) arvosanakohortti. Monitasoisten mallien avulla otetaan huomioon vaihtelu koulu- ja opiskelijatasolla. Puuttuvat tiedot käsitellään puuttuva-at-random (MAR) -oletuksen avulla, koska on epätodennäköistä, että yksittäinen mittaamaton muuttuja tai muuttujajoukko ennustaisi puuttumisen kaikille opiskelijoille, jotka lähtivät koekouluista tai liittyivät niihin satunnaistamisen jälkeen. Ehdotamme kolmea taso (mittaustilanteet sisäkkäin oppilaiden sisällä sisäkkäin kouluissa) kasvukäyrämalli, jolla analysoidaan hoidon vaikutuksia erilaisiin opiskelijatason tuloksiin. Nämä mallit ottavat huomioon kaikki havainnot ja mallintavat koulujen erot. Tämä lähestymistapa mahdollistaa saatavilla olevien tietojen useiden aaltojen täydellisen analyysin ja ottaa huomioon ajan kuluessa muuttuvat mallit. Satunnaisleikkauksen kasvukäyrämallit arvioidaan ensin. Satunnaisleikkausmallia noudattaen ajetaan satunnaiskerroinmalli, jolla testataan, onko oppilaiden muutoksessa merkittävää vaihtelua ajan kuluessa, sen sijaan, että kaikilla oppilailla kussakin tilassa olisi sama muutoskuvio. Todennäköisyyssuhteen Chi-neliö (LR) -testiä käytetään mallin sovituksen vertaamiseen satunnaiskertoimen kanssa ja ilman sitä. Jos malli, jossa on satunnainen aikakerroin, sopii huomattavasti paremmin tiettyyn tulokseen, se raportoidaan lopulliseksi malliksi. Vain myöhemmillä aalloilla (aalto 5 tai 6 eteenpäin) kerättyjen asteikkojen interventiovaikutukset testataan päätepisteessä (Aalto 8) asetettulla leikkauspisteellä ehtotermillä, joka ilmaisee mahdollisen eron vaikutuksissa viimeisessä (aalto 8).

Koska tässä kokeessa on vain 14 koulua ja PA-vaikutusta testataan koulutasolla klusterisatunnaistetussa kokeessa, teemme useita herkkyysanalyysejä. Ensin arvioimme PA-kertoimen estimaatin ja sen keskivirheen tilastollista merkitsevyyttä käyttämällä t-jakaumaa 12 vapausasteen kanssa: 14 koulua - 1 (ehtovaikutus) - 1 = 12 df konservatiivisemman lähestymistavan mukaisesti. Toinen lähestymistapa on paritason analyysi, joka arvioidaan neljän tason mallina: mittaustapahtumat sisäkkäin oppilaiden sisällä, sisäkkäin kouluissa, sisäkkäin sovitettujen parien sisällä.

Opiskelijatason kyselytietojen lisäksi analysoidaan useita koulutason arkistomittauksia. Koska nämä tiedot ovat koulutasoisia, kasvukäyrämallit ovat kaksitasoisia (havainnot kouluissa) kolmen tason sijaan. Pienen datamäärän (koulujen lukumäärä kertaa aaltojen lukumäärä) ja niistä aiheutuvien tehorajoitusten vuoksi näissä analyyseissä käytetään vain satunnaisleippausmallia.

Testaamme maltillisuutta sukupuolen ja opiskelijoiden liikkuvuuden mukaan. Moderointitestit paljastavat, kenelle ohjelmalla on vaikutukset; eli näiden testien avulla voimme arvioida, eroavatko ohjelman vaikutukset sukupuolen tai lapsen liikkuvuuden mukaan. Emme testaa maltillisuutta etnisen alkuperän perusteella, koska se on erittäin sekava koulu, sillä 3 kouluparissa on enimmäkseen afroamerikkalaisia ​​ja 2 kouluparia pääosin latinalaisamerikkalaisia.

Vaikka kaikki 14 koulua säilytettiin koko CRCT:n ajan, tämän kokeen opiskelijapopulaatio oli erittäin liikkuva. Siksi on tärkeää testata opiskelijoiden liikkuvuusmallien mahdollisia hillitseviä vaikutuksia. Viimeaikainen lähestymistapa liikkuvuusmallien analysointiin on latenttiluokka-analyysi (LCA). Edellä kuvattuja liikkuvuuskuvioita voidaan sitten testata ohjelmatehosteiden moderaattorina; eli tutkitaan, onko erilaisten liikkuvuusmallien omaavilla opiskelijoilla erilaisia ​​ohjelmavaikutuksia.

Välitysanalyysien avulla voimme tarkastella PA-ohjelman toimintamekanismeja. Ensin arvioimme X:n kaksimuuttujavaikutuksen Y:ään ilman malliin sisällytettyä välittäjää. Sitten arvioimme samanaikaisesti X:n suoran vaikutuksen Y:hen malliin sisältyvän välittäjän kanssa sekä välittynyttä vaikutusta, joka koostuu X:n vaikutuksesta M × M:ään Y:ään.