Lupaavien keskeyttämisen ehkäisyohjelmien kattavuuden lisääminen: mittakaavan ja tehokkuuden välisten kompromissien tutkiminen

Chicagon yliopiston Education Labin ja Crime Lab New Yorkin tutkimusryhmät suorittavat satunnaistettua kontrolloitua koetta lukuvuosien 2016–2017 ja 2017–18 aikana kehittääkseen aiempaa yhteistyötä Chicago Public Schoolsin (CPS), New Yorkin osaston kanssa. of Education ja SAGA Innovations, jotka ovat havainneet, että SAGAn intensiivinen, yksilöllinen, koulupäivän aikana tapahtuva tutorointi voi tuottaa erittäin suuria voittoja akateemisissa tuloksissa lyhyessä ajassa, jopa opiskelijoiden keskuudessa, jotka ovat monta vuotta luokkatasosta jäljessä. Tämä tutkimus viittaa tämän lähestymistavan lupaukseen parantaa heikossa asemassa olevien nuorten akateemisia taitoja ja koulutustasoa, vaikka he ovat saavuttaneet teini-iän. Kuitenkin, jotta se todella vaikuttaisi tuloksiin paikallisella ja kansallisella tasolla, SAGA olisi otettava käyttöön paljon suuremmassa mittakaavassa kuin tutkijat ovat voineet tutkia Chicagossa. Silti tiedetään vähän siitä, kuinka lupaavat interventiot saadaan mittakaavassa. Tämä tutkimus pyrkii rakentamaan laajenemisen tiedettä tutkimalla, missä määrin tätä yksilöllistä tutorointiohjelmaa voidaan toteuttaa entistä laajemmassa mittakaavassa, ja tutkimalla selkeästi tehokkuuden ja mittakaavan välisiä kompromisseja.

SAGA Innovations -ohjelma laajentaa kansallisesti tunnustettua innovaatiota korkeaannoksista, koulupäivän tutorointia, joka on kehitetty Match Educationin peruskoulussa Bostonissa. Tuutorointiohjelma kokoontuu aikataulun mukaisena kurssina, Math Lab, kerran päivässä normaalin koulupäivän aikana, ja se järjestetään opiskelijan normaalin matematiikan tunnin lisäksi. Opiskelijat työskentelevät kahden kesken (kaksi opiskelijaa yhdellä tutorilla) saman kokopäiväisen ammattitutorin kanssa koko lukuvuoden ajan. Tutorointiistuntojen sisältö mukautuu siihen, mitä opiskelijat oppivat tavallisilla matematiikan kursseilla, mutta ne on myös suunnattu korjaamaan yksilöllisiä puutteita matematiikan tiedossa. Myös Match Educationin kehittämän alkuperäisen mallin mukaisesti SAGA-tutorit käyttävät usein sisäisiä muotoilevia arvioita oppilaiden edistymisestä yksilöllistääkseen opetusta.

Edellisessä Chicagon yliopiston tutkimusryhmän suorittamassa satunnaistetussa kontrolloidussa tutkimuksessa todettiin, että yksi vuosi tästä interventiosta, joka toteutettiin AY2013-14 Chicagon julkisissa kouluissa, tuotti yhdestä kahteen ylimääräistä akateemista kasvua matematiikassa, yli mitä normaali yhdysvaltalainen lukiolainen oppii yhdessä vuodessa (Cook et al., 2015; Reardon, 2011). Arvioidut vaikutukset matematiikan saavutuksiin ovat suuruusluokkaa 0,19-0,30 standardipoikkeamaa, riippuen tarkasta testistä ja käytetystä normista. Interventio paransi myös oppilaiden arvosanoja matematiikassa 0,58 pisteellä 1-4 pisteen asteikolla verrattuna vertailun keskiarvoon 1,77. Nämä edut ovat erityisen tärkeitä, koska lisääntyy näyttöä matematiikan merkityksestä erityisesti lyhyen ja keskipitkän aikavälin koulumenestyksissä ja pitkän aikavälin elämäntuloksissa, kuten työllisyyden ja ansioiden kannalta (Duncan et al., 2007).

Tämä tutkimus pyrkii tukemaan tutkijoiden aiempia arviointeja ohjelmasta ja antaa käsityksen tämän ohjelman kyvystä palvella nuoria paljon laajemmassa mittakaavassa. Erityisesti tämän tutkimuksen tarkoituksena on vastata seuraaviin tutkimuskysymyksiin:

1. Mitä vaikutuksia näyttöön perustuvan yksilöllisen tutorointiohjelman toteuttamisella on laajemmassa mittakaavassa?
2. Mikä on ohjelman vaikutuksen ja ohjelman täytäntöönpanon mittakaavan välinen suhde?

Toteutuspaikat on jaettu kahteen ryhmään: Chicagon sivustot, joissa opiskelijat satunnaistetaan saamaan tutorointia (jota kutsutaan tässä "laajennetuiksi" kouluiksi), ja Chicagon ja New Yorkin toimipisteet, joissa rehtorilla on ensisijainen harkintavalta päättää, mitkä opiskelijat saavat. tutorointi (jota kutsutaan tässä "palautuneiksi kouluiksi").

Tutkiakseen tutkimuskysymystä #1 tutkijat hyödyntävät satunnaisotannan mahdollisuuksia tutkiakseen tämän ohjelman laajenemista ilman, että heidän tarvitsee toteuttaa ohjelmaa paljon suuremmassa mittakaavassa. Ensimmäinen tutkimuskysymys pyrkii mittaamaan Chicagon laajennetun ohjelman keskimääräistä laatua, jossa tutkijat hyödyntävät skaalautuvien koulujen tietoja. Sekä kasvavien että palaavien koulujen opiskelijat määrätään satunnaisesti ohjaajiksi. Laajennettujen koulujen opiskelijoilla on kuitenkin kaksi ylimääräistä satunnaistamista - (1) tutorhakijan satunnaistaminen ja (2) hoitotehtävän satunnaistaminen. Ensinnäkin tutkimusryhmällä on SAGA:n ylirekrytoijia, ikään kuin he toteuttaisivat suunniteltua laajemmin laajennettavissa kouluissa. Tämän jälkeen tutkijat valitsevat satunnaisesti yhden kolmesta ja puolesta tutorihakijasta jatkamaan SAGAn tavanomaisen rekrytointiprosessin kautta, ja paikat laajennetuissa kouluissa täytetään vain näiden satunnaisesti valittujen tutorien toimesta. Koska oppilaat määrätään satunnaisesti hoitoon näissä laajennetuissa kouluissa, tutkijat pystyvät mittaamaan ohjelman vaikutuksia noin kolme ja puoli kertaa siinä mittakaavassa, jolla ohjelmaa toteutetaan näissä kouluissa.

Hoidon vaikutusten mittaamiseksi tutkimuskysymyksessä nro 1 tutkimusryhmä arvioi sekä intent to treat (ITT) että hoidon (TOT) vaikutuksiin. Tutkijat arvioivat ITT-vaikutuksen seuraavasti:

Y=B0 + B1T + B2X + E

missä Y on kiinnostava tulos, T tarkoittaa opiskelijoita, joille on satunnaisesti määrätty mahdollisuus osallistua tutorointiohjelmaan, X on joukko peruskontrolleja (joihin erityisesti sisältyy satunnaistuksen esto, sukupuoli, ikä, oppimisvaikeus, vapaa/ alennettu lounastila, kilpailu, perusarvosana, GPA, As/Bs/Cs/Ds/Fs/Fs edellisenä vuonna, matematiikka ja lukustandardit testitulokset edelliseltä vuodelta, koulusta poissaolopäivät, kurinpidolliset tapahtumat, mukaan lukien pelikiellot ja pidätykset , ja binäärilippu opiskelijoille, joiden GPA- ja läsnäolotiedot puuttuvat), E on satunnainen virhetermi ja B0, B1, B2 ovat arvioitavia parametreja. T:n satunnainen osoitus varmistaa, että standardioletusten mukaan tavallisten pienimmän neliösumman (OLS) estimointi tuottaa puolueettoman arvion ITT:stä B1:n estimaatina tai SAGA-tutorointiohjelmaan osallistumisen tarjouksen vaikutuksena. Koska kaikki ohjelmaan satunnaistetut opiskelijat yhdistettiin ohjaajien kanssa, jotka satunnaistettiin yllä kuvatulla prosessilla, ITT-vaikutuksemme (ja myöhemmin TOT-vaikutuksemme) mittaa erityisesti ohjelman vaikutusta, kun sitä annetaan kolme ja puoli kertaa. mittakaavassa sellaisena kuin sitä parhaillaan hallinnoidaan.

ITT mittaa osallistumismahdollisuuden vaikutusta. Koska hoitoon määrättyjen opiskelijoiden ei tarvitse osallistua ohjelmaan, ITT ei välttämättä mittaa osallistumisen vaikutusta. Tutkimusryhmä mittaa osallistumisen vaikutusta käyttämällä T:n satunnaista osoitusta osallistumisen instrumenttina. Jos kaikki osallistujat valittiin satunnaisesti (eli jos ei ole kontrolli-opiskelijoita, jotka voivat osallistua tutorointiohjelmaan), tämä menetelmä laskee hoidon vaikutuksen hoidettavaan (TOT) tai osallistumisen vaikutuksen siihen opiskelijaryhmään, joka valitse osallistua.

Saadakseen käsityksen yllä olevasta tutkimuskysymyksestä #2, joka pyrkii määrittämään ohjelman mittakaavan ja vaikutusten välisen suhteen, kaikkien toimipaikkojen tutorit luokitellaan SAGAn johtajuuden mukaan suhteellisen odotetun laadun perusteella. Tämän jälkeen tutkimusryhmä satunnaisoi opiskelijaparit ohjaajiksi yrittääkseen tunnistaa tutorin vaikutuksen opiskelijoiden tuloksiin. Tämän metodologian avulla tutkijat voivat tutkia, ennustaako tutorin sijoitus ohjelman vaikutusten kokoa. Koska tutkimusryhmä olettaa, että ohjelma palkkaisi ohjaajia heidän sijoituksensa mukaan riippuen heidän täytettävänsä ohjaajan paikoista, tämä analyysi valaisee mittakaavan ja tehokkuuden välistä suhdetta.

Analysoidakseen tietyn sijoituksen (eli tutkimuskysymyksen nro 2 ITT:n arvio) tutoriin nimeämisen vaikutusta tutkijat suorittavat regressiomalleja, jotka heikentävät akateemisia tuloksia ohjaajan sijoitukseen. Kiinnostuksen kohteena ovat matematiikan standardoidut testitulokset. Ensisijainen analyysimme mallintaa tuloksia ohjaajan arvon lineaarisena funktiona. Toissijaisena tutkivana analyysinä arvioimme tulosten ja ohjaajan sijoituksen välisen suhteen muodon käyttämällä seuraavaa jätä yksi pois ristiinvalidointiharjoitusta:

1. Arvioi suhde ei-parametrisesti suorittamalla regressio tuloksen opiskelijatasolla (ensisijainen: matematiikan standardoidut testitulokset) täydellä sarjalla erillisiä kiinteitä tehosteita jokaiselle ohjaajan arvolle. Kutsu kerrointa r:nnen järjestetyn ohjaajan kiinteälle vaikutukselle γ ̂_r.
2. Sijoitukselle r=1,…,R: Arvioi opiskelijatason datan avulla tuloksen ja ohjaajan arvon välinen suhde polynomina, jonka luokka on p=0, 1, 2, …, 10 ja joka pitää opiskelijat, jotka on määrätty tutoreihin sijoittuneena r ulos. näytteestä. Käytä polynomitermien kertoimia ennustamaan γ ̂_r ja kutsu sitä f ̂_p (r). Tallenna kunkin polynomin neliövirhe: (f ̂_p (r)-γ ̂_r )^2.
3. Valitse polynomi p, joka minimoi arvon ∑_(r=1)^R(f ̂_p (r)-γ ̂_r )^2 .
4. Raportoi arvioitu suhde tuloksen ja sijoituksen välillä käyttämällä valittua polynomin järjestystä.

Tutor-arvon toimintojen lisäksi jokainen regressio sisältää lohkokiinteitä tehosteita, jotka kuvaavat kuinka opiskelijaparit jaettiin satunnaisesti ohjaajille. Lohkot sisältävät luokkahuoneessa olevia oppilasryhmiä, joilla on yhteisiä erityisrajoituksia (esim. ilman rajoituksia, tarvitset espanjankielisen tutorin tai tarvitset ohjaajan, joka on pätevä matematiikan edistyneille kursseille). Muut mallin yhteismuuttujat ovat samat kuin ne, jotka sisältyivät yllämainituun ITT- ja TOT-analyysiimme tutkimuskysymykselle nro 1, jotta voidaan mitata ohjelman vaikutusta, kun sitä annetaan kolme ja puoli kertaa suuremmalla asteikolla kuin se on. parhaillaan hallinnassa.

Kun opiskelijat vaihtavat ohjaajaa useista syistä, tutkijoiden on myös laskettava TOT-arvio nähdäkseen vaikutuksen, joka aiheutuu siitä, että heidät määrätään tietyn sijoituksen omaavalle ohjaajalle ja työskentely hänen kanssaan. Tätä varten tutkijat käyttävät satunnaisesti määrätyn ohjaajan arvoa painotetun keskimääräisen ohjaajan arvon instrumenttina, jossa kunkin ohjaajan arvon painotus on yhtä suuri kuin osuus ajasta (päivinä mitattuna), jonka opiskelija vietti kyseisen ohjaajan kanssa. . Tutkijat käyttävät päivittäin läsnäolotietoja tämän painotetun keskiarvon luomiseen. Tämä menetelmä auttaa tutkijoita ymmärtämään, tarkoittaako korkea-arvoisen tutorin kanssa työskentely sitä, että opiskelija todella saa laadukkaampaa opetusta, vai onko ohjaajan arvon ja todellisen laadun välillä lisäsuhdetta.

Käytämme analyysissä vain havaittuja tuloksia. Jos tulos puuttuu yli 5 prosentista näytteestä, raportoimme myös hoidon vaikutuksen sen mukaan, havaitaanko tulos vai ei. Kun perusviivakovariaatit puuttuvat, laskemme puuttuvat arvot nollalla ja sisällytämme puuttumisen indikaattorin lisäperusviivakontrollina.