Ígéretes lemorzsolódás-megelőzési programok elérhetőségének növelése: a mérték és a hatékonyság közötti kompromisszumok vizsgálata

A University of Chicago Education Lab és a Crime Lab New York kutatócsoportjai a 2016–2017-es és a 2017–18-as tanévben randomizált, ellenőrzött vizsgálatot végeznek a Chicago Public Schools-szal (CPS), a New York-i tanszékkel való korábbi együttműködések alapján. of Education és a SAGA Innovations, amelyek azt találták, hogy a SAGA intenzív, személyre szabott, az iskolai nap folyamán végzett korrepetálása rövid időn belül nagyon nagy eredményeket hozhat a tanulmányi eredményekben, még olyan diákok körében is, akik sok évvel le vannak maradva az iskolai végzettségről. Ez a kutatás azt sugallja, hogy ez a megközelítés ígéretet tesz a hátrányos helyzetű fiatalok tanulmányi készségeinek és iskolai végzettségének javítására, még akkor is, ha elérik a serdülőkort. A helyi és országos szintű eredmények tényleges befolyásolásához azonban a SAGA-t sokkal nagyobb léptékben kellene bevezetni, mint amennyire a chicagói kutatók képesek voltak. Arról azonban keveset tudunk, hogy az ígéretes beavatkozásokat miként lehet méretre szabni. Ez a tanulmány a méretnövelés tudományának felépítésére törekszik azáltal, hogy megvizsgálja, milyen mértékben lehet ezt az egyénre szabott oktatói programot még nagyobb léptékben megvalósítani, és kifejezetten feltárja a hatékonyság és a lépték közötti kompromisszumokat.

A SAGA Innovations program a Match Education bostoni charter iskolájában kifejlesztett, országosan elismert innovációt terjeszti ki, a nagy dózisú, iskolai napi oktatást. Az oktatói program ütemezett kurzusként, a Math Lab, naponta egyszer, a normál tanítási napon találkozik, és a tanulók szokásos matematikai órái mellett biztosított. A tanulók kettesben (két diák egy oktatóval) ugyanazzal a főállású, hivatásos oktatóval dolgoznak az egész tanévben. Az oktatói foglalkozások tartalma igazodik ahhoz, amit a tanulók a szokásos matematikai kurzusaik során tanulnak, de célja a matematikai ismeretek egyéni hiányosságainak orvoslása is. Szintén a Match Education által kidolgozott eredeti modellt követve, a SAGA oktatói gyakran alkalmazzák a tanulók előrehaladásának belső formatív értékelését az oktatás személyre szabása érdekében.

A Chicagói Egyetem kutatócsoportja által végzett korábbi, randomizált, kontrollos vizsgálat azt találta, hogy ennek a beavatkozásnak egy éve, amelyet 2013-14-ben a chicagói állami iskolákban végeztek, egy-két év közötti többletévnyi növekedést eredményezett matematikában, a egy átlagos amerikai középiskolás diák egy év alatt tanul (Cook et al., 2015; Reardon, 2011). A matematikai eredményekre gyakorolt ​​becsült hatások 0,19-0,30 szórás nagyságrendűek, a pontos teszttől és az alkalmazott normázástól függően. A beavatkozás emellett 0,58 ponttal javította a tanulók matematikai osztályzatait egy 1-4 osztályos skálán, szemben az 1,77-es kontrollátlaggal. Ezek az előnyök különösen fontosak, mivel egyre több bizonyíték van arra vonatkozóan, hogy a matematika kifejezetten a rövid- és középtávú iskolai sikerek, valamint a hosszú távú életeredmények, például a foglalkoztatás és a keresetek szempontjából fontos (Duncan et al., 2007).

Ennek a tanulmánynak az a célja, hogy a vizsgálók programra vonatkozó korábbi értékeléseire építsen, és betekintést nyújt a program azon képességébe, hogy sokkal nagyobb léptékben szolgálja a fiatalokat. Ez a tanulmány konkrétan a következő kutatási kérdésekre kíván választ adni:

1. Mi a hatása egy bizonyítékokon alapuló, egyénre szabott oktatói program nagyobb léptékű megvalósításának?
2. Milyen összefüggés van a program hatása és a program végrehajtásának mértéke között?

A megvalósítási helyek két csoportra oszthatók: a chicagói helyek, ahol a tanulókat véletlenszerűen választják ki, hogy oktatást kapjanak (a továbbiakban "nagyobb iskoláknak" nevezzük), valamint a chicagói és a New York-i telephelyek, ahol az igazgatók elsődleges mérlegelési jogkörébe tartoznak, hogy megválasszák, melyik tanulót kapják meg. korrepetálás (továbbiakban „visszatérő iskoláknak”).

Az 1. kutatási kérdés tanulmányozása érdekében a kutatók kihasználják a véletlenszerű mintavétel lehetőségét, hogy tanulmányozzák ennek a programnak a kiterjesztését anélkül, hogy ténylegesen sokkal nagyobb léptékben kellene végrehajtaniuk a programot. Az első kutatási kérdés a chicagói bővített program átlagos minőségét kívánja mérni, amelyben a kutatók a bővítő iskolák adatait fogják felhasználni. Mind a felnövekvő, mind a visszatérő iskolák diákjait véletlenszerűen osztják ki az oktatók közé. A bővített iskolák tanulóinak azonban két további randomizálása van: (1) az oktatói kérelmezők és (2) a kezelési megbízások randomizálása. Az első funkcióhoz a kutatócsoport túl sok SAGA oktatót vesz fel, mintha a tervezettnél nagyobb mértékben valósítanák meg a bővített iskolákban. A nyomozók ezután véletlenszerűen választanak ki minden harmadik és fél oktatóra jelentkezőt, hogy a SAGA szokásos felvételi eljárásán keresztül folytassa, és a bővített iskolákban csak ezek a véletlenszerűen kiválasztott oktatók töltik be az állásokat. Mivel a tanulókat véletlenszerűen osztják be kezelésre ezekben a bővített iskolákban, a kutatók képesek lesznek a program hatásait körülbelül három és félszeresen mérni annak a léptéknek a mértékében, amelyen a programot ezekben az iskolákban végrehajtják.

Az 1. kutatási kérdés kezelési hatásainak méréséhez a kutatócsoport mind a kezelési szándékot (ITT), mind a kezelést a kezelt hatásokra (TOT) megbecsüli. A kutatók a következőképpen becsülik meg az ITT hatást:

Y=B0 + B1T + B2X + E

ahol Y az érdeklődés eredménye, T jelöli azokat a tanulókat, akiket véletlenszerűen jelöltek ki, hogy felajánlják nekik a tutori programban való részvétel lehetőségét, X pedig az alapszintű kontrollok halmaza (amely konkrétan magában foglalja a randomizációs blokkot, a nemet, az életkort, a tanulási zavart, a szabad/ csökkent ebédstátusz, verseny, kiindulási osztályzat, GPA, As/Bs/Cs/Ds/Fs száma az előző évben, matematikai és olvasási szabványos teszteredmények az előző évből, iskolából hiányzó napok, fegyelmi incidensek, beleértve a felfüggesztéseket és letartóztatásokat , és egy bináris jelző a hiányzó GPA- és jelenléti adatokkal rendelkező diákok számára), E véletlen hibatag, és B0, B1, B2 a becsülendő paraméterek. A T véletlenszerű hozzárendelése biztosítja, hogy standard feltevések mellett a közönséges legkisebb négyzetek (OLS) becslése az ITT elfogulatlan becslését adja a B1 becsléseként, vagy a SAGA oktatói programban való részvétel felajánlásának hatását. Mivel a programba véletlenszerűen besorolt ​​hallgatókat a fent leírt eljárással véletlenszerűen kiválasztott oktatókkal párosították, az ITT (és ezt követően a TOT) hatásunk kifejezetten méri a program hatását, ha három és fél alkalommal adják be. a jelenleg alkalmazott skála.

Az ITT méri a részvételi lehetőség felkínálásának hatását. Mivel a kezelésre kijelölt hallgatóknak nem kötelező részt venniük a programban, előfordulhat, hogy az ITT nem méri a részvétel hatását. A kutatócsoport a részvétel hatását a T véletlenszerű hozzárendelésével méri, mint részvételi eszközt. Ha az összes résztvevőt véletlenszerűen választották ki (vagyis ha nincs olyan kontroll hallgató, aki részt vehet a tutori programban), akkor ez a módszer kiszámítja a kezelés hatását a kezeltre (TOT), vagy a részvétel hatását azon hallgatók csoportjára, akik válassza a részvételt.

Ahhoz, hogy betekintést nyerjünk a fenti 2. kutatási kérdésbe, amely a program léptéke és a hatások közötti kapcsolatot igyekszik meghatározni, az oktatókat minden helyszínen a SAGA vezetése rangsorolja a relatív elvárt minőség alapján. A kutatócsoport ezután véletlenszerűen választja ki a tanulópárokat az oktatók közé, hogy azonosítsa az oktató hatását a hallgatói eredményekre. Ezzel a módszertannal a kutatók tanulmányozhatják, hogy az oktatók rangsorolása előrejelzi-e a programhatások méretét. Mivel a kutatócsoport azt feltételezi, hogy a program az oktatókat a besorolásuk sorrendjében veszi fel, attól függően, hogy hány oktatói helyet kellett betölteniük, ez az elemzés rávilágít a lépték és a hatékonyság közötti kapcsolatra.

Annak elemzésére, hogy milyen hatást gyakorol egy adott besorolású oktatóhoz (vagyis a 2. kutatási kérdés ITT-becslése), a vizsgálók olyan regressziós modelleket futtatnak, amelyek az oktatói rangra visszavezetik a tanulmányi eredményeket. Fő érdeklődésünk a matematikai szabványos teszteredmények. Elsődleges elemzésünk az eredményeket az oktatói rang lineáris függvényeként fogja modellezni. Másodlagos feltáró elemzésként megbecsüljük az eredmények és az oktatói rang közötti kapcsolat alakját a következő keresztellenőrzési gyakorlat segítségével:

1. Becsülje meg a kapcsolatot nem paraméteresen úgy, hogy az eredmény tanulói szintjén (elsődleges: matematikai szabványos teszteredmények) lefuttat egy regressziót a különálló rögzített hatások teljes halmazán minden oktatói rangra. Hívjuk meg az r-edik rangú oktató fix hatásának együtthatóját, γ ̂_r.
2. R=1,…,R rang esetén: Becsülje meg a hallgatói szintű adatok felhasználásával az eredmény és az oktatói rang közötti kapcsolatot, mint egy p=0, 1, 2, …, 10-es rendű polinomot, amely az r kihelyezett oktatókhoz rendelt hallgatókat tartja. a mintából. Használja a polinomok együtthatóit a γ ̂_r előrejelzésére, és hívja meg f ̂_p (r) értékét. Mentse el az egyes polinomok négyzetes hibáját: (f ̂_p (r)-γ ̂_r )^2.
3. Válassza ki azt a p polinomot, amely minimalizálja a ∑_(r=1)^R(f ̂_p (r)-γ ̂_r )^2 értéket.
4. Jelentse az eredmény és a rangsor közötti becsült kapcsolatot a polinom kiválasztott sorrendjének használatával.

Az oktatói rang funkciói mellett az egyes regressziók blokkfix hatásokat is tartalmaznak, amelyek rögzítik, hogyan kerültek véletlenszerűen a tanulópárok az oktatókhoz. A blokkok egy osztálytermen belüli tanulócsoportokat tartalmaznak megosztott speciális korlátozásokkal (pl. korlátozás nélkül, spanyolul beszélő oktatóra van szükség, vagy olyan oktatóra van szüksége, aki képesített matematikai kurzusokra). A modellben szereplő egyéb kovariánsok megegyeznek a fent említett 1. kutatási kérdés ITT- és TOT-analízisében szereplőkkel, amelyekkel mérni tudjuk a program hatását, ha a jelenlegi skála három és félszeresével adják be. jelenleg adják.

Mivel a hallgatók különféle okok miatt oktatót váltanak, a kutatóknak a TOT-becslést is ki kell számítaniuk, hogy megvizsgálják, milyen hatással van egy adott besorolású oktatóhoz való beosztás és a tényleges munkavégzés. Ennek érdekében a vizsgálók a véletlenszerűen kiválasztott oktató rangját használják a súlyozott átlagos oktatói besorolás eszközeként, ahol az egyes oktatók rangjára helyezett súly megegyezik a hallgató által az adott oktatóval eltöltött idő arányával (napokban mérve). . A nyomozók a napi jelenléti adatok alapján állítják össze ezt a súlyozott átlagot. Ez a módszer segít a kutatóknak megérteni, hogy a magasabb beosztású oktatóval végzett munka azt jelenti, hogy a hallgató valóban jobb minőségű oktatást kap, vagy van-e további kapcsolat az oktatói rang és a tényleges minőség között.

Az elemzéshez csak a megfigyelt eredményeket használjuk fel. Ha a minta több mint 5 százalékánál hiányzik az eredmény, akkor a kezelés hatását is jelentjük, attól függően, hogy az eredményt megfigyelték-e vagy sem. Ha hiányoznak az alapvonal kovariánsai, akkor a hiányzó értékeket nullával implikáljuk, és a hiányzó mutatót további alapvonali kontrollként adjuk meg.