Zvýšení dosahu slibných programů prevence před odchodem: zkoumání kompromisů mezi rozsahem a efektivitou

Výzkumné týmy University of Chicago Education Lab a Crime Lab New York provádějí randomizovanou kontrolovanou studii během akademických let 2016-17 a 2017-18, aby navázaly na předchozí spolupráci s Chicago Public Schools (CPS), oddělením města New York. of Education a SAGA Innovations, které zjistily, že intenzivní, individualizované, během školního dne doučování SAGA může generovat velmi velké zisky v akademických výsledcích v krátkém časovém období, a to i mezi studenty, kteří jsou o mnoho let pozadu za úroveň. Tento výzkum naznačuje příslib tohoto přístupu pro zlepšení akademických dovedností a dosaženého vzdělání znevýhodněné mládeže, a to i poté, co dosáhla adolescence. Aby však bylo možné skutečně ovlivnit výsledky na místní a národní úrovni, muselo by být SAGA zavedeno v mnohem větším měřítku, než jaké byli vědci schopni studovat v Chicagu. Přesto se málo ví o tom, jak rozšiřovat slibné intervence. Tato studie se snaží vybudovat vědu o scale-up tím, že zkoumá, do jaké míry může být tento individualizovaný doučovací program implementován v ještě větším měřítku, a explicitně zkoumá kompromisy mezi efektivitou a rozsahem.

Program SAGA Innovations rozšiřuje celostátně uznávanou inovaci vysokodávkového denního doučování ve škole vyvinuté v charterové škole Match Education v Bostonu. Doučovací program se schází jako plánovaný kurz, Math Lab, jednou denně během běžného školního dne a je poskytován navíc k běžné hodině matematiky studenta. Studenti pracují dva na jednoho (dva studenti s jedním tutorem) se stejným odborným lektorem na plný úvazek po celý školní rok. Obsah doučování je v souladu s tím, co se studenti učí ve svých běžných matematických kurzech, ale je také zaměřen na řešení jednotlivých mezer v matematických znalostech. Také podle původního modelu vyvinutého Match Education lektoři SAGA používají časté interní formativní hodnocení pokroku studentů k individualizaci výuky.

Předchozí randomizovaná kontrolovaná studie provedená výzkumným týmem Chicagské univerzity zjistila, že jeden rok této intervence, provedené v roce 2013-14 na Chicagských veřejných školách, přinesl jeden až dva roky akademického růstu v matematice navíc, nad rámec toho, co normální středoškolák v USA se naučí za jeden rok (Cook et al., 2015; Reardon, 2011). Odhadované účinky na výsledky v matematice jsou řádově 0,19 až 0,30 standardních odchylek, v závislosti na přesném testu a použitém normování. Intervence také zlepšila známky studentů v matematice o 0,58 bodu na stupnici 1–4 stupně ve srovnání s průměrem kontroly 1,77. Tyto zisky jsou zvláště důležité kvůli rostoucím důkazům o důležitosti matematiky konkrétně pro krátkodobý a střednědobý úspěch ve škole a pro dlouhodobé životní výsledky, jako je zaměstnání a výdělky (Duncan et al., 2007).

Tato studie si klade za cíl stavět na předchozích hodnoceních programu výzkumnými pracovníky a poskytne vhled do schopnosti tohoto programu sloužit mládeži v mnohem větším měřítku. Konkrétně si tato studie klade za cíl odpovědět na následující výzkumné otázky:

1. Jaký je účinek implementace individualizovaného doučovacího programu založeného na důkazech ve větším měřítku?
2. Jaký je vztah mezi účinkem programu a rozsahem, ve kterém je program realizován?

Implementační weby jsou rozděleny do dvou skupin: weby v Chicagu, kde jsou studenti náhodně vybíráni, aby získali doučování (zde označované jako „škálovací“ školy), a weby v Chicagu a New Yorku, kde mají ředitelé primárně volnost při výběru studentů. doučování (dále jen „vracející se školy“).

Aby bylo možné prostudovat výzkumnou otázku č. 1, využijí vyšetřovatelé výhodu náhodného výběru ke studiu škálování tohoto programu, aniž by museli implementovat program v mnohem větším měřítku. První výzkumná otázka se snaží změřit průměrnou kvalitu škálovaného programu v Chicagu, ve kterém výzkumníci využijí data ze škálovaných škol. Studenti jak na vyšších, tak na vracejících se školách jsou náhodně přiřazeni k lektorům. Studenti ve scale-up školách však mají dvě další randomizace – (1) randomizaci žadatele o tutor a (2) randomizaci přidělení léčby. Pro první funkci má výzkumný tým nadměrně rekrutovat lektory SAGA, jako by zaváděli ve větších školách, než je zamýšlené. Vyšetřovatelé pak náhodně vyberou jednoho ze tří a půl žadatelů o tutora, aby pokračovali ve standardním procesu najímání SAGA, a pozice ve scale-up školách jsou obsazeny pouze těmito náhodně vybranými lektory. Vzhledem k tomu, že studenti jsou náhodně přidělováni k léčbě v těchto rozšířených školách, budou vyšetřovatelé schopni měřit účinky programu na přibližně tři a půl násobku rozsahu, ve kterém je program na těchto školách implementován.

Aby bylo možné měřit účinky léčby pro výzkumnou otázku č. 1, výzkumný tým odhadne dopady záměru léčby (ITT) a léčby léčených (TOT). Výzkumníci odhadnou efekt ITT takto:

Y=B0 + B1T + B2X + E

kde Y je výsledek zájmu, T označuje studenty, kteří jsou náhodně přiděleni, aby jim byla nabídnuta možnost zúčastnit se doučovacího programu, X je soubor základních kontrol (které konkrétně zahrnují randomizační blok, pohlaví, věk, poruchy učení, volno/ snížený stav oběda, závod, úroveň základního ročníku, GPA, počet A/B/C/D/F v předchozím roce, skóre standardizovaných testů z matematiky a čtení z předchozího roku, dny nepřítomnosti ve škole, disciplinární incidenty včetně vyloučení a zatčení a binární příznak pro studenty s chybějícími údaji o GPA a docházce), E je náhodný chybový termín a B0, B1, B2 jsou parametry, které mají být odhadnuty. Náhodné přiřazení T zajišťuje, že za standardních předpokladů poskytuje odhad obyčejných nejmenších čtverců (OLS) nezaujatý odhad ITT jako odhad B1, neboli efekt nabídky účasti v doučovacím programu SAGA. Protože všichni studenti, kteří byli randomizováni do programu, byli spárováni s lektory, kteří byli randomizováni výše popsaným procesem, náš efekt ITT (a následně TOT) bude konkrétně měřit účinek programu při podávání třikrát a půlkrát. stupnice, jak je v současnosti spravována.

ITT měří účinek nabízené šance zúčastnit se. Vzhledem k tomu, že od studentů přidělených k léčbě se nevyžaduje účast v programu, ITT nemusí měřit účinek účasti. Výzkumný tým bude měřit efekt participace pomocí náhodného přiřazení T jako nástroje participace. Pokud byli všichni účastníci vybráni náhodně (tj. pokud neexistují žádní kontrolní studenti, kteří se mohou zúčastnit doučovacího programu), tato metoda vypočítá účinek léčby na léčené (TOT), nebo účinek účasti pro skupinu studentů, kteří rozhodnout se zúčastnit.

Pro získání vhledu do výše uvedené výzkumné otázky č. 2, která se snaží určit vztah mezi rozsahem programu a účinky, jsou lektoři na všech pracovištích seřazeni vedením SAGA na základě relativní očekávané kvality. Výzkumný tým pak náhodně vybere studentské páry k lektorům ve snaze identifikovat vliv lektora na výsledky studentů. Pomocí této metodologie mohou vědci zkoumat, zda hodnocení lektorů předpovídá velikost efektů programu. Vzhledem k tomu, že výzkumný tým předpokládá, že program najme lektory v pořadí podle jejich pořadí v závislosti na počtu míst pro lektory, které potřebovali zaplnit, tato analýza osvětlí vztah mezi rozsahem a efektivitou.

Aby bylo možné analyzovat dopad přidělení učiteli konkrétního hodnocení (tj. odhad ITT výzkumné otázky č. 2), vyšetřovatelé spustí regresní modely, které regresují akademické výsledky na hodnocení učitele. Naším hlavním výsledkem zájmu jsou výsledky matematických standardizovaných testů. Naše primární analýza bude modelovat výsledky jako lineární funkci hodnosti tutora. Jako sekundární průzkumnou analýzu odhadneme tvar vztahu mezi výsledky a hodnocením tutora pomocí následujícího křížového ověření:

1. Odhadněte vztah neparametricky spuštěním regrese výsledku na úrovni studenta (primární: skóre standardizovaných testů z matematiky) na úplné sadě samostatných pevných efektů pro každou pozici tutora. Nazvěte koeficient fixního vlivu r-tého učitele, γ ̂_r.
2. Pro pořadí r=1,…,R: Odhadněte pomocí dat na úrovni studenta vztah mezi výsledkem a hodnocením vyučujícího jako polynom řádu p=0, 1, 2, …, 10 držící studenty přiřazené k učitelům seřazeným r out vzorku. Použijte koeficienty z polynomických členů k předpovědi γ ̂_r a nazvěte to f ̂_p (r). Uložte druhou mocninu chyby pro každý polynom: (f ̂_p (r)-γ ̂_r )^2.
3. Vyberte polynom p, který minimalizuje ∑_(r=1)^R(f ̂_p (r)-γ ̂_r )^2 .
4. Uveďte odhadovaný vztah mezi výsledkem a hodnocením pomocí vybraného řádu polynomu.

Kromě funkcí hodnocení učitelů bude každá regrese zahrnovat blokové fixní efekty, které zachycují, jak byly dvojice studentů náhodně přiřazeny učitelům. Bloky zahrnují skupiny studentů v rámci třídy se společnými speciálními omezeními (např. nemáte žádná omezení, potřebujete španělsky mluvícího lektora nebo potřebujete lektora, který je kvalifikovaný pro pokročilé kurzy matematiky). Ostatní kovariáty v modelu budou stejné jako ty zahrnuté v naší ITT a TOT analýze pro výzkumnou otázku č. 1, uvedenou výše, aby se změřil účinek programu, když je podáván v trojapůlnásobném měřítku, než je. aktuálně spravované.

Vzhledem k tomu, že studenti z různých důvodů mění lektory, výzkumníci budou muset také vypočítat odhad TOT, aby se podívali na dopad přidělení a skutečné práce s lektorem určitého pořadí. Za tímto účelem vyšetřovatelé použijí hodnost náhodně přiděleného tutora jako nástroj pro váženou průměrnou hodnost tutora, kde váha přiřazená hodnosti každého tutora se rovná podílu času (měřeno ve dnech), který student strávil s tímto tutorem. . K vytvoření tohoto váženého průměru budou vyšetřovatelé používat údaje o denní docházce. Tato metoda pomůže vyšetřovatelům porozumět tomu, zda práce s lektorem s vyšší hodností znamená, že student skutečně dostává kvalitnější výuku, nebo zda existuje další vztah mezi hodnocením tutora a skutečnou kvalitou.

Pro analýzu použijeme pouze pozorované výsledky. Pokud výsledek chybí u více než 5 procent vzorku, uvedeme také účinek léčby na to, zda je výsledek pozorován či nikoli. Když chybí základní kovariáty, připočteme chybějící hodnoty nulou a zahrneme indikátor chybějících jako další základní kontrolu.