Öka räckvidden för lovande program för förebyggande av bortfall: Undersöka avvägningarna mellan skala och effektivitet

Forskarlag från University of Chicago Education Lab och Crime Lab New York genomför en randomiserad kontrollerad studie under läsåren 2016-17 och 2017-18 för att bygga vidare på tidigare samarbeten med Chicago Public Schools (CPS), New York City Department of Education och SAGA Innovations som har funnit att SAGA:s intensiva, individualiserade handledning under skoldagen kan generera mycket stora vinster i akademiska resultat på kort tid, även bland elever som ligger många år efter betygsnivån. Denna forskning antyder löftet om detta tillvägagångssätt för att förbättra de akademiska färdigheterna och utbildningsnivån för missgynnade ungdomar, även när de har nått tonåren. Men för att verkligen påverka resultaten på lokal och nationell nivå skulle SAGA behöva rullas ut i mycket större skala än vad forskare har kunnat studera i Chicago. Ändå är lite känt om hur man tar lovande insatser i skala. Denna studie försöker bygga upp vetenskapen om uppskalning, genom att undersöka i vilken utsträckning detta individualiserade handledningsprogram kan implementeras i en ännu större skala och genom att explicit utforska avvägningarna mellan effektivitet och skala.

SAGA Innovations-programmet utvidgar den nationellt erkända innovationen av högdoserad handledning i skolan som utvecklats i Match Educations charterskola i Boston. Handledningsprogrammet träffas som en schemalagd kurs, Math Lab, en gång om dagen under den vanliga skoldagen, och ges utöver en elevs vanliga mattelektion. Elever arbetar två-mot-en (två elever med en handledare) med samma professionella handledare på heltid under hela läsåret. Innehållet i handledningssessionerna är anpassat till vad eleverna lär sig i sina vanliga matematikkurser, men är också inriktat på att åtgärda individuella luckor i matematikkunskaper. Även efter den ursprungliga modellen som utvecklats av Match Education, använder SAGA-handledare frekventa interna formativa bedömningar av elevernas framsteg för att individualisera undervisningen.

En tidigare randomiserad kontrollerad studie utförd av University of Chicagos forskargrupp fann att ett år av denna intervention, levererad i AY2013-14 i Chicago Public Schools, genererade mellan ett och två extra år av akademisk tillväxt i matematik, utöver vad normal amerikansk gymnasieelev lär sig på ett år (Cook et al., 2015; Reardon, 2011). De uppskattade effekterna för matematikprestationer är i storleksordningen 0,19 till 0,30 standardavvikelser, beroende på exakt test och normering som används. Interventionen förbättrade också elevernas betyg i matematik med 0,58 poäng på en 1-4 betygsskala, jämfört med ett kontrollmedelvärde på 1,77. Dessa vinster är särskilt viktiga på grund av de växande bevisen på vikten av matematik specifikt för framgång på kort och medellång sikt i skolan och för långsiktiga livsresultat som sysselsättning och inkomster (Duncan et al., 2007).

Denna studie syftar till att bygga vidare på utredarnas tidigare utvärderingar av programmet, och kommer att ge insikt i programmets förmåga att tjäna ungdomar i mycket större skala. Specifikt syftar denna studie till att besvara följande forskningsfrågor:

1. Vad är effekten av att implementera ett evidensbaserat individualiserat handledningsprogram i större skala?
2. Vad är förhållandet mellan programmets effekt och den skala som programmet genomförs på?

Implementeringsplatser är uppdelade i två uppsättningar: platser i Chicago där eleverna randomiseras för att få handledning (härmed kallade "uppskalningsskolor") och platser i Chicago och New York City där rektorerna har det primära utrymmet att välja vilka elever som får handledning (härmed kallad "återvändande skolor").

För att studera forskningsfråga #1 kommer utredarna att dra fördel av kraften i slumpmässigt urval för att studera uppskalningen av detta program utan att faktiskt behöva implementera programmet i mycket större skala. Den första forskningsfrågan syftar till att mäta den genomsnittliga kvaliteten på det uppskalade programmet i Chicago, där forskare kommer att använda data från uppskalningsskolorna. Elever i både uppskalningsskolor och återkommande skolor tilldelas båda slumpmässigt till handledare. Elever i uppskalningsskolorna har dock ytterligare två randomiseringar - (1) randomisering av handledarsökande och (2) randomisering av behandlingsuppdrag. För det första inslaget låter forskargruppen SAGA överrekrytera handledare som om de implementerade i större skala än den avsedda omfattningen i uppskalningsskolorna. Utredarna väljer sedan slumpmässigt ut en av tre och en halv handledare för att fortsätta genom SAGA:s standardanställningsprocess, och tjänster vid uppskalningsskolorna tillsätts endast av dessa slumpmässigt utvalda handledare. Eftersom eleverna slumpmässigt tilldelas behandling i dessa uppskalningsskolor, kommer utredarna att kunna mäta programeffekter på ungefär tre och en halv gånger den skala som programmet implementeras i på dessa skolor.

För att mäta behandlingseffekter för forskningsfråga #1 kommer forskargruppen att uppskatta både avsikt att behandla (ITT) och behandling på de behandlade (TOT) effekterna. Forskare kommer att uppskatta ITT-effekten enligt följande:

Y=B0 + B1T + B2X + E

där Y är resultatet av intresse, T indikerar elever som slumpmässigt tilldelas för att erbjudas chansen att delta i handledningsprogrammet, X är en uppsättning baslinjekontroller (som specifikt inkluderar randomiseringsblock, kön, ålder, inlärningssvårigheter, gratis/ reducerad lunchstatus, ras, grundnivå, GPA, antal As/Bs/Cs/Ds/Fs under föregående år, matte- och lässtandardiserade testresultat från föregående år, dagar frånvarande från skolan, disciplinära incidenter inklusive avstängningar och arresteringar , och en binär flagga för studenter med saknade GPA- och närvarodata), E är en slumpmässig felterm och B0, B1, B2 är parametrar som ska uppskattas. Den slumpmässiga tilldelningen av T försäkrar att enligt standardantaganden, ger uppskattning av ordinarie minsta kvadrater (OLS) en opartisk uppskattning av ITT som uppskattning av B1, eller effekten av att erbjudas deltagande i SAGA-handledningsprogrammet. Eftersom alla elever som randomiserades till programmet parades ihop med handledare som randomiserades via processen som beskrivs ovan, kommer vår ITT-effekt (och därefter TOT) specifikt att mäta effekten av programmet när den administreras vid tre och en halv gånger skalan som den för närvarande administreras.

ITT mäter effekten av att erbjudas chansen att delta. Eftersom studenter som tilldelats behandling inte behöver delta i programmet, kan det hända att ITT inte mäter effekten av deltagande. Forskargruppen kommer att mäta effekten av deltagande med hjälp av slumpmässig tilldelning av T som instrument för deltagande. Om alla deltagare valdes ut slumpmässigt (dvs. om det inte finns några kontrollstudenter som får delta i handledningsprogrammet) beräknar denna metod effekten av behandlingen på de behandlade (TOT), eller effekten av att delta för den grupp studenter som väljer att delta.

För att få insikt i forskningsfråga #2 ovan, som syftar till att bestämma förhållandet mellan programskala och effekter, rankas handledare på alla platser av SAGA-ledarskap baserat på relativ förväntad kvalitet. Forskargruppen kommer sedan att randomisera studentpar till handledare i ett försök att identifiera en handledares effekt på studentresultat. Med hjälp av denna metodik kan forskare studera om handledarerangeringen förutsäger storleken på programeffekterna. Eftersom forskargruppen antar att programmet skulle anställa handledare i den ordning de rangordnas beroende på antalet handledaresplatser de behövde fylla, kommer denna analys att belysa förhållandet mellan skala och effektivitet.

För att analysera effekten av att bli tilldelad en handledare med en viss ranking (dvs. ITT-uppskattningen av forskningsfråga #2), kommer utredarna att köra regressionsmodeller som regresserar akademiska resultat på handledarrankningen. Vårt främsta resultat av intresse är mattestandardiserade testresultat. Vår primära analys kommer att modellera utfall som en linjär funktion av handledarrankning. Som en sekundär explorativ analys kommer vi att uppskatta formen på sambandet mellan resultat och handledarerangering med hjälp av följande korsvalideringsövning som lämnar en-ut:

1. Uppskatta förhållandet icke-parametriskt genom att köra en regression på elevnivå av resultatet (primärt: standardiserade testresultat för matematik) på en komplett uppsättning separata fasta effekter för varje handledarerang. Kalla koefficienten på den fixerade effekten av den rth rankade handledaren, γ ̂_r.
2. För rang r=1,...,R: Beräkna med hjälp av data på elevnivå förhållandet mellan resultatet och handledarens rang som ett polynom av ordningen p=0, 1, 2, …, 10 som håller eleverna som tilldelats handledare rankade r ut av provet. Använd koefficienterna från polynomtermerna för att förutsäga γ ̂_r, och kalla det f ̂_p (r). Spara kvadratfelet för varje polynom: (f ̂_p (r)-γ ̂_r )^2.
3. Välj polynomet p som minimerar ∑_(r=1)^R(f ̂_p (r)-γ ̂_r )^2 .
4. Rapportera det uppskattade sambandet mellan utfallet och rangordningen med hjälp av den valda polynomordningen.

Utöver funktionerna för handledarerang, kommer varje regression att innehålla blockfixerade effekter som fångar hur studentpar slumpmässigt tilldelades handledare. Blocken inkluderar elevgrupper i ett klassrum med delade särskilda begränsningar (t.ex. utan begränsningar, behöver en spansktalande handledare eller behöver en handledare som är kvalificerad för avancerade matematikkurser). Andra kovariater i modellen kommer att vara desamma som de som ingår i vår ITT- och TOT-analys för forskningsfråga #1, noterad ovan, för att mäta effekten av programmet när det administreras på tre och en halv gånger den skala som det är administreras för närvarande.

När studenter byter handledare av olika anledningar måste forskare också beräkna TOT-uppskattningen för att titta på effekten av att bli tilldelad och faktiskt arbeta med en handledare av en viss ranking. För att göra det kommer utredarna att använda rangen för den slumpmässigt tilldelade handledaren som ett instrument för den vägda genomsnittliga handledarrankningen, där vikten som läggs på varje handledares rang är lika med andelen tid (mätt i dagar) som studenten tillbringade med den handledaren . Utredarna kommer att använda daglig närvarodata för att skapa detta vägda medelvärde. Den här metoden kommer att hjälpa utredare att förstå om arbetet med en högre rankad handledare innebär att en elev faktiskt får bättre kvalitet på undervisningen, eller om det finns ett ytterligare samband mellan handledarrankning och faktisk kvalitet.

Vi kommer endast att använda observerade resultat för analysen. Om ett utfall saknas för mer än 5 procent av urvalet kommer vi även att redovisa behandlingseffekten på om utfallet observeras eller inte. När baslinjekovariater saknas kommer vi att imputera saknade värden med noll och inkludera en indikator för saknad som en ytterligare baslinjekontroll.