Forøgelse af rækkevidden af ​​lovende programmer til forebyggelse af frafald: Undersøgelse af afvejningen mellem skala og effektivitet

Forskerholdene fra University of Chicago Education Lab og Crime Lab New York udfører et randomiseret kontrolleret forsøg i de akademiske år 2016-17 og 2017-18 for at bygge videre på tidligere samarbejder med Chicago Public Schools (CPS), New York City Department of Education, og SAGA Innovations, der har fundet ud af, at SAGAs intensive, individualiserede undervisning i løbet af skoledagen kan generere meget store gevinster i faglige resultater på kort tid, selv blandt elever, der er mange år bagefter klassetrin. Denne forskning antyder løftet om denne tilgang til at forbedre de akademiske færdigheder og uddannelsesmæssige opnåelse af dårligt stillede unge, selv når de har nået teenageårene. Men for virkelig at påvirke resultaterne på lokalt og nationalt plan, ville SAGA skulle udrulles i en meget større skala, end forskere har været i stand til at studere i Chicago. Alligevel er lidt kendt om, hvordan man kan tage lovende indgreb til skala. Denne undersøgelse søger at opbygge videnskaben om opskalering ved at undersøge, i hvilket omfang dette individualiserede vejledningsprogram kan implementeres i endnu større skala og ved eksplicit at udforske afvejningen mellem effektivitet og skala.

SAGA Innovations-programmet udvider den nationalt anerkendte innovation af højdosis, in-school-dag vejledning udviklet i Match Educations charterskole i Boston. Vejledningsprogrammet mødes som et planlagt kursus, Math Lab, en gang om dagen i løbet af den normale skoledag, og tilbydes ud over en elevs almindelige matematiktime. Studerende arbejder to-til-en (to elever med én vejleder) med den samme fuldtidsansatte, professionelle vejleder i hele skoleåret. Indholdet af vejledningssessionerne er tilpasset, hvad eleverne lærer i deres almindelige matematikkurser, men er også målrettet mod individuelle huller i matematikkundskaber. Også efter den originale model udviklet af Match Education bruger SAGA-vejledere hyppige interne formative vurderinger af elevernes fremskridt til at individualisere undervisningen.

Et tidligere randomiseret kontrolleret forsøg udført af University of Chicagos forskningshold fandt, at et år af denne intervention, leveret i AY2013-14 i Chicago Public Schools, genererede mellem et og to ekstra års akademisk vækst i matematik, ud over hvad normal amerikansk gymnasieelev lærer på et år (Cook et al., 2015; Reardon, 2011). De estimerede effekter for matematikpræstationer er i størrelsesordenen 0,19 til 0,30 standardafvigelser, afhængigt af den nøjagtige test og den anvendte normering. Interventionen forbedrede også elevernes karakterer i matematik med 0,58 point på en 1-4 karakterskala sammenlignet med et kontrolmiddel på 1,77. Disse gevinster er særligt vigtige på grund af den voksende evidens for vigtigheden af ​​matematik specifikt for kort og mellemlang succes i skolen og for langsigtede livsresultater såsom beskæftigelse og indtjening (Duncan et al., 2007).

Denne undersøgelse har til formål at bygge videre på efterforskernes tidligere evalueringer af programmet og vil give indsigt i dette programs evne til at tjene unge i meget større skala. Konkret har denne undersøgelse til formål at besvare følgende forskningsspørgsmål:

1. Hvad er effekten af ​​at implementere et evidensbaseret individualiseret vejledningsprogram i større skala?
2. Hvad er sammenhængen mellem programmets effekt og den skala, programmet implementeres i?

Implementeringssteder er opdelt i to sæt: websteder i Chicago, hvor eleverne randomiseres til at modtage vejledning (hermed benævnt "opskaleringsskoler"), og websteder i Chicago og New York City, hvor rektorer har det primære skøn til at vælge, hvilke elever der skal modtage vejledning (hermed benævnt "tilbagevendende skoler").

For at studere forskningsspørgsmål #1, vil efterforskere drage fordel af kraften ved tilfældig stikprøve til at studere opskalering af dette program uden faktisk at skulle implementere programmet i meget større skala. Det første forskningsspørgsmål søger at måle den gennemsnitlige kvalitet af det opskalerede program i Chicago, hvor forskere vil bruge data fra opskaleringsskolerne. Elever i både opskalere og hjemvendte skoler er begge tilfældigt tildelt undervisere. Elever på opskaleringsskolerne har dog yderligere to randomiseringer - (1) vejlederansøgerrandomisering og (2) behandlingsopgaverandomisering. Til den første funktion har forskerholdet SAGA overrekrutterer undervisere, som om de implementerede i større omfang end den tilsigtede skala i opskaleringsskolerne. Efterforskere udvælger derefter tilfældigt én ud af tre og en halv vejlederansøgere til at fortsætte gennem SAGAs standardansættelsesproces, og stillinger på opskaleringsskolerne besættes kun af disse tilfældigt udvalgte vejledere. Da elever tilfældigt tildeles behandling i disse opskaleringsskoler, vil efterforskere være i stand til at måle programeffekter på omkring tre en halv gange den skala, hvor programmet implementeres på disse skoler.

For at måle behandlingseffekter for forskningsspørgsmål #1 vil forskerholdet estimere både intention to treat (ITT) og behandling på de behandlede (TOT) påvirkninger. Forskere vil vurdere ITT-effekten som følger:

Y=B0 + B1T + B2X + E

hvor Y er resultatet af interesse, T angiver elever, der er tilfældigt tildelt til at blive tilbudt chancen for at deltage i vejledningsprogrammet, X er et sæt baseline kontroller (som specifikt inkluderer randomiseringsblok, køn, alder, indlæringsvanskeligheder, gratis/ reduceret frokoststatus, race, baseline klassetrin, GPA, antal As/Bs/Cs/Ds/Fs i det foregående år, matematik og læsning standardiserede testresultater fra det foregående år, fraværsdage fra skolen, disciplinære hændelser inklusive suspensioner og arrestationer , og et binært flag for studerende med manglende GPA og tilstedeværelsesdata), E er et tilfældigt fejlled, og B0, B1, B2 er parametre, der skal estimeres. Den tilfældige tildeling af T sikrer, at under standardantagelser giver Ordinary Least Squares (OLS) estimering et upartisk estimat af ITT som estimat af B1 eller effekten af ​​at blive tilbudt deltagelse i SAGA-undervisningsprogrammet. Da alle studerende, der blev randomiseret ind i programmet, blev parret med vejledere, der blev randomiseret via den ovenfor beskrevne proces, vil vores ITT (og efterfølgende TOT) effekt specifikt måle effekten af ​​programmet, når det administreres på tre og en halv gang skalaen, som den administreres i øjeblikket.

ITT måler effekten af ​​at blive tilbudt chancen for at deltage. Da studerende, der er tildelt behandling, ikke er forpligtet til at deltage i programmet, måler ITT muligvis ikke effekten af ​​deltagelse. Forskerholdet vil måle effekten af ​​deltagelse ved hjælp af tilfældig tildeling af T som instrument for deltagelse. Hvis alle deltagere blev tilfældigt udvalgt (dvs. hvis der ikke er nogen kontrolstuderende, der må deltage i vejledningsprogrammet), beregner denne metode effekten af ​​behandlingen på de behandlede (TOT), eller effekten af ​​at deltage for gruppen af ​​studerende, der vælger at deltage.

For at få indsigt i forskningsspørgsmål #2 ovenfor, som søger at bestemme forholdet mellem programskala og effekter, rangeres undervisere på alle steder af SAGA-ledelse baseret på relativ forventet kvalitet. Forskerholdet vil derefter randomisere elevpar til vejledere i et forsøg på at identificere en vejleders effekt på elevernes resultater. Ved hjælp af denne metode kan forskere undersøge, om tutorrangering forudsiger størrelsen af ​​programeffekterne. Da forskerholdet antager, at programmet vil ansætte vejledere i rækkefølgen efter deres rangering afhængigt af antallet af vejlederpladser, de skulle udfylde, vil denne analyse kaste lys over forholdet mellem skala og effektivitet.

For at analysere virkningen af ​​at blive tildelt en vejleder med en bestemt rangering (dvs. ITT-estimatet af forskningsspørgsmål #2), vil efterforskere køre regressionsmodeller, der regresserer akademiske resultater på vejlederrangering. Vores primære resultat af interesse er matematikstandardiserede testresultater. Vores primære analyse vil modellere resultater som en lineær funktion af vejlederrang. Som en sekundær udforskende analyse vil vi estimere formen af ​​forholdet mellem resultater og vejlederrangering ved hjælp af følgende "leave-one-out" krydsvalideringsøvelse:

1. Estimer forholdet ikke-parametrisk ved at køre en regression på elevniveau af resultatet (primær: matematik standardiserede testresultater) på et komplet sæt separate faste effekter for hver vejlederrang. Kald koefficienten på den faste effekt af den rth rangerede vejleder, γ ̂_r.
2. For rang r=1,...,R: Estimer ved hjælp af data på elevniveau forholdet mellem resultatet og vejlederrangeringen som et polynomium af orden p=0, 1, 2, …, 10, der holder de studerende, der er tildelt vejledere, rangeret r ude af prøven. Brug koefficienterne fra polynomiet til at forudsige γ ̂_r, og kald det f ̂_p (r). Gem den kvadratiske fejl for hvert polynomium: (f ̂_p (r)-γ ̂_r )^2.
3. Vælg polynomiet p, der minimerer ∑_(r=1)^R(f ̂_p (r)-γ ̂_r )^2 .
4. Rapporter det estimerede forhold mellem udfaldet og rangeringen ved hjælp af den valgte rækkefølge af polynomium.

Ud over funktionerne som vejlederrang vil hver regression omfatte blokfaste effekter, der fanger, hvordan elevpar blev tilfældigt tildelt til vejledere. Blokkene inkluderer elevgrupper i et klasseværelse med fælles særlige begrænsninger (f.eks. har ingen begrænsninger, har brug for en spansktalende vejleder eller har brug for en vejleder, der er kvalificeret til avancerede matematikkurser). Andre kovariater i modellen vil være de samme som dem, der er inkluderet i vores ITT- og TOT-analyse for forskningsspørgsmål #1, nævnt ovenfor, for at måle effekten af ​​programmet, når det administreres på tre en halv gange den skala, som den er. i øjeblikket administreres.

Efterhånden som studerende skifter vejleder af forskellige årsager, bliver forskere også nødt til at beregne TOT-estimatet for at se på virkningen af ​​at blive tildelt og faktisk arbejde med en vejleder af en bestemt rangering. For at gøre dette vil efterforskerne bruge rangen af ​​den tilfældigt tildelte vejleder som et instrument for den vægtede gennemsnitlige vejlederrangering, hvor vægten placeret på hver vejleders rang er lig med den andel af tid (målt i dage), eleven tilbragte med den pågældende vejleder . Efterforskere vil bruge daglige fremmødedata til at skabe dette vægtede gennemsnit. Denne metode vil hjælpe efterforskere med at forstå, om arbejdet med en højere rangeret vejleder betyder, at en elev faktisk modtager undervisning af bedre kvalitet, eller om der eksisterer et yderligere forhold mellem vejlederrangering og faktisk kvalitet.

Vi vil kun bruge observerede resultater til analysen. Hvis der mangler et resultat for mere end 5 procent af stikprøven, vil vi også rapportere behandlingseffekten på, om resultatet er observeret eller ej. Når basislinjekovariater mangler, vil vi imputere manglende værdier med nul og inkludere en indikator for manglendehed som en yderligere basislinjekontrol.