Øke rekkevidden til lovende frafallsforebyggende programmer: Undersøke avveiningene mellom skala og effektivitet

Forskerteamene fra University of Chicago Education Lab og Crime Lab New York gjennomfører en randomisert kontrollert studie i studieårene 2016-17 og 2017-18 for å bygge videre på tidligere samarbeid med Chicago Public Schools (CPS), New York City Department of Education, og SAGA Innovations som har funnet ut at SAGAs intensive, individualiserte veiledning i løpet av skoledagen kan generere svært store gevinster i faglige resultater på kort tid, selv blant elever som er mange år bak klassetrinn. Denne forskningen antyder løftet om denne tilnærmingen for å forbedre de akademiske ferdighetene og utdanningsresultatene til vanskeligstilte ungdommer, selv når de har nådd ungdomsårene. Men for å virkelig påvirke resultatene på lokalt og nasjonalt nivå, ville SAGA måtte rulles ut i mye større skala enn forskere har vært i stand til å studere i Chicago. Likevel er lite kjent om hvordan man kan ta lovende intervensjoner til skala. Denne studien søker å bygge vitenskapen om oppskalering, ved å undersøke i hvilken grad dette individualiserte veiledningsprogrammet kan implementeres i en enda større skala og ved eksplisitt å utforske avveiningene mellom effektivitet og skala.

SAGA Innovations-programmet utvider den nasjonalt anerkjente innovasjonen av høydosering, skoledagveiledning utviklet i Match Educations charterskole i Boston. Veiledningsprogrammet møtes som et planlagt kurs, Math Lab, en gang om dagen i løpet av den vanlige skoledagen, og tilbys i tillegg til en elevs vanlige mattetime. Studentene jobber to-til-en (to studenter med én veileder) med samme fulltids profesjonelle veileder gjennom hele skoleåret. Innholdet i veiledningsøktene er på linje med det elevene lærer i sine vanlige matematikkkurs, men er også målrettet mot individuelle hull i matematikkkunnskaper. SAGA-veiledere følger også den originale modellen utviklet av Match Education, og bruker hyppige interne formative vurderinger av studentenes fremgang for å individualisere undervisningen.

En tidligere randomisert kontrollert studie utført av forskerteamet ved University of Chicago fant at ett år med denne intervensjonen, levert i AY2013-14 i Chicago Public Schools, genererte mellom ett og to ekstra år med akademisk vekst i matematikk, utover det som normal amerikansk videregående elev lærer på ett år (Cook et al., 2015; Reardon, 2011). De estimerte effektene for matteprestasjon er i størrelsesorden 0,19 til 0,30 standardavvik, avhengig av nøyaktig test og normering som brukes. Intervensjonen forbedret også elevkarakterer i matematikk med 0,58 poeng på en 1-4 karakterskala, sammenlignet med et kontrollmiddel på 1,77. Disse gevinstene er spesielt viktige på grunn av det økende beviset på viktigheten av matematikk spesielt for suksess på kort og mellomlang sikt i skolen, og for langsiktige livsresultater som sysselsetting og inntjening (Duncan et al., 2007).

Denne studien tar sikte på å bygge på etterforskernes tidligere evalueringer av programmet, og vil gi innsikt i dette programmets evne til å tjene ungdom i mye større skala. Konkret tar denne studien som mål å svare på følgende forskningsspørsmål:

1. Hva er effekten av å implementere et evidensbasert individualisert veiledningsprogram i større skala?
2. Hva er forholdet mellom effekten av programmet og omfanget programmet implementeres i?

Implementeringsnettsteder er delt inn i to sett: nettsteder i Chicago hvor elevene randomiseres til å motta veiledning (herved referert til som "oppskaleringsskoler"), og nettsteder i Chicago og New York City hvor rektorer har primære skjønn til å velge hvilke elever som mottar veiledning (herved referert til som "returskoler").

For å studere forskningsspørsmål nr. 1, vil etterforskere dra nytte av kraften til stikkprøver for å studere oppskalering av dette programmet uten å måtte implementere programmet i mye større skala. Det første forskningsspørsmålet søker å måle den gjennomsnittlige kvaliteten på det oppskalerte programmet i Chicago, der forskere skal bruke data fra oppskaleringsskolene. Studenter i både oppskalere og returskoler blir begge tilfeldig tildelt veiledere. Elever i oppskaleringsskolene har imidlertid to ekstra randomiseringer - (1) veiledersøkerrandomisering og (2) behandlingsoppdragsrandomisering. For den første funksjonen har forskerteamet SAGA overrekrutterte veiledere som om de implementerte i større skala enn tiltenkt skala i oppskaleringsskolene. Etterforskere velger deretter tilfeldig ut én av tre og en halv veiledersøkere for å fortsette gjennom SAGAs standard ansettelsesprosess, og stillinger ved oppskaleringsskolene blir kun besatt av disse tilfeldig utvalgte veilederne. Ettersom elever blir tilfeldig tildelt behandling i disse oppskaleringsskolene, vil etterforskere kunne måle programeffekter på omtrent tre og en halv ganger omfanget som programmet implementeres ved disse skolene.

For å måle behandlingseffekter for forskningsspørsmål #1, vil forskerteamet estimere både intensjon om å behandle (ITT) og behandling på de behandlede (TOT) virkningene. Forskere vil estimere ITT-effekten som følger:

Y=B0 + B1T + B2X + E

der Y er resultatet av interesse, T indikerer studenter som er tilfeldig tildelt til å bli tilbudt sjansen til å delta i veiledningsprogrammet, X er et sett med grunnlinjekontroller (som spesifikt inkluderer randomiseringsblokk, kjønn, alder, lærevansker, gratis/ redusert lunsjstatus, rase, grunnlinjenivå, GPA, antall As/Bs/Cs/Ds/Fs i det foregående året, matte- og lesestandardiserte testresultater fra året før, fraværsdager fra skolen, disiplinære hendelser inkludert suspensjoner og arrestasjoner , og et binært flagg for studenter med manglende GPA og oppmøtedata), E er et tilfeldig feilledd, og B0, B1, B2 er parametere som skal estimeres. Den tilfeldige tildelingen av T sikrer at under standardforutsetninger gir Ordinary Least Squares (OLS) estimering et objektivt estimat av ITT som estimatet av B1, eller effekten av å bli tilbudt deltakelse i SAGA-veiledningsprogrammet. Ettersom alle studenter som ble randomisert inn i programmet ble sammenkoblet med veiledere som ble randomisert via prosessen beskrevet ovenfor, vil vår ITT-effekt (og senere TOT) spesifikt måle effekten av programmet når den administreres på tre og en halv gang skalaen slik den administreres nå.

ITT måler effekten av å bli tilbudt sjansen til å delta. Siden studenter som er tildelt behandling ikke er pålagt å delta i programmet, kan det hende at ITT ikke måler effekten av deltakelse. Forskergruppen skal måle effekten av deltakelse ved hjelp av tilfeldig tildeling av T som instrument for deltakelse. Hvis alle deltakerne ble valgt tilfeldig (dvs. hvis det ikke er noen kontrollstudenter som får delta i veiledningsprogrammet) beregner denne metoden effekten av behandlingen på de behandlede (TOT), eller effekten av å delta for gruppen studenter som velger å delta.

For å få innsikt i forskningsspørsmål #2 ovenfor, som søker å bestemme forholdet mellom programskala og effekter, blir veiledere på alle nettsteder rangert av SAGA-ledelse basert på relativ forventet kvalitet. Forskerteamet vil deretter randomisere studentpar til veiledere i et forsøk på å identifisere en veileders effekt på studentresultater. Ved å bruke denne metodikken kan forskere studere om veilederrangering forutsier størrelsen på programeffektene. Siden forskerteamet antar at programmet vil ansette veiledere i rangeringsrekkefølgen avhengig av antall veilederplasser de trengte å fylle, vil denne analysen kaste lys over forholdet mellom skala og effektivitet.

For å analysere virkningen av å bli tildelt en veileder med en bestemt rangering (dvs. ITT-estimatet av forskningsspørsmål #2), vil etterforskere kjøre regresjonsmodeller som regresserer akademiske resultater på veilederrangering. Vårt hovedresultat av interesse er mattestandardiserte testresultater. Vår primære analyse vil modellere utfall som en lineær funksjon av veilederrangering. Som en sekundær utforskende analyse vil vi estimere formen på forholdet mellom utfall og veilederrangering ved å bruke følgende la-en-ut-kryssvalideringsøvelse:

1. Estimer forholdet ikke-parametrisk ved å kjøre en regresjon på studentnivå av utfallet (primær: mattestandardiserte testresultater) på et komplett sett med separate faste effekter for hver veilederrangering. Kall koeffisienten på den faste effekten til den rth rangerte veilederen, γ ̂_r.
2. For rangering r=1,...,R: Estimer ved hjelp av dataene på studentnivå forholdet mellom utfallet og veilederrangeringen som et polynom av orden p=0, 1, 2, …, 10 som holder studentene tildelt veiledere rangert r ut av prøven. Bruk koeffisientene fra polynomleddene til å forutsi γ ̂_r, og kall det f ̂_p (r). Lagre kvadratfeilen for hvert polynom: (f ̂_p (r)-γ ̂_r )^2.
3. Velg polynomet p som minimerer ∑_(r=1)^R(f ̂_p (r)-γ ̂_r )^2 .
4. Rapporter det estimerte forholdet mellom utfall og rangering ved å bruke den valgte rekkefølgen av polynom.

I tillegg til funksjonene til veilederrangering, vil hver regresjon inkludere blokkfaste effekter som fanger opp hvordan studentpar ble tilfeldig tildelt veiledere. Blokkene inkluderer elevgrupper i et klasserom med delte spesielle begrensninger (f.eks. har ingen begrensninger, trenger en spansktalende veileder eller trenger en veileder som er kvalifisert for avanserte matematikkkurs). Andre kovariater i modellen vil være de samme som er inkludert i vår ITT- og TOT-analyse for forskningsspørsmål #1, nevnt ovenfor, for å måle effekten av programmet når det administreres i tre og en halv ganger skalaen som den er. administreres for tiden.

Ettersom studenter bytter veileder av en rekke årsaker, må forskere også beregne TOT-estimatet for å se på virkningen av å bli tildelt og faktisk jobbe med en veileder i en bestemt rangering. For å gjøre dette, vil etterforskerne bruke rangeringen til den tilfeldig tildelte veilederen som et instrument for den veide gjennomsnittlige veilederrangeringen, der vekten på hver veileders rangering er lik andelen av tiden (målt i dager) studenten tilbrakte med den veilederen. . Etterforskere vil bruke daglige oppmøtedata for å lage dette vektede gjennomsnittet. Denne metoden vil hjelpe etterforskere til å forstå om det å jobbe med en høyere rangert veileder betyr at en student faktisk får undervisning av bedre kvalitet, eller om det eksisterer et ekstra forhold mellom veilederrangering og faktisk kvalitet.

Vi vil kun bruke observerte resultater for analysen. Dersom et utfall mangler for mer enn 5 prosent av utvalget, vil vi også rapportere behandlingseffekten på hvorvidt utfallet blir observert eller ikke. Når baseline-kovariater mangler, vil vi imputere manglende verdier med null og inkludere en indikator for mangler som en ekstra baseline-kontroll.