Het bereik vergroten van veelbelovende programma's voor het voorkomen van uitval: onderzoek naar de afwegingen tussen schaal en effectiviteit

De onderzoeksteams van de University of Chicago Education Lab en Crime Lab New York voeren een gerandomiseerde gecontroleerde studie uit tijdens de academische jaren 2016-2017 en 2017-2018 om voort te bouwen op eerdere samenwerkingen met de Chicago Public Schools (CPS), het New York City Department of Education, en SAGA Innovaties die hebben ontdekt dat SAGA's intensieve, geïndividualiseerde bijles tijdens de schooldag zeer grote winsten kan opleveren in academische resultaten in een korte tijd, zelfs onder studenten die vele jaren achterlopen op het niveau van het leerjaar. Dit onderzoek suggereert de belofte van deze aanpak voor het verbeteren van de academische vaardigheden en het opleidingsniveau van kansarme jongeren, zelfs als ze de adolescentie hebben bereikt. Om de resultaten op lokaal en nationaal niveau echt te beïnvloeden, zou SAGA echter op een veel grotere schaal moeten worden uitgerold dan onderzoekers in Chicago hebben kunnen bestuderen. Toch is er weinig bekend over hoe veelbelovende interventies op schaal kunnen worden gebracht. Deze studie probeert de wetenschap van scale-up op te bouwen, door te onderzoeken in hoeverre dit geïndividualiseerde begeleidingsprogramma op een nog grotere schaal kan worden geïmplementeerd en door expliciet de afwegingen tussen effectiviteit en schaal te onderzoeken.

Het SAGA Innovations-programma bouwt voort op de nationaal erkende innovatie van hoge dosering, in-school-dagbegeleiding ontwikkeld in Match Education's handvestschool in Boston. Het bijlesprogramma komt één keer per dag tijdens de normale schooldag samen als een geplande cursus, Math Lab, en wordt aangeboden naast de reguliere wiskundeles van een student. Studenten werken het hele schooljaar twee-op-één (twee studenten met één tutor) met dezelfde fulltime, professionele tutor. De inhoud van de bijlessessies is afgestemd op wat studenten leren in hun reguliere wiskundecursussen, maar is ook bedoeld om individuele hiaten in wiskundige kennis aan te pakken. SAGA-docenten volgen ook het oorspronkelijke model dat is ontwikkeld door Match Education en gebruiken frequente interne formatieve beoordelingen van de voortgang van studenten om de instructie te individualiseren.

Uit een eerdere gerandomiseerde, gecontroleerde studie, uitgevoerd door het onderzoeksteam van de Universiteit van Chicago, bleek dat één jaar van deze interventie, uitgevoerd in AY2013-14 in de Chicago Public Schools, tussen de één en twee extra jaren academische groei in wiskunde genereerde, bovenop wat de normale Amerikaanse middelbare scholieren leren in één jaar (Cook et al., 2015; Reardon, 2011). De geschatte effecten voor rekenprestaties liggen in de orde van grootte van 0,19 tot 0,30 standaarddeviaties, afhankelijk van de exacte test en gebruikte normering. De interventie verbeterde ook de cijfers van leerlingen voor wiskunde met 0,58 punten op een schaal van 1-4 punten, vergeleken met een controlegemiddelde van 1,77. Deze winst is vooral belangrijk vanwege het groeiende bewijs over het belang van wiskunde, specifiek voor succes op school op korte en middellange termijn, en voor levensresultaten op lange termijn, zoals werk en inkomen (Duncan et al., 2007).

Deze studie is bedoeld om voort te bouwen op eerdere evaluaties van het programma door de onderzoekers en zal inzicht geven in het vermogen van dit programma om jongeren op veel grotere schaal te dienen. Concreet beoogt dit onderzoek de volgende onderzoeksvragen te beantwoorden:

1. Wat is het effect van het implementeren van een evidence-based geïndividualiseerd begeleidingsprogramma op grotere schaal?
2. Wat is de relatie tussen het effect van het programma en de schaal waarop het programma wordt uitgevoerd?

Implementatielocaties zijn onderverdeeld in twee sets: locaties in Chicago waar studenten willekeurig worden ingedeeld om bijles te krijgen (hierna "scale-up"-scholen genoemd), en locaties in Chicago en New York City waar schoolleiders de eerste keus hebben welke studenten begeleiding (hierna "terugkerende scholen" genoemd).

Om onderzoeksvraag #1 te bestuderen, zullen onderzoekers profiteren van de kracht van willekeurige steekproeven om opschaling van dit programma te bestuderen zonder het programma daadwerkelijk op een veel grotere schaal te hoeven implementeren. De eerste onderzoeksvraag is gericht op het meten van de gemiddelde kwaliteit van het opgeschaalde programma in Chicago, waarbij onderzoekers gebruik gaan maken van data van de scale-up scholen. Studenten in zowel scale-up als terugkerende scholen worden beide willekeurig toegewezen aan docenten. Studenten in de scale-up scholen hebben echter twee extra randomisaties: (1) randomisatie van de tutor-aanvrager en (2) randomisatie van de behandelingsopdracht. Voor de eerste functie laat het onderzoeksteam SAGA-leraren te veel rekruteren alsof ze op een grotere dan de beoogde schaal in de scale-up-scholen implementeren. Onderzoekers selecteren vervolgens willekeurig één op de drie-en-een-half tutoraanvragers om door te gaan met het standaard aanwervingsproces van SAGA, en functies bij de scale-up-scholen worden alleen vervuld door deze willekeurig geselecteerde docenten. Aangezien studenten willekeurig worden toegewezen aan behandeling in deze scale-up scholen, zullen onderzoekers programma-effecten kunnen meten op ongeveer drieënhalf keer de schaal waarop het programma op deze scholen wordt geïmplementeerd.

Om behandelingseffecten voor onderzoeksvraag #1 te meten, zal het onderzoeksteam zowel de intentie om te behandelen (ITT) als de behandeling op de behandelde (TOT) effecten inschatten. Onderzoekers zullen het ITT-effect als volgt schatten:

Y=B0 + B1T + B2X + E

waar Y de uitkomst van interesse is, geeft T studenten aan die willekeurig worden toegewezen om de kans te krijgen om deel te nemen aan het tutorprogramma, X is een set basislijncontroles (die specifiek randomisatieblok, geslacht, leeftijd, leerstoornis, gratis/ verminderde lunchstatus, ras, basisniveau, GPA, aantal As/B's/C's/D's/F's in het voorgaande jaar, gestandaardiseerde testscores voor rekenen en lezen van het voorgaande jaar, dagen afwezig van school, disciplinaire incidenten inclusief schorsingen en arrestaties , en een binaire vlag voor studenten met ontbrekende GPA- en aanwezigheidsgegevens), E is een willekeurige foutterm en B0, B1, B2 zijn parameters die moeten worden geschat. De willekeurige toewijzing van T verzekert dat onder standaardaannames de schatting van de gewone kleinste kwadraten (OLS) een onbevooroordeelde schatting oplevert van de ITT als de schatting van B1, of het effect van deelname aan het SAGA-begeleidingsprogramma. Aangezien alle studenten die in het programma werden gerandomiseerd, werden gekoppeld aan docenten die via het hierboven beschreven proces werden gerandomiseerd, zal ons ITT-effect (en vervolgens het TOT-effect) specifiek het effect meten van het programma wanneer het drie-en-een-half keer wordt toegediend. de schaal zoals die momenteel wordt afgenomen.

De ITT meet het effect van het krijgen van de kans om mee te doen. Aangezien studenten die zijn toegewezen aan een behandeling niet verplicht zijn om deel te nemen aan het programma, kan het zijn dat de ITT het effect van deelname niet meet. Het onderzoeksteam gaat het effect van participatie meten met behulp van willekeurige toewijzing van T als instrument voor participatie. Als alle deelnemers willekeurig zijn geselecteerd (d.w.z. als er geen controlestudenten zijn die mogen deelnemen aan het bijlesprogramma), berekent deze methode het effect van de behandeling op de behandelden (TOT), of het effect van deelname voor de groep studenten die kiezen om mee te doen.

Om inzicht te krijgen in onderzoeksvraag #2 hierboven, die de relatie probeert te bepalen tussen programmaschaal en effecten, worden docenten op alle locaties gerangschikt op SAGA-leiderschap op basis van de relatieve verwachte kwaliteit. Het onderzoeksteam zal vervolgens studentenparen willekeurig verdelen over docenten in een poging om het effect van een tutor op de resultaten van studenten te identificeren. Met deze methodiek kunnen onderzoekers onderzoeken of de rangschikking van docenten de grootte van de programma-effecten voorspelt. Aangezien het onderzoeksteam ervan uitgaat dat het programma docenten zou inhuren in de volgorde van hun rangorde, afhankelijk van het aantal tutorslots dat ze moesten invullen, zal deze analyse licht werpen op de relatie tussen schaal en effectiviteit.

Om de impact te analyseren van het toegewezen worden aan een tutor met een bepaalde rangorde (d.w.z. de ITT-schatting van onderzoeksvraag #2), zullen onderzoekers regressiemodellen uitvoeren die academische resultaten terugbrengen op de rang van tutor. Ons belangrijkste resultaat van interesse zijn gestandaardiseerde testscores voor wiskunde. Onze primaire analyse modelleert de uitkomsten als een lineaire functie van de rang van de docent. Als secundaire verkennende analyse zullen we de vorm van de relatie tussen uitkomsten en docentrang schatten met behulp van de volgende kruisvalidatieoefening:

1. Schat de relatie niet-parametrisch door een regressie uit te voeren op het niveau van de leerling van de uitkomst (primair: gestandaardiseerde testscores voor wiskunde) op een volledige set afzonderlijke vaste effecten voor elke tutorrang. Noem de coëfficiënt op het vaste effect van de op de ranglijst gerangschikte tutor, γ ̂_r.
2. Voor rang r=1,…,R: Schat met behulp van gegevens op leerlingniveau de relatie tussen de uitkomst en de rang van de docent als een polynoom van de orde p=0, 1, 2, …, 10 waarbij de studenten die aan de docenten zijn toegewezen r uit worden gehouden van het monster. Gebruik de coëfficiënten van de polynoomtermen om γ ̂_r te voorspellen, en noem dat f ̂_p (r). Bewaar de gekwadrateerde fout voor elk polynoom: (f ̂_p (r)-γ ̂_r )^2.
3. Selecteer de polynoom p die ∑_(r=1)^R(f ̂_p (r)-γ ̂_r )^2 minimaliseert.
4. Rapporteer de geschatte relatie tussen de uitkomst en de rang met behulp van de geselecteerde polynoomvolgorde.

Naast de functies van tutorrang, bevat elke regressie blokvaste effecten die vastleggen hoe studentenparen willekeurig werden toegewezen aan docenten. De blokken omvatten studentengroepen binnen een klaslokaal met gedeelde speciale beperkingen (bijv. geen beperkingen hebben, een Spaanstalige bijlesdocent nodig hebben, of een bijlesdocent nodig hebben die gekwalificeerd is voor geavanceerde wiskundecursussen). Andere covariaten in het model zullen dezelfde zijn als die in onze ITT- en TOT-analyse voor onderzoeksvraag #1, hierboven vermeld, om het effect van het programma te meten wanneer het wordt toegediend op drie-en-een-half keer de schaal zoals het is momenteel wordt beheerd.

Aangezien studenten om verschillende redenen van tutor wisselen, zullen onderzoekers ook de TOT-schatting moeten berekenen om te kijken wat de impact is van het toegewezen worden aan en daadwerkelijk werken met een tutor van een bepaalde rangorde. Om dit te doen, gebruiken onderzoekers de rang van de willekeurig toegewezen tutor als een instrument voor de gewogen gemiddelde tutorrang, waarbij het gewicht dat wordt toegekend aan de rang van elke tutor gelijk is aan het deel van de tijd (gemeten in dagen) dat de student bij die tutor heeft doorgebracht . Onderzoekers zullen dagelijkse aanwezigheidsgegevens gebruiken om dit gewogen gemiddelde te creëren. Deze methode helpt onderzoekers te begrijpen of het werken met een hoger gerangschikte tutor betekent dat een student daadwerkelijk onderwijs van betere kwaliteit krijgt, of dat er een extra relatie bestaat tussen de rang van de tutor en de werkelijke kwaliteit.

Voor de analyse gebruiken we alleen waargenomen uitkomsten. Als een uitkomst ontbreekt voor meer dan 5 procent van de steekproef, rapporteren we ook het behandeleffect op het al dan niet waarnemen van de uitkomst. Wanneer baseline-covariabelen ontbreken, imputeren we ontbrekende waarden met nul en voegen we een indicator voor ontbreken toe als aanvullende baselinecontrole.