Erhöhung der Reichweite vielversprechender Programme zur Abbrecherprävention: Untersuchung der Kompromisse zwischen Umfang und Wirksamkeit

Die Forschungsteams des University of Chicago Education Lab und des Crime Lab New York führen in den Studienjahren 2016–17 und 2017–18 eine randomisierte kontrollierte Studie durch, um auf früheren Kooperationen mit den Chicago Public Schools (CPS), dem New York City Department, aufzubauen of Education und SAGA Innovations, die herausgefunden haben, dass SAGAs intensiver, individueller Nachhilfeunterricht während des Schultages in kurzer Zeit sehr große Fortschritte bei den akademischen Ergebnissen erzielen kann, selbst bei Schülern, die viele Jahre hinter dem Klassenniveau zurückliegen. Diese Forschung legt nahe, dass dieser Ansatz vielversprechend ist, um die akademischen Fähigkeiten und den Bildungserfolg benachteiligter Jugendlicher zu verbessern, selbst wenn sie das Jugendalter erreicht haben. Um die Ergebnisse auf lokaler und nationaler Ebene wirklich zu beeinflussen, müsste SAGA jedoch in einem viel größeren Maßstab eingeführt werden, als Forscher in Chicago untersuchen konnten. Dennoch ist wenig darüber bekannt, wie vielversprechende Interventionen maßstabsgetreu umgesetzt werden können. Ziel dieser Studie ist es, die Wissenschaft des Scale-Ups weiterzuentwickeln, indem untersucht wird, inwieweit dieses individualisierte Nachhilfeprogramm in einem noch größeren Maßstab umgesetzt werden kann, und indem explizit die Kompromisse zwischen Effektivität und Umfang untersucht werden.

Das SAGA Innovations-Programm baut auf der landesweit anerkannten Innovation hochdosierter, schulinterner Nachhilfe auf, die an der Charterschule von Match Education in Boston entwickelt wurde. Das Nachhilfeprogramm findet als planmäßiger Kurs, Math Lab, einmal täglich während des normalen Schultages statt und wird zusätzlich zum regulären Mathematikunterricht eines Schülers angeboten. Die Schüler arbeiten während des gesamten Schuljahres zu zweit (zwei Schüler mit einem Tutor) mit demselben hauptberuflichen, professionellen Tutor. Der Inhalt der Nachhilfestunden orientiert sich an dem, was die Studierenden in ihren regulären Mathematikkursen lernen, zielt aber auch darauf ab, individuelle Lücken im Mathematikwissen zu schließen. Die SAGA-Tutoren folgen ebenfalls dem ursprünglichen, von Match Education entwickelten Modell und nutzen häufige interne formative Beurteilungen des Schülerfortschritts, um den Unterricht zu individualisieren.

Eine frühere randomisierte kontrollierte Studie, die vom Forschungsteam der University of Chicago durchgeführt wurde, ergab, dass ein Jahr dieser Intervention, die im AY2013-14 an den Chicago Public Schools durchgeführt wurde, ein bis zwei zusätzliche Jahre akademischen Fortschritts in Mathematik hervorbrachte, die über das hinausgingen, was das war Ein normaler US-amerikanischer High-School-Schüler lernt in einem Jahr (Cook et al., 2015; Reardon, 2011). Die geschätzten Auswirkungen auf die Mathematikleistung liegen in der Größenordnung von 0,19 bis 0,30 Standardabweichungen, abhängig vom genauen Test und der verwendeten Normierung. Die Intervention verbesserte auch die Noten der Schüler in Mathematik um 0,58 Punkte auf einer Notenskala von 1 bis 4, verglichen mit einem Kontrolldurchschnitt von 1,77. Diese Zuwächse sind besonders wichtig, da immer mehr Beweise für die Bedeutung der Mathematik vorliegen, insbesondere für den kurz- und mittelfristigen Erfolg in der Schule und für langfristige Lebensergebnisse wie Beschäftigung und Einkommen (Duncan et al., 2007).

Diese Studie soll auf den früheren Bewertungen des Programms durch die Forscher aufbauen und Einblicke in die Fähigkeit dieses Programms geben, Jugendlichen in viel größerem Umfang zu dienen. Konkret zielt diese Studie darauf ab, die folgenden Forschungsfragen zu beantworten:

1. Welche Auswirkungen hat die Implementierung eines evidenzbasierten, individuellen Nachhilfeprogramms in größerem Maßstab?
2. Welcher Zusammenhang besteht zwischen der Wirkung des Programms und dem Umfang, in dem das Programm umgesetzt wird?

Die Implementierungsstandorte sind in zwei Gruppen unterteilt: Standorte in Chicago, an denen die Schüler nach dem Zufallsprinzip ausgewählt werden, um Nachhilfe zu erhalten (im Folgenden als „Scale-up“-Schulen bezeichnet), und Standorte in Chicago und New York City, an denen die Schulleiter in erster Linie entscheiden können, welche Schüler Nachhilfe erhalten Nachhilfe (im Folgenden als „Rückkehrschulen“ bezeichnet).

Um Forschungsfrage Nr. 1 zu untersuchen, werden Forscher die Möglichkeiten der Zufallsstichprobe nutzen, um die Skalierung dieses Programms zu untersuchen, ohne das Programm tatsächlich in einem viel größeren Maßstab implementieren zu müssen. Die erste Forschungsfrage zielt darauf ab, die durchschnittliche Qualität des erweiterten Programms in Chicago zu messen, wobei die Forscher Daten der erweiterten Schulen nutzen werden. Schüler sowohl in Scale-up- als auch in Return-Schulen werden nach dem Zufallsprinzip Tutoren zugewiesen. Allerdings haben die Schüler in den Scale-up-Schulen zwei zusätzliche Randomisierungen – (1) die Randomisierung der Tutor-Bewerber und (2) die Randomisierung der Behandlungszuweisung. Beim ersten Feature geht das Forschungsteam davon aus, dass SAGA zu viele Nachhilfelehrer rekrutiert, als würden sie in den Scale-up-Schulen in größerem Umfang als dem vorgesehenen Umfang implementieren. Die Ermittler wählen dann nach dem Zufallsprinzip einen von dreieinhalb Nachhilfebewerbern aus, um das Standardeinstellungsverfahren von SAGA fortzusetzen, und Stellen an den Scale-up-Schulen werden nur von diesen nach dem Zufallsprinzip ausgewählten Nachhilfelehrern besetzt. Da die Schüler in diesen erweiterten Schulen nach dem Zufallsprinzip einer Behandlung zugewiesen werden, können die Forscher die Programmeffekte in etwa dem Dreieinhalbfachen des Umfangs messen, in dem das Programm an diesen Schulen umgesetzt wird.

Um die Behandlungseffekte für Forschungsfrage Nr. 1 zu messen, wird das Forschungsteam sowohl die Auswirkungen der Behandlungsabsicht (ITT) als auch der Auswirkungen der Behandlung auf die behandelten Patienten (TOT) abschätzen. Forscher schätzen den ITT-Effekt wie folgt ein:

Y=B0 + B1T + B2X + E

Dabei ist Y das Ergebnis des Interesses, T gibt an, dass Studenten nach dem Zufallsprinzip die Möglichkeit erhalten, am Nachhilfeprogramm teilzunehmen, und X ist eine Reihe von Basiskontrollen (die insbesondere Randomisierungsblock, Geschlecht, Alter, Lernbehinderung, freie/ reduzierter Mittagsstatus, Rasse, Grundklassenniveau, GPA, Anzahl der As/Bs/Cs/Ds/Fs im Vorjahr, standardisierte Testergebnisse für Mathematik und Lesen aus dem Vorjahr, Fehltage in der Schule, disziplinarische Vorfälle einschließlich Suspendierungen und Verhaftungen , und ein binäres Flag für Schüler mit fehlenden GPA- und Anwesenheitsdaten), E ist ein zufälliger Fehlerterm und B0, B1, B2 sind zu schätzende Parameter. Die zufällige Zuweisung von T stellt sicher, dass unter Standardannahmen die OLS-Schätzung (Ordinary Least Squares) eine unvoreingenommene Schätzung der ITT als Schätzung von B1 oder den Effekt der angebotenen Teilnahme am SAGA-Nachhilfeprogramm liefert. Da alle in das Programm randomisierten Studierenden mit Tutoren gepaart wurden, die über das oben beschriebene Verfahren randomisiert wurden, misst unser ITT- (und anschließend TOT-)Effekt speziell die Wirkung des Programms, wenn es dreieinhalb Mal verabreicht wird die Skala, wie sie derzeit verwaltet wird.

Das ITT misst den Effekt, den das Angebot einer Teilnahmemöglichkeit mit sich bringt. Da für die Behandlung vorgesehene Studierende nicht verpflichtet sind, am Programm teilzunehmen, misst das ITT möglicherweise nicht die Wirkung der Teilnahme. Das Forschungsteam wird den Effekt der Teilnahme anhand der zufälligen Zuweisung von T als Instrument für die Teilnahme messen. Wenn alle Teilnehmer zufällig ausgewählt wurden (d. h. wenn es keine Kontrollschüler gibt, die am Nachhilfeprogramm teilnehmen dürfen), berechnet diese Methode den Effekt der Behandlung auf die Behandelten (TOT) bzw. den Effekt der Teilnahme für die Gruppe der Schüler, die am Nachhilfeprogramm teilnehmen dürfen sich für eine Teilnahme entscheiden.

Um einen Einblick in die Forschungsfrage Nr. 2 oben zu erhalten, die darauf abzielt, die Beziehung zwischen Programmumfang und -effekten zu bestimmen, werden die Tutoren an allen Standorten von der SAGA-Führung auf der Grundlage der relativ erwarteten Qualität eingestuft. Anschließend teilt das Forschungsteam den Tutoren zufällig Studentenpaare zu, um den Einfluss eines Tutors auf die Ergebnisse der Studenten zu ermitteln. Mit dieser Methodik können Forscher untersuchen, ob das Tutorenranking das Ausmaß der Programmeffekte vorhersagt. Da das Forschungsteam davon ausgeht, dass das Programm Tutoren in der Reihenfolge ihrer Rangfolge anstellt, abhängig von der Anzahl der zu besetzenden Tutorenplätze, wird diese Analyse Aufschluss über die Beziehung zwischen Umfang und Effektivität geben.

Um die Auswirkung der Zuweisung zu einem Tutor mit einem bestimmten Rang (d. h. der ITT-Schätzung der Forschungsfrage Nr. 2) zu analysieren, führen Forscher Regressionsmodelle durch, die die akademischen Ergebnisse auf den Rang des Tutors zurückführen. Unser Hauptinteresse gilt mathematisch standardisierten Testergebnissen. Unsere primäre Analyse wird die Ergebnisse als lineare Funktion des Tutorenrangs modellieren. Als sekundäre explorative Analyse werden wir die Form der Beziehung zwischen Ergebnissen und Tutorenrang mithilfe der folgenden Kreuzvalidierungsübung abschätzen:

1. Schätzen Sie die Beziehung nichtparametrisch, indem Sie eine Regression auf Schülerebene des Ergebnisses (primär: mathematisch standardisierte Testergebnisse) mit einem vollständigen Satz separater fester Effekte für jeden Tutorrang durchführen. Nennen Sie den Koeffizienten auf den festen Effekt des r-ten Tutors γ ̂_r.
2. Für Rang r=1,…,R: Schätzen Sie mithilfe der Daten auf Schülerebene die Beziehung zwischen dem Ergebnis und dem Rang des Tutors als Polynom der Ordnung p=0, 1, 2, …, 10, das die den Tutoren auf Rang r zugewiesenen Schüler enthält der Probe. Verwenden Sie die Koeffizienten der Polynomterme, um γ ̂_r vorherzusagen, und nennen Sie das f ̂_p (r). Speichern Sie den quadratischen Fehler für jedes Polynom: (f ̂_p (r)-γ ̂_r )^2.
3. Wählen Sie das Polynom p aus, das ∑_(r=1)^R(f ̂_p (r)-γ ̂_r )^2 minimiert.
4. Geben Sie die geschätzte Beziehung zwischen Ergebnis und Rang anhand der ausgewählten Polynomordnung an.

Zusätzlich zu den Funktionen des Tutorrangs umfasst jede Regression blockfeste Effekte, die erfassen, wie Studentenpaare zufällig Tutoren zugewiesen wurden. Die Blöcke umfassen Schülergruppen innerhalb eines Klassenraums mit gemeinsamen Sonderbeschränkungen (z. B. keine Einschränkungen haben, einen spanischsprachigen Nachhilfelehrer benötigen oder einen Nachhilfelehrer benötigen, der für fortgeschrittene Mathematikkurse qualifiziert ist). Die anderen Kovariaten im Modell sind dieselben wie diejenigen, die in unserer oben erwähnten ITT- und TOT-Analyse für Forschungsfrage Nr. 1 enthalten sind, um die Wirkung des Programms zu messen, wenn es in der dreieinhalbfachen Größenordnung verabreicht wird wird derzeit verwaltet.

Da Studierende aus verschiedenen Gründen den Tutor wechseln, müssen Forscher auch die TOT-Schätzung berechnen, um die Auswirkungen der Zuweisung an einen Tutor mit einem bestimmten Ranking und der tatsächlichen Zusammenarbeit mit ihm zu untersuchen. Zu diesem Zweck verwenden die Forscher den Rang des zufällig zugewiesenen Tutors als Instrument für den gewichteten durchschnittlichen Tutor-Rang, wobei die Gewichtung des Rangs jedes Tutors dem Anteil der Zeit (gemessen in Tagen) entspricht, die der Student mit diesem Tutor verbracht hat . Die Ermittler verwenden tägliche Anwesenheitsdaten, um diesen gewichteten Durchschnitt zu erstellen. Diese Methode hilft Forschern zu verstehen, ob die Zusammenarbeit mit einem höherrangigen Tutor bedeutet, dass ein Schüler tatsächlich eine bessere Unterrichtsqualität erhält, oder ob ein zusätzlicher Zusammenhang zwischen dem Rang des Tutors und der tatsächlichen Qualität besteht.

Wir werden nur beobachtete Ergebnisse für die Analyse verwenden. Wenn bei mehr als 5 Prozent der Stichprobe ein Ergebnis fehlt, berichten wir auch über den Behandlungseffekt, unabhängig davon, ob das Ergebnis beobachtet wird oder nicht. Wenn Basiskovariaten fehlen, imputieren wir fehlende Werte mit Null und fügen einen Indikator für das Fehlen als zusätzliche Basiskontrolle ein.