Randomisierte Studie des Positive-Action-Programms an Chicagoer Schulen und Ausweitung auf die 8. Klasse

Dieses Projekt ist eines von sieben in einem standortübergreifenden Versuch verschiedener Programme, der landesweit umgesetzt wurde. Die Oregon State University (OSU) und die University of Illinois at Chicago (UIC) führen eine schulbasierte randomisierte Studie durch, um die Wirksamkeit des Positive Action-Programms (PA) zu bewerten, um herauszufinden, wie das Programm funktioniert, und um die Wirksamkeit des Positiven zu bestimmen Aktionsprogramm zur Reduzierung negativer Verhaltensweisen (einschließlich gesundheitsbezogener Verhaltensweisen), zur Steigerung positiver Verhaltensweisen und zur Verbesserung der schulischen Leistungen von Grundschülern. Das Positive-Action-Programm wurde entwickelt, um die soziale und charakterliche Entwicklung (Respekt, Verantwortung, Altruismus, bürgerliche Tugend, prosoziales Verhalten) auf eine Weise zu fördern, die asoziales Verhalten (Gewalt, Substanzkonsum, Kriminalität) reduziert und die schulischen Leistungen (Anwesenheit, Testergebnisse) verbessert ). Vierzehn im Winter 2004 ausgewählte förderfähige Schulen bestehen aus sieben passenden Paaren (Behandlung und Kontrolle); Die Schulen wurden anhand eines „Risikoscores“ verglichen, der sich aus mehreren Schulmerkmalen zusammensetzte. Schüler der 3. Klasse im Schuljahr 2004/05, ihre Eltern sowie ihre Lehrer und Schulleiter wurden zu Studienbeginn (Herbst 2004), Frühjahr und Herbst 2005, Frühjahr 2006 und Frühjahr 2007 befragt. Die Bewertung basiert auf mehreren Arten von Prozess-, Mediatorvariablen- und Ergebnisdaten aus Schulunterlagen (Anwesenheit, Vergänglichkeit, Noten, Testleistungen, Disziplinarmaßnahmen und Suspendierungen sowie Veränderungen in den Merkmalen der Schul- und Schülerpopulation), Schülerunterlagen, Schülerbefragungen und Elternbefragungen , Lehrerbewertungen und -befragungen sowie Administratorbefragungen, die von Schulen in beiden Staaten erhoben wurden (mit Ausnahme von Informationen über die Umsetzung des Positive-Action-Programms). Die an der OSU geleistete Arbeit beschränkt sich auf die Gesamtüberwachung aller Aspekte des Projekts durch Dr. Flay, die Datenanalyse unter Verwendung nicht identifizierter Daten, die er von Dr. DuBois von der UIC erhalten hat, und das Verfassen von Forschungsarbeiten. Die bei der UIC unter der Leitung von Dr. David DuBois durchgeführten Arbeiten umfassen die gesamte Interventionsarbeit, die Datenerfassung, die Dateneingabe sowie einige Datenanalysen und das Verfassen von Berichten. Das US-Bildungsministerium/IES beauftragte einen nationalen Auftragnehmer, Mathematica Policy Research, Inc. (MPR), mit der Durchführung von Kernerhebungen an allen Standorten des standortübergreifenden Versuchs bis zum Frühjahr 2007. Darüber hinaus führt OSU/UIC eine standortspezifische Studentenumfrage durch, die die standortübergreifenden Umfragen während aller Datenerfassungswellen ergänzt. Da die Projektfinanzierung auf den Wechsel von Dr. Flay von der UIC zur OSU im September 2005 folgte, liefert OSU IRB einen Überblick über das Gesamtprojekt. Ab April 2008 ermöglichen neue Mittel die Fortsetzung der Studie bis März 2012 und begleiten die Zielgruppe der Schüler bis zum Ende der 8. Klasse, da sie und ihre Lehrer und Schulleiter im Herbst 2008, Frühjahr 2009 und erneut zusammen mit ihren Eltern im Frühjahr befragt werden 2010. Die Datenerhebung für die Fortsetzungsstudie umfasst auch die Erhebung von Größe und Gewicht der Kinder sowie Prozessbewertungsdaten von Schülern und Lehrern. Es wird keine Beteiligung von MPR geben. Die Datenerfassung wurde im Juni 2010 abgeschlossen.

Einwilligungsraten und Mobilität:

Die Zustimmung der Eltern wurde eingeholt, bevor Schüler, Eltern oder Lehrer die Umfragen ausfüllten, als die Schüler in der 3. Klasse waren. 79 Prozent der Eltern gaben zu Beginn ihre Zustimmung. Studenten, die in späteren Wellen an der Studie teilnehmen, wurden zu diesem Zeitpunkt eingewilligt; Die Zustimmungsraten für sie lagen in den Wellen 2–5 zwischen 65 % und 78 %. Alle Schüler erhielten in Welle 6 (Beginn der 7. Klasse) erneut ihre Zustimmung zur zweiten Finanzierungsphase. Die Zustimmungsraten waren in den Wellen 6 bis 8 niedriger (≈ 58 bis 64 %). Dies steht im Einklang mit früheren Studien, die festgestellt haben, dass die Zustimmungsraten mit steigenden Klassenstufen sinken. Der Prozentsatz der einwilligenden Eltern, die Berichte über ihre Kinder übermittelten, betrug 72,3 %, 58,9 %, 52,2 %, 50,5 % bzw. 72,9 % in den Wellen 1, 2, 4, 5 und 8. Zwei Faktoren, die wahrscheinlich die Rücklaufquote der Eltern bei Welle 8 erhöhten, waren (1) ein erhöhter finanzieller Anreiz für das Ausfüllen des Elternberichts und (2) eine intensive telefonische Kontaktaufnahme mit den Familien, um den Anstieg des Anreizes zu bemerken und das Ausfüllen der Umfrage zu fördern. Der Prozentsatz der einwilligenden Schüler, bei denen die Lehrer die Bewertungen abgeschlossen haben, betrug 74,6 %, 74,8 %, 72,4 %, 78,3 %, 74,4 % bzw. 92,7 % für die Wellen 1, 2, 4, 5, 7 und 8. Bei Welle 8 haben wir einen zusätzlichen Anreiz auf Schulebene für eine 100-prozentige Abschlussquote der Lehrerbefragung eingeführt, was wahrscheinlich zu einem Anstieg der Bewertungen abgeschlossener Lehrer geführt hat. Mobilitätsmuster wurden anhand der Ergebnisse einer latenten Klassenanalyse identifiziert, bei der sich herausstellte, dass eine 5-Klassen-Lösung am besten zu den Daten passt: 1) Stayer (durchschnittliche Studiendauer 5,72 Jahre, N = 158), 2) temporäre Teilnehmer (1,30 Jahre, nur in der 4. oder 5. Klasse; N=196), 3) Späteinsteiger (1,38 Jahre; N=308); 4) frühe Schulabgänger (0,94 Jahre; N=263) und 5) späte Schulabgänger (3,23 Jahre; N=287).

Geplante statistische Auswertungen:

Da der Versuch auf Cluster ausgerichtet war, haben wir Schüler bewertet, die nach Beginn des Versuchs in die Schule kamen (Einsteiger), aber nicht einzelne Schüler verfolgt, die die Studienschulen nicht mehr besuchten (Abgänger). Aus der Sicht der Studierenden könnten sie im Laufe der Zeit als „dynamisch“ (d. h. wechselnde) Klassenkohorte. Mehrebenenmodelle werden verwendet, um Variationen auf Schul- und Schülerebene zu berücksichtigen. Fehlende Daten werden mithilfe der Missing-at-Random-Annahme (MAR) angegangen, da es unwahrscheinlich ist, dass eine einzelne nicht gemessene Variable oder ein Satz von Variablen das Fehlen aller Schüler vorhersagen würde, die die Testschulen nach der Randomisierung verlassen oder neu aufgenommen haben. Wir schlagen eine drei- Wachstumskurvenmodell für die Analyse von Behandlungseffekten auf verschiedene Ergebnisse auf Schülerebene. Diese Modelle berücksichtigen alle Beobachtungen und Modellschulunterschiede. Dieser Ansatz ermöglicht eine vollständige Analyse der verschiedenen Wellen verfügbarer Daten und berücksichtigt die Änderungsmuster im Laufe der Zeit. Zunächst werden Wachstumskurvenmodelle mit zufälligen Schnittpunkten geschätzt. Nach dem Random-Intercept-Modell wird ein Zufallskoeffizientenmodell ausgeführt, um zu testen, ob es im Laufe der Zeit signifikante Schwankungen in der Veränderung der Schüler gibt, anstatt dass alle Schüler in jeder Bedingung das gleiche Veränderungsmuster aufweisen. Ein Likelihood-Quotient-Chi-Quadrat-Test (LR) wird verwendet, um die Modellanpassung mit und ohne Zufallskoeffizienten zu vergleichen. Wenn ein Modell mit einem zufälligen Zeitkoeffizienten eine deutlich bessere Anpassung an ein bestimmtes Ergebnis liefert, wird es als endgültiges Modell gemeldet. Interventionseffekte auf Skalen, die erst in späteren Wellen (ab Welle 5 oder 6) erfasst werden, werden mit dem am Endpunkt (Welle 8) festgelegten Schnittpunkt getestet, wobei der Bedingungsbegriff auf einen möglichen Unterschied in den Auswirkungen bei der letzten Welle (Welle 8) hinweist.

Da nur 14 Schulen an dieser Studie teilnehmen und der PA-Effekt auf Schulebene in einer Cluster-randomisierten Studie getestet wird, werden wir mehrere Sensitivitätsanalysen durchführen. Zunächst werden wir die statistische Signifikanz der Schätzung des PA-Koeffizienten und seines Standardfehlers anhand der t-Verteilung mit 12 Freiheitsgraden bewerten: 14 Schulen – 1 (der Bedingungseffekt) – 1 = 12 df, was einen konservativeren Ansatz ermöglicht. Ein zweiter Ansatz wird eine Analyse auf Paarebene sein, die als Modell mit vier Ebenen geschätzt wird: Messereignisse, die innerhalb von Schülern verschachtelt sind, innerhalb von Schulen verschachtelt sind und innerhalb übereinstimmender Paare verschachtelt sind.

Zusätzlich zu den Umfragedaten auf Schülerebene werden mehrere Archivierungsmaßnahmen auf Schulebene analysiert. Da es sich bei diesen Daten um Schulebene handelt, sind die Wachstumskurvenmodelle zweistufig (Beobachtungen innerhalb der Schulen) und nicht dreistufig. Aufgrund der geringen Datenmenge (Anzahl der Schulen mal Anzahl der Wellen) und der daraus resultierenden Leistungsbeschränkungen wird bei diesen Analysen nur das Random-Intercept-Modell verwendet.

Wir werden die Moderation nach Geschlecht und Studierendenmobilität testen. Die Moderationstests zeigen, bei wem das Programm Wirkung zeigt; Das heißt, mit diesen Tests können wir beurteilen, ob sich die Programmeffekte je nach Geschlecht oder Mobilität eines Kindes unterscheiden. Wir werden die Moderation aufgrund der ethnischen Zugehörigkeit nicht testen, da diese stark mit der Schule verwechselt wird, wobei drei Schulpaare überwiegend afroamerikanische Schüler und zwei Schulpaare überwiegend hispanische Schüler haben.

Während im gesamten CRCT alle 14 Schulen beibehalten wurden, war die Schülerpopulation in diesem Versuch sehr mobil. Daher ist es wichtig, mögliche moderierende Effekte der Studierendenmobilitätsmuster zu testen. Ein neuerer Ansatz zur Analyse von Mobilitätsmustern ist die Latent-Class-Analyse (LCA). Die oben beschriebenen Mobilitätsmuster können dann als Moderator von Programmeffekten getestet werden; Das heißt, es wird untersucht, ob Studierende mit unterschiedlichen Mobilitätsmustern unterschiedliche Programmeffekte haben.

Mithilfe von Mediationsanalysen können wir die Wirkmechanismen des PA-Programms untersuchen. Wir werden zunächst den bivariaten Effekt von X auf Y ohne den im Modell enthaltenen Mediator abschätzen. Anschließend schätzen wir gleichzeitig die direkte Wirkung von X auf Y mit dem im Modell enthaltenen Mediator sowie die vermittelte Wirkung ab, die aus der Wirkung von X auf M × M auf Y besteht.