シカゴの学校におけるポジティブ・アクション・プログラムのランダム化試験と8年生への延長

このプロジェクトは、全国的に実施されたさまざまなプログラムの複数施設での試験のうちの 7 つのうちの 1 つです。 オレゴン州立大学 (OSU) とイリノイ大学シカゴ校 (UIC) は、ポジティブ アクション プログラム (PA) の有効性を評価する学校ベースのランダム化試験を実施し、プログラムがどのように機能するかを調べ、ポジティブ アクション プログラムの有効性を判断しています。小学生のネガティブな行動（健康関連行動を含む）を減らし、ポジティブな行動を増やし、学力を向上させるためのアクションプログラム。 ポジティブ アクション プログラムは、反社会的行動 (暴力、薬物使用、非行) を減らし、学校の成績 (出席率、テストの成績) を改善する方法で、社会的および人格の発達 (敬意、責任、利他主義、公民の美徳、向社会的行動) を促進するように設計されました。 ）。 2004 年の冬に選ばれた 14 の適格な学校は、7 つのマッチしたペア (治療と対照) で構成されています。学校は、複数の学校の特徴から構成される「リスクスコア」に基づいて照合されました。 2004年から2005年の学年度の3年生、その保護者、教師と校長を対象に、ベースライン（2004年秋）、2005年の春と秋、2006年の春、2007年の春に調査が行われた。 評価は、複数種類のプロセス、媒介変数、および学校記録（出席状況、一時的成績、成績、テストの成績、懲戒処分と停学処分、学校および生徒集団の特性の変化）、生徒記録、生徒調査、保護者調査からの結果データに基づいて行われます。 、教師の評価とアンケート、および管理者アンケート。両方の条件の学校から収集されます (ポジティブ アクション プログラムの実施に関する情報を除く)。 OSUで行われている作業は、プロジェクトのあらゆる側面に対するフレイ博士の全体的な監督と、UICのデュボア博士から受け取った匿名化されたデータを使用したデータ分析と研究論文の執筆に限定されています。 デビッド・デュボア博士の指揮のもと、UIC で行われている作業には、すべての介入作業、データ収集、データ入力、および一部のデータ分析とレポート作成が含まれます。 米国教育省/IES は、国の請負業者である Mathematica Policy Research, Inc. (MPR) を雇い、2007 年春まで複数施設での試験のすべての施設で中核調査を実施しました。 さらに、OSU/UIC は、データ収集のすべての段階で複数サイトの調査を補完するサイト固有の学生調査を実施しています。 2005 年 9 月にフレイ博士が UIC から OSU に異動した後、プロジェクトへの資金提供が行われたため、OSU IRB はプロジェクト全体のレビューを提供します。 2008年4月現在、新たな資金により2012年3月まで研究を継続することが可能となっており、生徒とその教師および校長が2008年秋、2009年春に調査され、春には保護者も含めて再度調査されるため、8年生の終わりまで生徒の対象集団を追跡することができる。 2010年。 継続研究のためのデータ収集には、子供の身長と体重の収集、および生徒と教師からのプロセス評価データも含まれます。 MPR は関与しません。 データ収集は 2010 年 6 月に完了しました。

同意率とモビリティ:

保護者の同意は、生徒、保護者、または教師が 3 年生のときにアンケートに回答する前に得られました。保護者の 79% がベースラインで同意を示しました。 後のウェーブで研究に参加する学生は、その時点で同意されました。彼らの同意率は、ウェーブ 2 ～ 5 で 65% ～ 78% の範囲でした。 全生徒はウェーブ 6 (7 年生の始まり) での第 2 フェーズの資金提供について再同意されました。同意率はウェーブ 6 ～ 8 で低くなりました (≈ 58 ～ 64%)。 これは、学年が上がるにつれて同意率が低下することが判明した以前の研究と一致しています。 子どもに関する報告を提供した同意した親の割合は、第 1 波、第 2 波、第 4 波、第 5 波および第 8 波でそれぞれ 72.3%、58.9%、52.2%、50.5%、72.9% でした。 ウェーブ 8 で親の回答率が上昇したと考えられる 2 つの要因は、(1) 親のレポートを完了するための金銭的インセンティブの増加、および (2) インセンティブの増加を通知し、調査の完了を促すために家族に集中的に電話連絡を行ったことです。 教師が評価を完了した同意した生徒の割合は、ウェーブ 1、2、4、5、7、8 でそれぞれ 74.6%、74.8%、72.4%、78.3%、74.4%、92.7% でした。 Wave 8 では、教師アンケートの完了率 100% を達成するための追加の学校レベルのインセンティブを導入しました。これにより、完了した教師の評価が増加する可能性があります。 移動パターンは、5 クラスのソリューションがデータに最も適切に適合することが判明した潜在クラス分析の結果を使用して特定されました: 1) 滞在者 (平均学習期間 5.72 年、N = 158)、2) 一時的な参加者(1.30 年、4 年生または 5 年生のみ、N=196)、3) 後期参加者 (1.38 年、N=308)。 4) 早期離職者 (0.94 年、N=263)、および 5) 後期離職者 (3.23 年、N=287)。

計画された統計分析:

この試験はクラスターに焦点を当てていたため、試験開始後に学校に入学した生徒（参加者）は評価しましたが、学習学校への出席をやめた個々の生徒（退会者）は追跡しませんでした。 学生の観点から見ると、いつの時代も彼らは「ダイナミック」（つまり、 変更) 学年コホート。 学校および学生レベルのばらつきを考慮するために、マルチレベル モデルが使用されます。 欠損データは、無作為欠損 (MAR) 仮定を使用して対処されます。これは、単一の未測定変数または一連の変数が、無作為化後に試験学校を退学または入学したすべての生徒の欠損を予測する可能性が低いためです。さまざまな生徒レベルのアウトカムに対する治療効果を分析するためのレベル（学校内にネストされた生徒内でネストされた測定の機会）成長曲線モデル。 これらのモデルは、すべての観察とモデル学校の違いを説明します。 このアプローチにより、利用可能なデータの複数の波の完全な分析が可能になり、時間の経過に伴う変化のパターンが考慮されます。 まず、ランダム切片成長曲線モデルが推定されます。 ランダム切片モデルに続いて、ランダム係数モデルを実行して、各条件のすべての生徒が同じ変化パターンを持つのではなく、時間の経過とともに生徒の変化に大きなばらつきがあるかどうかをテストします。 尤度比カイ二乗 (LR) 検定を使用して、ランダム係数を使用したモデルと使用しないモデルの適合を比較します。 ランダムな時間係数を備えたモデルが特定の結果に対して大幅に良好な適合を提供する場合、それが最終モデルとしてレポートされます。 後のウェーブ (ウェーブ 5 または 6 以降) でのみ収集されたスケールに対する介入効果は、最後 (ウェーブ 8) での効果の違いの可能性を示す条件項を使用して、エンドポイント (ウェーブ 8) に設定された切片を使用してテストされます。

この試験には 14 校のみが参加しており、PA の効果はクラスターランダム化試験で学校レベルでテストされるため、いくつかの感度分析を実施します。 まず、12 自由度の t 分布を使用して、PA 係数推定値の統計的有意性とその標準誤差を評価します。つまり、より保守的なアプローチを提供する 14 校 - 1 (条件効果) - 1 = 12 df です。 2 番目のアプローチはペアレベルの分析で、4 レベルのモデルとして推定されます。つまり、生徒内でネストされた測定機会、学校内でネストされた測定機会、一致するペア内でネストされた測定機会です。

生徒レベルの調査データに加えて、学校レベルのいくつかのアーカイブ対策も分析されます。 これらのデータは学校レベルであるため、成長曲線モデルは 3 レベルではなく 2 レベル (学校内での観察) になります。 データの量 (学校の数と波の数の積) が少ないことと、その結果生じる出力制限のため、これらの分析ではランダム切片モデルのみが使用されます。

性別および学生の流動性ごとに節度をテストします。 モデレーション テストにより、プログラムが誰に影響を与えるかが明らかになります。つまり、これらのテストにより、プログラムの効果が性別や子供の運動能力によって異なるかどうかを評価できるようになります。 人種による節度テストは学校と非常に混同されているため実施しません。3 組の学校には主にアフリカ系アメリカ人の生徒が在籍し、2 組の学校には主にヒスパニック系の生徒が在籍しています。

CRCT を通じて 14 校すべてが維持されましたが、この試験の生徒集団は非常に流動的でした。 したがって、学生の移動パターンの潜在的な緩和効果をテストすることが重要です。 モビリティ パターンを分析するための最近のアプローチは、潜在クラス分析 (LCA) です。 上で説明した移動パターンは、プログラム効果の緩和要因としてテストできます。つまり、異なる移動パターンを持つ生徒が異なるプログラム効果を持つかどうかを調べることです。

調停分析により、PA プログラムの作用メカニズムを調べることができます。 まず、モデルにメディエーターを含めずに、Y に対する X の二変量効果を推定します。 次に、モデルに含まれるメディエーターによる X の Y に対する直接効果と、X の Y に対する M × M への効果からなる媒介効果を同時に推定します。