有望な中退防止プログラムの適用範囲を拡大する: 規模と効果の間のトレードオフを検討する

シカゴ大学教育研究所とニューヨーク市犯罪研究所の研究チームは、シカゴ公立学校（CPS）、ニューヨーク市当局とのこれまでの協力を基礎として、2016～17年度と2017～18年度にランダム化比較試験を実施している。 SAGA イノベーションは、SAGA の集中的で個別化された授業中の個別指導が、学年レベルから何年も遅れている生徒であっても、短期間で学業成績に非常に大きな向上をもたらすことができることを発見しました。 この研究は、このアプローチが、たとえ思春期に達した後であっても、恵まれない若者の学力と教育到達度を向上させるのに有望であることを示唆しています。 しかし、地方および国家レベルで成果に真の影響を与えるためには、研究者がシカゴで研究できた規模よりもはるかに大規模にSAGAを展開する必要があるだろう。 しかし、有望な介入をどのようにスケールさせるかについてはほとんど知られていない。 この研究は、この個別指導プログラムをさらに大規模に実施できる範囲を調査し、有効性と規模の間のトレードオフを明確に調査することにより、スケールアップの科学を構築することを目指しています。

SAGA イノベーション プログラムは、ボストンにあるマッチ エデュケーションのチャーター スクールで開発された、全国的に認められた高用量の授業内個別指導のイノベーションを拡張したものです。 個別指導プログラムは、通常の授業日に 1 日 1 回、定期コース「数学ラボ」として開催され、生徒の通常の数学の授業に加えて提供されます。 学生は、学年全体を通して、同じフルタイムのプロの家庭教師と 2 対 1 (生徒 2 人と家庭教師 1 人) で学習します。 個別指導セッションの内容は、生徒が通常の数学コースで学習している内容と一致していますが、数学の知識における個人のギャップに対処することも目的としています。 また、Match Education によって開発されたオリジナルのモデルに従って、SAGA の講師は生徒の進歩に関する内部形成的評価を頻繁に使用して、個別の指導を行っています。

シカゴ大学の研究チームが実施した以前のランダム化比較試験では、2013年から2014年度にかけてシカゴの公立学校で実施されたこの介入の1年間により、数学の学力の伸びが1年から2年増加し、これまでの成績を上回ったことが判明した。米国の普通の高校生は 1 年で学習します (Cook et al., 2015; Reardon, 2011)。 数学の成績に対する推定効果は、使用される正確なテストと基準に応じて、標準偏差 0.19 ～ 0.30 程度です。 この介入により、生徒の数学の成績も、対照平均の 1.77 と比較して、1 ～ 4 の成績点スケールで 0.58 ポイント向上しました。 特に学校での短期および中期の成功、および雇用や収入などの長期的な人生の成果にとって数学の重要性に関する証拠が増えているため、これらの利点は特に重要です(Duncan et al., 2007)。

この研究は、研究者らによる以前のプログラムの評価に基づいて構築することを目的としており、より大規模に青少年にサービスを提供するこのプログラムの能力についての洞察を提供するでしょう。 具体的には、この研究は次の研究上の疑問に答えることを目的としています。

1. 科学的根拠に基づいた個別指導プログラムを大規模に実施すると、どのような効果が得られますか?
2. プログラムの効果とプログラムの実施規模にはどのような関係があるのでしょうか？

実施施設は 2 つのセットに分けられます。1 つは生徒が個別指導を受けるようにランダムに割り当てられるシカゴの施設 (以下、「スケールアップ」学校と呼びます)、もう 1 つは校長がどの生徒が個別指導を受けるかを主な裁量で選択するシカゴとニューヨーク市の施設です。個別指導（以下「帰国学校」といいます）。

研究課題 1 を研究するために、研究者はランダム サンプリングの力を利用して、実際にプログラムをさらに大規模に実装することなく、このプログラムのスケールアップを研究します。 最初の研究課題は、研究者がスケールアップされた学校からのデータを利用する、シカゴのスケールアップされたプログラムの平均的な質を測定することを目的としています。 スケールアップ スクールとリターン スクールの生徒はどちらもランダムに家庭教師に割り当てられます。 ただし、スケールアップ校の生徒には、(1) 家庭教師の応募者のランダム化と (2) 治療割り当てのランダム化という 2 つの追加のランダム化があります。 最初の特徴として、研究チームは、あたかも学校をスケールアップする際に意図した規模よりも大規模に実施しているかのように、SAGA に家庭教師を過剰に募集させています。 その後、調査員は 3 人半の家庭教師応募者から 1 人を無作為に選択し、SAGA の標準採用プロセスを継続し、規模拡大校のポジションはこれらの無作為に選ばれた家庭教師によってのみ埋められます。 生徒たちはこれらの規模拡大された学校での治療にランダムに割り当てられるため、研究者はこれらの学校でプログラムが実施されている規模の約3.5倍でプログラムの効果を測定できるようになる。

研究課題 #1 の治療効果を測定するために、研究チームは治療意図 (ITT) と治療に対する治療効果 (TOT) の両方の影響を推定します。 研究者は、ITT の効果を次のように推定します。

Y=B0 + B1T + B2X + E

ここで、Y は関心のある結果、T は個別指導プログラムに参加する機会を提供するためにランダムに割り当てられた生徒を示し、X は一連のベースライン対照 (特に、ランダム化ブロック、性別、年齢、学習障害、無料/昼食の有無、人種、基本成績レベル、GPA、前年度のAs/Bs/Cs/Ds/Fsの数、前年度の数学と読解の共通テストのスコア、学校欠席日数、停学や逮捕を含む懲戒事件、GPA と出席データが欠落している学生のバイナリ フラグ)、E はランダム誤差項、B0、B1、B2 は推定されるパラメータです。 T のランダムな割り当てにより、標準的な仮定の下で、通常最小二乗法 (OLS) 推定により、B1 の推定値、つまり SAGA 個別指導プログラムへの参加を提案された効果として ITT の不偏推定値が得られることが保証されます。 プログラムにランダム化されたすべての生徒は、上記のプロセスを通じてランダム化された講師とペアになっているため、ITT (およびその後の TOT) 効果は、プログラムを 3 回半実施した場合の効果を具体的に測定します。現在管理されている規模。

ITT は、参加の機会が提供された場合の効果を測定します。 治療に割り当てられた学生はプログラムに参加する必要がないため、ITT は参加の効果を測定しない場合があります。 研究チームは、参加のための手段としてTをランダムに割り当てて、参加の効果を測定する予定です。 すべての参加者がランダムに選択された場合（つまり、個別指導プログラムへの参加を許可された対照生徒がいない場合）、この方法では、治療を受けた生徒に対する治療の効果（TOT）、または対象の生徒のグループに対する参加の効果が計算されます。参加することを選択します。

プログラムの規模と効果の関係を決定しようとする上記の研究課題 #2 について洞察を得るために、すべての施設の講師は、相対的な期待品質に基づいて SAGA のリーダーシップによってランク付けされています。 研究チームはその後、生徒の成績に対する家庭教師の影響を特定するために、生徒のペアを家庭教師にランダムに割り当てます。 この方法論を使用すると、研究者は家庭教師のランキングがプログラムの効果の大きさを予測するかどうかを研究できます。 研究チームは、このプログラムでは、埋める必要がある講師枠の数に応じて、ランキング順に講師を雇用すると想定しているため、この分析により、規模と効果の関係が明らかになります。

特定のランクの家庭教師に割り当てられた影響（つまり、研究質問 #2 の ITT 推定値）を分析するために、研究者は、家庭教師のランクに関する学業成果を回帰する回帰モデルを実行します。 私たちが注目する主な結果は、数学の標準テストのスコアです。 私たちの主な分析では、講師のランクの一次関数として結果をモデル化します。 二次的な探索的分析として、次の 1 つ抜きの相互検証演習を使用して、結果と講師のランクの間の関係の形状を推定します。

1. 家庭教師のランクごとに個別の固定効果の完全なセットに対して結果 (主に数学の標準テストのスコア) の生徒レベルで回帰を実行することにより、関係をノンパラメトリックに推定します。 r 番目にランク付けされた家庭教師の固定効果の係数を γ ̂_r と呼びます。
2. ランク r=1,…,R の場合: 生徒レベルのデータを使用して、ランク r の講師に割り当てられた生徒を保持した次数 p=0, 1, 2, …, 10 の多項式として結果と講師のランクとの関係を推定します。サンプルの。 多項式項の係数を使用して γ ̂_r を予測し、それを f ̂_p (r) と呼びます。 各多項式の二乗誤差を保存します: (f ̂_p (r)-γ ̂_r )^2。
3. ∑_(r=1)^R(f ̂_p (r)-γ ̂_r )^2 を最小化する多項式 p を選択します。
4. 選択した次数の多項式を使用して、結果とランクの間の推定関係をレポートします。

講師のランクの関数に加えて、各回帰には、生徒のペアが講師にどのようにランダムに割り当てられたかを捕捉するブロック固定効果が含まれます。 ブロックには、共有された特別な制限がある教室内の生徒グループが含まれます（例: 制限がない、スペイン語を話す家庭教師が必要、または高度な数学コースの資格を持つ家庭教師が必要）。 モデル内の他の共変量は、上記の研究課題 #1 の ITT および TOT 分析に含まれるものと同じであり、プログラムを 3.5 倍の規模で実施した場合の効果を測定します。現在管理中。

学生がさまざまな理由で講師を変更するため、研究者は、特定のランクの講師に割り当てられて実際に授業を行うことの影響を調べるために TOT 推定値を計算する必要もあります。 そのために、研究者は、ランダムに割り当てられた講師のランクを加重平均講師ランクの手段として使用します。各講師のランクにかかる重みは、生徒がその講師と過ごした時間 (日数で測定) の割合に等しくなります。 。 調査員は毎日の出席データを使用してこの加重平均を作成します。 この方法は、研究者が、よりランクの高い講師と協力するということは、生徒が実際により質の高い指導を受けられることを意味するのか、それとも講師のランクと実際の質との間にさらなる関係が存在するのかを理解するのに役立ちます。

分析には観察された結果のみを使用します。 サンプルの 5% 以上で結果が欠如している場合は、結果が観察されたかどうかに関する治療効果も報告します。 ベースライン共変量が欠損している場合、欠損値をゼロで代入し、追加のベースライン コントロールとして欠損の指標を含めます。