增加有前途的辍学预防计划的范围：检查规模和有效性之间的权衡

芝加哥大学教育实验室和纽约犯罪实验室研究团队正在 2016-17 学年和 2017-18 学年开展一项随机对照试验，以巩固之前与芝加哥公立学校 (CPS)、纽约市教育局的合作教育部和 SAGA Innovations 发现 SAGA 的强化、个性化的在校期间辅导可以在短时间内产生非常大的学业成果，即使是在落后年级水平多年的学生中也是如此。 这项研究表明，这种方法有望提高弱势青年的学术技能和教育程度，即使他们已经进入青春期。 然而，要真正影响地方和国家层面的结果，SAGA 的推广规模必须比研究人员在芝加哥能够研究的规模大得多。 然而，对于如何将有希望的干预措施扩大规模知之甚少。 本研究旨在通过检验这种个性化辅导计划可以在更大范围内实施的程度，并通过明确探索有效性和规模之间的权衡，来建立扩大规模的科学。

SAGA Innovations 计划扩展了波士顿 Match Education 特许学校开发的全国公认的高剂量、在校日间辅导创新。 辅导计划作为预定课程，数学实验室，在正常上课日每天一次，除了学生的常规数学课外还提供。 在整个学年中，学生与同一位全职专业导师进行二对一（两名学生和一名导师）的学习。 辅导课程的内容与学生在常规数学课程中学习的内容保持一致，但也旨在解决数学知识方面的个人差距。 同样遵循 Match Education 开发的原始模型，SAGA 导师使用频繁的学生进步内部形成性评估来个性化教学。

芝加哥大学研究小组之前进行的一项随机对照试验发现，在 2013-14 学年在芝加哥公立学校实施的这种干预措施的一年，在数学方面产生了额外一到两年的学业增长，超过了普通美国高中生在一年内学习（Cook 等人，2015 年；Reardon，2011 年）。 对数学成绩的估计影响大约为 0.19 到 0.30 标准差，具体取决于所使用的确切测试和规范。 与 1.77 的控制平均值相比，该干预措施还使学生的数学成绩在 1-4 分制上提高了 0.58 分。 这些收获尤为重要，因为越来越多的证据表明数学对于短期和中期的学业成功以及就业和收入等长期生活成果的重要性（Duncan 等人，2007 年）。

这项研究旨在建立在调查人员之前对该计划的评估的基础上，并将深入了解该计划在更大范围内为青年服务的能力。 具体而言，本研究旨在回答以下研究问题：

1. 大规模实施循证个性化辅导计划的效果如何？
2. 项目效果与项目实施规模有何关系？

实施地点分为两组：芝加哥的地点，学生随机接受辅导（在此称为“扩大”学校），以及芝加哥和纽约市的地点，校长可以自行决定选择哪些学生接受辅导家教（以下简称“返校”）。

为了研究研究问题 #1，研究人员将利用随机抽样的力量来研究该计划的扩大规模，而无需实际实施更大规模的计划。 第一个研究问题旨在衡量芝加哥扩大计划的平均质量，其中研究人员将利用扩大学校的数据。 扩大规模和返回学校的学生都被随机分配给导师。 但是，扩大学校的学生有两个额外的随机化——(1) 导师申请人随机化和 (2) 治疗分配随机化。 对于第一个特征，研究团队正在让 SAGA 过度招募导师，就好像他们在扩大学校中以比预期规模更大的规模实施。 然后调查人员随机选择三分之一半的导师申请人继续通过 SAGA 的标准招聘流程，扩大学校的职位仅由这些随机选择的导师填补。 由于学生被随机分配到这些规模扩大的学校接受治疗，调查人员将能够衡量这些学校实施该计划规模的三倍半左右的计划效果。

为了衡量研究问题 #1 的治疗效果，研究团队将估计治疗意向 (ITT) 和治疗对治疗 (TOT) 的影响。 研究人员将ITT效应估算如下：

Y=B0 + B1T + B2X + E

其中 Y 是感兴趣的结果，T 表示被随机分配有机会参加辅导计划的学生，X 是一组基线控制（具体包括随机分组、性别、年龄、学习障碍、免费/午餐状况下降、种族、基准年级水平、GPA、上一年的 As/Bs/Cs/Ds/Fs 数量、上一年的数学和阅读标准化考试成绩、缺勤天数、包括停学和逮捕在内的纪律事件, 以及缺少 GPA 和出勤数据的学生的二进制标志), E 是随机误差项, B0, B1, B2 是要估计的参数。 T 的随机分配确保在标准假设下，普通最小二乘法 (OLS) 估计产生 ITT 的无偏估计作为 B1 的估计，或被提供参与 SAGA 辅导计划的影响。 由于所有被随机分配到该计划的学生都与通过上述过程随机分配的导师配对，我们的 ITT（以及随后的 TOT）效应将专门衡量该计划在三次半时管理的效果目前正在管理的规模。

ITT 衡量提供参与机会的效果。 由于分配给治疗的学生不需要参加该计划，因此 ITT 可能无法衡量参与的效果。 研究团队将使用 T 的随机分配作为参与的工具来衡量参与的效果。 如果所有参与者都是随机选择的（即，如果没有被允许参加辅导计划的对照学生），则此方法计算治疗对被治疗者（TOT）的影响，或参加的学生组的影响选择参加。

为了深入了解上述研究问题 #2，即寻求确定项目规模与效果之间的关系，SAGA 领导层根据相对预期质量对所有地点的导师进行排名。 然后，研究团队将随机分配一对学生给导师，以确定导师对学生成绩的影响。 使用这种方法，研究人员可以研究导师排名是否可以预测项目效果的大小。 由于研究团队假设该计划将根据他们需要填补的导师职位数量，按照排名顺序聘请导师，因此该分析将阐明规模与有效性之间的关系。

为了分析被分配给特定排名的导师的影响（即 ITT 对研究问题 #2 的估计），研究人员将运行回归模型，使学术成果对导师排名进行回归。 我们感兴趣的主要结果是数学标准化考试成绩。 我们的主要分析将把结果建模为导师等级的线性函数。 作为二次探索性分析，我们将使用以下留一法交叉验证练习来估计结果与导师排名之间关系的形状：

1. 通过在学生级别的结果（主要：数学标准化考试成绩）上对每个导师等级的全套独立固定效应进行回归，以非参数方式估计关系。 调用排名第 r 位导师的固定效应的系数，γ ̂_r。
2. 对于排名 r=1,...,R：使用学生级别的数据估计结果与导师排名之间的关系，作为阶数 p=0, 1, 2, …, 10 的多项式保持分配给排名 r 的导师的学生样品的。 使用多项式项的系数来预测 γ ̂_r，并将其称为 f ̂_p (r)。 保存每个多项式的平方误差：(f ̂_p (r)-γ ̂_r )^2。
3. 选择最小化 ∑_(r=1)^R(f ̂_p (r)-γ ̂_r )^2 的多项式 p。
4. 使用选定的多项式阶数报告结果和排名之间的估计关系。

除了导师等级的功能之外，每个回归都将包括块固定效应，以捕获如何将学生对随机分配给导师。 这些块包括教室中具有共同特殊限制的学生群体（例如 没有限制，需要讲西班牙语的导师，或需要有资格参加高等数学课程的导师）。 模型中的其他协变量将与我们针对研究问题 #1 的 ITT 和 TOT 分析中包含的协变量相同，如上所述，以衡量项目在按原样的三倍半规模实施时的效果目前正在管理。

当学生出于各种原因更换导师时，研究人员还需要计算 TOT 估计值，以了解被分配给特定排名的导师并与其实际合作的影响。 为此，调查人员将使用随机分配的导师的排名作为加权平均导师排名的工具，其中每个导师排名的权重等于学生与该导师一起度过的时间比例（以天为单位） . 调查人员将使用每日出勤数据来创建此加权平均值。 这种方法将帮助调查人员了解与排名较高的导师合作是否意味着学生实际上得到了质量更好的指导，或者导师排名与实际质量之间是否存在额外关系。

我们将仅使用观察到的结果进行分析。 如果超过 5% 的样本缺少结果，我们还将报告是否观察到结果的治疗效果。 当基线协变量缺失时，我们会将缺失值归为零，并包括一个缺失指标作为额外的基线控制。