Расширение охвата многообещающих программ предотвращения отсева: изучение компромиссов между масштабом и эффективностью

Исследовательские группы Лаборатории образования Чикагского университета и Лаборатории криминалистики Нью-Йорка проводят рандомизированное контролируемое исследование в течение 2016-17 и 2017-18 учебных лет, чтобы развить предыдущее сотрудничество с Чикагскими государственными школами (CPS), Департаментом города Нью-Йорка. of Education и SAGA Innovations, которые обнаружили, что интенсивное индивидуальное обучение SAGA в течение учебного дня может привести к значительному улучшению академических результатов за короткий период времени даже среди учащихся, которые на много лет отстают от своего уровня в классе. Это исследование предполагает перспективность этого подхода для улучшения академических навыков и уровня образования молодежи из неблагополучных семей, даже когда они достигают подросткового возраста. Однако, чтобы действительно повлиять на результаты на местном и национальном уровне, SAGA должна быть развернута в гораздо большем масштабе, чем исследователи смогли изучить в Чикаго. Тем не менее, мало что известно о том, как масштабировать многообещающие вмешательства. Это исследование направлено на построение науки о масштабировании путем изучения степени, в которой эта индивидуализированная программа обучения может быть реализована в еще большем масштабе, и путем явного изучения компромиссов между эффективностью и масштабом.

Программа SAGA Innovations расширяет признанную на национальном уровне инновацию высокодозированного репетиторства в течение дня, разработанную в чартерной школе Match Education в Бостоне. Программа репетиторства проводится в виде запланированного курса Math Lab один раз в день в течение обычного учебного дня и проводится в дополнение к обычному математическому классу учащегося. Студенты работают два на один (два студента с одним репетитором) с одним и тем же штатным профессиональным репетитором в течение всего учебного года. Содержание репетиторских занятий согласуется с тем, что учащиеся изучают на своих обычных математических курсах, но также направлено на устранение индивидуальных пробелов в математических знаниях. Также следуя оригинальной модели, разработанной Match Education, преподаватели SAGA часто используют внутреннюю формирующую оценку успеваемости учащихся для индивидуализации обучения.

Предыдущее рандомизированное контролируемое исследование, проведенное исследовательской группой Чикагского университета, показало, что один год этого вмешательства, проведенного в 2013–2014 годах в государственных школах Чикаго, дал от одного до двух дополнительных лет академического роста в области математики сверх того, что было запланировано. обычный американский старшеклассник учится за один год (Cook et al., 2015; Reardon, 2011). Предполагаемое влияние на успеваемость по математике составляет от 0,19 до 0,30 стандартных отклонений, в зависимости от используемого точного теста и нормирования. Вмешательство также улучшило оценки учащихся по математике на 0,58 балла по шкале от 1 до 4 баллов по сравнению со средним значением в контрольной группе 1,77. Эти успехи особенно важны из-за растущего количества доказательств важности математики именно для краткосрочной и среднесрочной успеваемости в школе, а также для долгосрочных жизненных результатов, таких как занятость и заработок (Duncan et al., 2007).

Это исследование направлено на то, чтобы основываться на предыдущих оценках программы, проведенных исследователями, и дать представление о способности этой программы служить молодежи в гораздо более широком масштабе. В частности, это исследование направлено на то, чтобы ответить на следующие исследовательские вопросы:

1. Каков эффект от реализации основанной на фактических данных индивидуальной программы обучения в более широком масштабе?
2. Какова связь между эффектом программы и масштабом ее реализации?

Места внедрения делятся на две группы: места в Чикаго, где учащиеся рандомизируются для получения репетиторства (здесь и далее именуемые школами «расширения»), и места в Чикаго и Нью-Йорке, где директора имеют преимущественное право выбирать, какие учащиеся будут получать обучение. репетиторство (далее именуемые «возвратными школами»).

Чтобы изучить исследовательский вопрос № 1, исследователи воспользуются преимуществами случайной выборки для изучения расширения этой программы без фактической необходимости реализовывать программу в гораздо большем масштабе. Первый исследовательский вопрос направлен на измерение среднего качества расширенной программы в Чикаго, в которой исследователи будут использовать данные из расширенных школ. Учащиеся как растущих, так и возвращающихся школ случайным образом назначаются репетиторам. Тем не менее, учащиеся в школах с увеличением масштаба имеют две дополнительные рандомизации: (1) рандомизация претендентов на роль наставника и (2) рандомизация назначения лечения. Что касается первой функции, исследовательская группа набирает преподавателей SAGA, как если бы они реализовывали больше, чем предполагалось, в школах с масштабированием. Затем следователи случайным образом выбирают одного из трех с половиной претендентов на должность репетитора, чтобы продолжить стандартный процесс найма SAGA, и должности в школах с расширением масштаба заполняются только этими случайно выбранными репетиторами. Поскольку учащиеся случайным образом назначаются для лечения в этих расширяющихся школах, исследователи смогут измерить эффект программы примерно в три с половиной раза по сравнению с масштабом, в котором программа реализуется в этих школах.

Чтобы измерить эффект лечения для вопроса исследования № 1, исследовательская группа оценит как намерение лечить (ITT), так и воздействие лечения на лечение (TOT). Исследователи оценивают эффект ITT следующим образом:

Y=B0 + B1T + B2X + E

где Y — интересующий результат, T — учащиеся, которым случайным образом назначается возможность участвовать в программе репетиторства, X — набор базовых элементов управления (в частности, включает блок рандомизации, пол, возраст, неспособность к обучению, бесплатность/ пониженный обеденный статус, гонка, базовый уровень успеваемости, средний балл, количество оценок As/Bs/Cs/Ds/Fs в предыдущем году, результаты стандартных тестов по математике и чтению за предыдущий год, дни отсутствия в школе, дисциплинарные инциденты, включая отстранения и аресты и двоичный флаг для учащихся с отсутствующими средними баллами и данными о посещаемости), E — случайный член ошибки, а B0, B1, B2 — параметры, подлежащие оценке. Случайное присвоение T гарантирует, что при стандартных предположениях оценка методом наименьших квадратов (OLS) дает объективную оценку ITT как оценку B1 или эффект предложения участия в программе обучения SAGA. Поскольку все учащиеся, которые были рандомизированы для участия в программе, работали в паре с преподавателями, которые были рандомизированы с помощью процесса, описанного выше, наш эффект ITT (а затем и TOT) будет специально измерять эффект программы при введении в три с половиной раза. масштаб, как он в настоящее время администрируется.

ITT измеряет эффект от возможности участия. Поскольку студенты, назначенные на лечение, не обязаны участвовать в программе, ITT может не измерять эффект от участия. Исследовательская группа будет измерять эффект участия, используя случайное назначение T в качестве инструмента для участия. Если все участники были выбраны случайным образом (т. е. если нет контрольных студентов, которым разрешено участвовать в программе репетиторства), этот метод рассчитывает эффект лечения на леченных (ТОТ) или эффект участия для группы студентов, которые выбрать участие.

Чтобы получить представление об исследовательском вопросе № 2 выше, который направлен на определение взаимосвязи между масштабом программы и эффектами, преподаватели на всех сайтах ранжируются руководством SAGA на основе ожидаемого относительного качества. Затем исследовательская группа случайным образом распределит пары студентов по репетиторам, чтобы определить влияние репетитора на результаты учащихся. Используя эту методологию, исследователи могут изучить, предсказывает ли рейтинг репетитора размер эффектов программы. Поскольку исследовательская группа предполагает, что программа будет нанимать репетиторов в порядке их рейтинга в зависимости от количества вакансий репетиторов, которые им необходимо заполнить, этот анализ прольет свет на взаимосвязь между масштабом и эффективностью.

Чтобы проанализировать влияние назначения наставника с определенным рейтингом (т. е. оценка ITT исследовательского вопроса № 2), исследователи будут запускать регрессионные модели, которые регрессируют академические результаты в зависимости от ранга наставника. Нас больше всего интересуют результаты стандартизированных тестов по математике. Наш первичный анализ будет моделировать результаты как линейную функцию ранга наставника. В качестве вторичного исследовательского анализа мы оценим форму взаимосвязи между результатами и рейтингом наставника, используя следующее упражнение перекрестной проверки:

1. Оцените взаимосвязь непараметрически, запустив регрессию на уровне ученика результата (первичный: результаты стандартизированного теста по математике) для полного набора отдельных фиксированных эффектов для каждого ранга наставника. Назовите коэффициент фиксированного эффекта наставника r-го ранга γ ̂_r.
2. Для ранга r=1,…,R: Оцените, используя данные уровня ученика, взаимосвязь между результатом и рангом наставника в виде полинома порядка p=0, 1, 2, …, 10, в котором ученики, назначенные наставникам, оцениваются как r вне образца. Используйте коэффициенты полиномиальных членов, чтобы предсказать γ ̂_r, и назовите это f ̂_p (r). Сохраните квадрат ошибки для каждого многочлена: (f ̂_p (r)-γ ̂_r )^2.
3. Выберите многочлен p, который минимизирует ∑_(r=1)^R(f ̂_p (r)-γ ̂_r )^2 .
4. Сообщите предполагаемую взаимосвязь между результатом и рангом, используя выбранный порядок полинома.

В дополнение к функциям ранга репетитора каждая регрессия будет включать фиксированные эффекты блока, которые фиксируют, как пары студентов были случайным образом назначены репетиторам. Блоки включают группы учащихся в классе с общими особыми ограничениями (например, без ограничений, нуждающихся в репетиторе, говорящем по-испански, или нуждающихся в репетиторах, имеющих квалификацию для углубленных курсов математики). Другие ковариаты в модели будут такими же, как те, которые включены в наш анализ ITT и TOT для исследовательского вопроса № 1, отмеченного выше, для измерения эффекта программы при ее применении в масштабе, в три с половиной раза превышающем его. в настоящее время администрируется.

Поскольку учащиеся меняют репетитора по разным причинам, исследователям также необходимо будет рассчитать оценку TOT, чтобы оценить влияние назначения и фактической работы с репетитором определенного рейтинга. Для этого исследователи будут использовать ранг случайно назначенного репетитора в качестве инструмента для средневзвешенного ранга репетитора, где вес каждого ранга репетитора равен доле времени (измеряемому в днях), которое студент провел с этим репетитором. . Следователи будут использовать данные о ежедневной посещаемости для создания этого средневзвешенного значения. Этот метод поможет исследователям понять, означает ли работа с наставником с более высоким рейтингом, что студент действительно получает более качественное обучение, или существует дополнительная связь между рангом наставника и фактическим качеством.

Мы будем использовать только наблюдаемые результаты для анализа. Если результат отсутствует более чем в 5 процентах выборки, мы также сообщим о влиянии лечения на то, наблюдается ли результат. Когда базовые ковариаты отсутствуют, мы заменяем отсутствующие значения нулем и включаем индикатор отсутствия в качестве дополнительного базового контроля.