Рандомизированное испытание программы позитивных действий в школах Чикаго и продление до 8 класса

Этот проект является одним из семи пробных программ на нескольких объектах, которые были реализованы на национальном уровне. Университет штата Орегон (OSU) и Университет штата Иллинойс в Чикаго (UIC) проводят рандомизированное исследование на базе школ для оценки эффективности программы «Позитивное действие» (PA), чтобы выяснить, как работает программа, чтобы определить эффективность программы «Позитив». Программа действий по сокращению негативного поведения (включая поведение, связанное со здоровьем), увеличению позитивного поведения и улучшению успеваемости учащихся начальной школы. Программа «Позитивное действие» была разработана для содействия социальному развитию и развитию характера (уважение, ответственность, альтруизм, гражданская добродетель, просоциальное поведение) таким образом, чтобы уменьшить антиобщественное поведение (насилие, употребление психоактивных веществ, правонарушения) и улучшить успеваемость в школе (посещаемость, результаты тестов). ). Четырнадцать подходящих школ, отобранных зимой 2004 г., состоят из 7 подобранных пар (лечебная и контрольная); школы были сопоставлены по «оценке риска», состоящей из нескольких школьных характеристик. Учащиеся 3-х классов в 2004/05 учебном году, их родители, учителя и директора школ были опрошены на исходном уровне (осень 2004 г.), весной и осенью 2005 г., весной 2006 г. и весной 2007 г. Оценка основана на нескольких типах процесса, переменных-посредниках и данных о результатах из школьных документов (посещаемость, быстрота прохождения, оценки, результаты тестов, дисциплинарные меры и отстранения, а также изменения в характеристиках школьного и студенческого населения), личных данных учащихся, опросов учащихся, опросов родителей. , рейтинги учителей и опросы, а также опросы администраторов, собранные в школах в обоих случаях (за исключением информации о реализации программы Positive Action). Работа, проводимая в OSU, ограничивается общим контролем доктора Флэя за всеми аспектами проекта и анализом данных с использованием обезличенных данных, полученных от доктора Дюбуа из UIC, и написанием исследовательской работы. Работа, проводимая в UIC под руководством доктора Дэвида Дюбуа, включает в себя всю работу по вмешательству, сбор данных, ввод данных, а также некоторый анализ данных и написание отчетов. Министерство образования США / IES наняло национального подрядчика Mathematica Policy Research, Inc. (MPR) для проведения основных исследований на всех площадках многоцентрового испытания до весны 2007 года. Кроме того, OSU/UIC проводит опрос учащихся на конкретных объектах, который дополняет многосайтовые опросы во время всех этапов сбора данных. Поскольку финансирование проекта последовало за переходом доктора Флея из UIC в OSU в сентябре 2005 г., OSU IRB предоставляет обзор всего проекта. По состоянию на апрель 2008 г. новое финансирование позволяет продолжить исследование до марта 2012 г. и следить за целевой группой учащихся до конца 8-го класса, поскольку они, их учителя и директора опрашиваются осенью 2008 г., весной 2009 г. и снова вместе с их родителями весной. 2010. Сбор данных для продолжения исследования также включает сбор данных о росте и весе детей и данные об оценке учащихся и учителей. Никакого участия MPR не будет. Сбор данных был завершен в июне 2010 г.

Уровень согласия и мобильность:

Согласие родителей было получено до того, как учащиеся, родители или учителя завершили опросы, когда учащиеся были в 3-м классе. Семьдесят девять процентов родителей дали согласие на исходном уровне. Студенты, присоединившиеся к исследованию на более поздних волнах, получили согласие в то время; уровень согласия для них варьировался от 65% до 78% для волн 2-5. Все учащиеся получили повторное согласие на второй этап финансирования на волне 6 (начало 7 класса); уровень согласия был ниже в волнах с 6 по 8 (от ≈ 58 до 64%). Это согласуется с предыдущими исследованиями, которые показали, что уровень согласия снижается по мере повышения уровня успеваемости. Доля согласившихся родителей, которые предоставили отчеты о своих детях, составила 72,3%, 58,9%, 52,2%, 50,5% и 72,9% на волнах 1, 2, 4, 5 и 8 соответственно. Двумя факторами, которые, вероятно, увеличили количество ответов родителей в 8-й волне, были (1) увеличение финансового стимула для заполнения родительского отчета и (2) интенсивный период телефонного общения с семьями, чтобы отметить увеличение стимула и поощрить заполнение опроса. Процент согласных учащихся, для которых учителя завершили оценку, составил 74,6%, 74,8%, 72,4%, 78,3%, 74,4% и 92,7% для волн 1, 2, 4, 5, 7 и 8 соответственно. На 8-й волне мы ввели дополнительное поощрение на уровне школы за 100%-ное прохождение опроса учителей, что, вероятно, привело к увеличению полных рейтингов учителей. Модели мобильности были определены с использованием результатов анализа латентных классов, в котором было обнаружено, что 5-классовое решение является наиболее подходящим для данных: 1) постоянные участники (средняя продолжительность исследования 5,72 года, N = 158), 2) временные участники. (1,30 года, только в 4 или 5 классах; N=196); 3) опоздавшие (1,38 года; N=308); 4) рано бросающие (0,94 года; N=263) и 5) поздно бросающие (3,23 года; N=287).

Запланированные статистические анализы:

Поскольку испытание было сфокусировано на кластерах, мы оценивали учащихся, поступивших в школы после начала испытания (присоединившиеся), но не отслеживали отдельных учащихся, которые прекратили посещать учебные школы (выпускники). С точки зрения студентов, во времени их можно считать «динамичными» (т.е. меняется) когорта классов. Многоуровневые модели будут использоваться для учета различий на уровне школы и учащихся. Недостающие данные будут рассмотрены с использованием предположения о случайных пропажах (MAR), поскольку маловероятно, что одна неизмеренная переменная или набор переменных предскажут отсутствующие данные для всех учащихся, покинувших или присоединившихся к экспериментальным школам после рандомизации. Мы предлагаем три- уровень (случаи измерения, вложенные в учащихся, вложенных в школы) модель кривой роста для анализа воздействия лечения на различные результаты на уровне учащихся. Эти модели будут учитывать все наблюдения и моделировать школьные различия. Этот подход позволяет провести полный анализ нескольких волн доступных данных и учитывать закономерности изменений во времени. Сначала будут оценены модели кривых роста со случайным пересечением. Следуя модели случайного перехвата, будет запущена модель со случайным коэффициентом, чтобы проверить, есть ли значительные различия в изменениях учащихся во времени, а не все учащиеся в каждом состоянии имеют одинаковую схему изменений. Тест отношения правдоподобия хи-квадрат (LR) будет использоваться для сравнения соответствия модели со случайным коэффициентом и без него. Если модель со случайным временным коэффициентом обеспечивает значительно лучшее соответствие заданному результату, она будет указана как окончательная модель. Эффекты вмешательства на шкалах, собранных только на более поздних волнах (волны 5 или 6 и далее), будут тестироваться с точкой пересечения, установленной в конечной точке (волна 8), с условием, указывающим на возможную разницу в эффектах на последней волне (волна 8).

Поскольку в этом испытании участвуют только 14 школ, а эффект PA проверяется на школьном уровне в кластерно-рандомизированном испытании, мы проведем несколько анализов чувствительности. Во-первых, мы оценим статистическую значимость оценки коэффициента PA и его стандартной ошибки, используя t-распределение с 12 степенями свободы: 14 школ - 1 (эффект условия) - 1 = 12 df, обеспечивающий более консервативный подход. Вторым подходом будет парный анализ, оцениваемый как четырехуровневая модель: случаи измерения, вложенные в учащихся, вложенные в школы, вложенные в подобранные пары.

В дополнение к данным опроса на уровне учащихся будут проанализированы несколько архивных показателей на уровне школ. Поскольку эти данные находятся на уровне школы, модели кривой роста будут двухуровневыми (наблюдения внутри школ), а не трехуровневыми. Из-за небольшого количества данных (количество школ, умноженное на количество волн) и связанных с этим ограничений мощности в этих анализах будет использоваться только модель случайного перехвата.

Мы проверим модерацию по полу и по студенческой мобильности. Тесты модерации покажут, на кого действует программа; то есть эти тесты позволят нам оценить, различаются ли эффекты программы в зависимости от пола или мобильности ребенка. Мы не будем тестировать модерацию по этнической принадлежности, потому что она сильно перепутана со школой: в 3 парах школ обучаются преимущественно афроамериканцы, а в 2 парах школ обучаются преимущественно латиноамериканцы.

В то время как все 14 школ были сохранены на протяжении всего CRCT, контингент учащихся в этом испытании был очень мобильным. Таким образом, важно проверить потенциальные сдерживающие эффекты моделей студенческой мобильности. Недавний подход к анализу моделей мобильности — это анализ латентных классов (LCA). Описанные выше паттерны мобильности затем можно протестировать в качестве модератора программных эффектов; то есть изучение того, имеют ли учащиеся с разными моделями мобильности разные эффекты программы.

Анализ посредничества позволит нам изучить механизмы действия программы PA. Сначала мы оценим двумерное влияние X на Y без включенного в модель посредника. Затем мы одновременно оценим прямое влияние X на Y с включенным в модель посредником, а также опосредованное влияние, которое состоит из влияния X на M × M на Y.