Кластерное рандомизированное контрольное испытание игры PAX Good Behavior в шведских начальных школах

Дизайн

Будет проведено кластерное рандомизированное контролируемое исследование, в котором будет рандомизировано примерно 28 школ (кластеров) с общим числом учителей/классов 84, либо получающих обучение и контроль в рамках PAX ​​GBG, либо получающих такое же количество обучения и контроля для реализации одного из контрольных вмешательств.

Учителя в обеих группах будут внедрять и использовать вмешательство, к которому они были рандомизированы в течение первого года, а затем начнут применять другое вмешательство, продолжая использовать первое. Когда базовая мера проводится в конце 2-го класса, а первоначальное вмешательство проводится для учащихся в 3-м классе, учащиеся в этих классах получат только одно вмешательство, поскольку они переходят в среднюю школу, где ни один из методов не используется. Вместо этого учитель начнет заново с новыми учениками 1-го класса и применит к ним оба метода. Таким образом, подгруппа учеников, получившая только одно вмешательство, сохранит рандомизированный контролируемый план также и для долгосрочного наблюдения.

Процедура

В идеале половина классов будет зачислена для начала вмешательства/контроля в весеннем семестре, а половина – в осеннем семестре. Цель этого состоит в том, чтобы контролировать случайное влияние момента времени в течение учебного года и календарного года, когда вводится вмешательство.

Будут использоваться заслуживающие доверия контрольные вмешательства, требующие такого же объема обучения и контроля, для контроля неспецифических эффектов внедрения нового метода. Это также позволяет продвигать исследование среди школ и учителей как способ внедрения и сравнения нескольких полезных методов, хотя и для разных целей, что помогает избежать слишком высоких ожиданий или эффектов плацебо для PAX и свести к минимуму возможное разочарование и связанные с ними эффекты ноцебо. к необходимости ждать один год, прежде чем начать с PAX. У школы будет возможность выбрать одно из двух контрольных вмешательств — математическое приложение, «Рассчитывай на меня!» или Коллегиальное учебное сообщество. Это служит двум целям; (1) возможность выбора еще больше снизит риск ноцебо или неудовлетворенности, если не будет рандомизирована в PAX, и (2) это позволит большему количеству школ участвовать, если одно из контрольных вмешательств будет сочтено непрактичным для реализации. Поскольку ни одно из контрольных вмешательств не считается имеющим такие же специфические эффекты, как PAX, по крайней мере, не в той же степени, они оба будут действовать в качестве контроля неспецифических эффектов.

В течение двух лет в отношении учеников, учителей и класса будет применяться в общей сложности семь показателей, при этом исходный уровень (измерение 0) будет в конце семестра до начала реализации (семестр 0), а первичная конечная точка (измерение 4) ) через год. Чтобы уменьшить нагрузку на учителей и учеников, полный набор показателей результатов будет проводиться только в двух случаях (измерение 0 и измерение 4), а в остальных случаях для учеников и учителей будет использоваться сокращенный набор показателей (для показателей на уровне класса, всегда будет применяться полный набор мер). Сокращенный набор показателей самооценки для учителей будет включать стресс, связанный с работой (основной результат), управление классом, общий стресс, проблемы со сном, работоспособность и наблюдаемые отрицательные/положительные эффекты применяемого метода. Для школьников сокращенный набор будет содержать вопросы о самочувствии (первичное измерение). Учителя также будут измерять самочувствие каждого ученика в каждой точке измерения.

Следующие временные рамки будут применяться к точкам измерения:

Измерение 0 (M0) — семестр перед первым семестром внедрения, 4-недельное административное окно, заканчивающееся за две недели до конца семестра.

Измерение 1 (M1) — первый семестр внедрения, 6-недельное окно администрирования, начинающееся через две недели после начала семестра (и предпочтительно через две недели после завершения интервенционного обучения).

Измерение 2 (M2) — первый семестр внедрения, 4-недельное административное окно, заканчивающееся за две недели до конца семестра).

Измерение 3 (M3) — второй семестр реализации, 4-недельное административное окно, начинающееся через две недели после начала семестра).

Измерение 4 (M4) — первичная конечная точка, второй семестр внедрения, 4-недельное административное окно, заканчивающееся за две недели до конца семестра.

Измерение 5 (M5) — третий семестр реализации, 4-недельное административное окно, заканчивающееся за две недели до конца семестра.

Измерение 6 (M6) — четвертый семестр реализации, 4-недельное административное окно, заканчивающееся за две недели до конца семестра.

Участники и набор

Школы, учителя, классы и другой школьный персонал

Кластерная рандомизация будет проводиться на уровне школы и, в свою очередь, определит, какие учителя и ученики будут включены. Школы будут набираться через установленную сеть инструкторов PAX GBG в Швеции, а исследовательские группы и другие связи со школьными сетями, и набор будет осуществляться по всей стране. Школы будут набраны как минимум из двух разных регионов и как минимум из четырех разных муниципалитетов (коммун), чтобы повысить обобщаемость результатов. Всего будет включено около 28 школ, в зависимости от количества классов, участвующих в каждой школе.

Всего в проект будет включено 84 класса с ожидаемым количеством учителей до 100 (поскольку в некоторых классах работает более одного учителя).

Другой школьный персонал набирается только для участия в качественной оценке ожиданий и опыта вмешательств. Их выбор будет прагматичным и теоретически приведет к насыщению качественными данными с максимум четырьмя дополнительными сотрудниками из каждой школы.

Ученики и их участие в интервенциях и сборе данных

Всего будет задействовано 2200 учеников, примерно по 26 учеников в каждом классе. Все ученики в классе, связанном с включенными учителями/классами, будут участвовать во вмешательстве, поскольку все они реализованы в обычной работе/обучении в школе и ориентированы на то, как учителя преподают и управляют классом и классом, и невозможно исключить конкретных учеников из. Однако учащиеся могут быть включены в сбор данных тремя различными способами:

• Данные от учеников к родителям/опекунам, подписавшим информированное согласие, будут иметь данные из их самооценки, из оценок учителей и из реестров, связанных с идентификационным номером, который, в свою очередь, может быть связан с их номером социального страхования. (номер лица).
• Данные об учениках, родители которых не заполнили согласие, по-прежнему будут собираться, но без какого-либо идентификационного номера или другого идентификатора, что делает невозможным их привязку к конкретному ученику и, следовательно, делает данные анонимными. С этими данными связаны только вмешательства, для которых ученик был рандомизирован, и в какой момент времени были собраны данные.
• Родители/опекуны и сам ученик будут проинформированы о том, что ученикам не нужно заполнять самооценки, если они сообщат о своем желании учителю или исследователям. Учащиеся будут проинформированы об этом перед каждой самооценкой.

Рандомизация

Чтобы гарантировать, что социально-экономический статус (СЭС) школ не слишком сильно различается, каждая школа будет классифицироваться как имеющая низкий, средний или высокий СЭС, а затем, когда в когорте будет достаточно школ, будет последовательно рандомизирована в соответствии с одним из три соответствующих блочно-рандомизированных списка с размерами блоков, случайным образом варьирующимися между 2, 4 и 6. Рандомизацией будет заниматься независимая третья сторона, Karolinska Trial Alliance, чтобы гарантировать, что исследователи не смогут оценить списки или иным образом предсказать результаты рандомизации.

Вмешательства

Процедура реализации будет одинаковой для каждого вмешательства с небольшими корректировками, чтобы соответствовать конкретным потребностям каждого метода. Каждый начинается с краткой первоначальной письменной информации о вмешательстве, после чего следует один-два дня обучения/обучения учителей. Затем следует регулярный личный надзор или по видео/телефонной связи в зависимости от практических аспектов и возможных ограничений из-за пандемии Covid-19. Супервизия всегда включает некоторую форму наблюдения и контроля за использованием метода супервизором в качестве источника для дальнейшего информирования супервизора. Всего запланировано шесть супервизионных сессий: 4 сессии в течение первого семестра внедрения (проводятся в течение 1-4 четверти семестра соответственно, начиная с 2 индивидуальных сессий, затем 1 групповая сессия, а затем 1 индивидуальная сессия) и 2 сессии во втором семестре внедрения (проводится в течение 1-й и 2-й половины семестра соответственно, 1 групповое занятие, затем 1 индивидуальное занятие). Учителя во всех группах также смогут получать более короткие сеансы супервизии по запросу или дополнительные сеансы супервизии, инициированные супервизором, если это будет сочтено необходимым.

Игра хорошего поведения PAX

Программа PAX Good Behavior Game (GBG) основана на предшествующей программе Good Behavior Game (GBG), которая учит учителей использовать принципы социального обучения, чтобы максимизировать ориентированное на задачу и просоциальное поведение детей и свести к минимуму возникновение разрушительных и нестандартных ситуаций. поведения задачи. PAX GBG упакован в десять специальных инструментов, которые учителя обучены использовать в своей практике управления классом. Программа вводит вербальные и визуальные сигналы, которые способствуют просоциальному и внимательному поведению. Одним из основных элементов программы является игра PAX, означающая, что дети, сосредотачиваясь на обычных школьных задачах, таких как математика, могут играть в игру в командах, где каждый Команда старается совершить как можно меньше нарушений правил в классе за определенный период времени. Команды, которым удается достичь заранее определенных целей, получают вознаграждение (часто это веселое и желательное занятие), которое служит подкреплением просоциального и ориентированного на выполнение задач поведения.

Супервизия проводится индивидуально с каждым преподавателем (4 занятия) и в группе (2 занятия) и включает в себя то, что PAX-тренер наблюдает за лекцией, прочитанной учителем перед каждым супервизионным занятием.

Рассчитывай на меня! (Условие управления)

Рассчитывай на меня! это адаптивное приложение, обучающее беглости сложения и вычитания фактов (например, математических фактов), равенству, составлению и разложению чисел и еще нескольким базовым математическим навыкам, которым обучают в первых классах школы. Рассчитывай на меня! Действие происходит в приключенческой игре, в которой у ребенка есть аватар, который путешествует по разным мирам/платформам, используя свои математические способности. Ребенок начинает в доме аватара, в доме, похожем на окружающую среду, где ребенок обнаруживает волшебную карту, которая переносит его в другой мир под названием Нумерия. Во время приключений в Нумерии ребенок узнает, что у него есть определенные навыки, называемые математическими магическими способностями, которые будут использованы для освобождения Нумерии от злого Принца Когтя, захватившего все прекрасные вещи (например, птиц, которые когда-то пели в лесу). ).

Рассчитывай на меня! был разработан в рамках поведенческой аналитики с использованием процесса нелинейного программирования, первоначально разработанного Тиманном и Марклом, а затем слегка переработанного другими исследователями при создании Headsprout Early Reading и Headsprout Reading Comprehension. Для построения упражнений использовались элементы учебного дизайна от Тиманна и Маркла, явное обучение и модель генеративного обучения Морнингсайда. Математические упражнения содержат по крайней мере одну из трех повторяющихся фаз, используемых во всех тренингах: моделирование, руководство и фазу беглости. Моделирование новых навыков включает в себя анимацию и нарисованные от руки примеры вместе со звуковыми инструкциями и требует частых несвоевременных ответов учащихся. Управляемая практика новых смоделированных навыков помогает учащимся достичь высокого уровня точности без учета времени. Наконец, построение беглости речи направлено на развитие мастерства с навыками под рукой, используя тайминг. Этапы руководства и беглости содержат игровые элементы. Приложение было научно оценено среди шведских учеников начальной школы с низкой успеваемостью, показавших значительное улучшение математических навыков среди детей, использовавших приложение, с наибольшим улучшением среди детей с более низкими когнитивными навыками.

Перед началом внедрения учителя сосредотачиваются на функциональности и содержании приложения, а также на том, как оно соответствует учебному плану по математике для класса, который они преподают. Учебное занятие будет включать в себя методы представления приложения в классе, продвижения вперед и преодоления общих проблем. Учителям будет предложено начать использовать приложение в классе сразу после сеанса обучения. Учителям будет рекомендовано использовать приложение не менее 4 раз в неделю, примерно по 15 минут каждый раз.

Надзор будет проводиться индивидуально и в группах и будет частично основываться на отчетах супервайзеров, контролирующих, сколько и как используется приложение.

Коллегиальное учебное сообщество (контрольное условие)

Muijs и коллеги определили пять циклических шагов для профессионального обучения учителей. Первым шагом является оценка пробелов в навыках или знаниях учащихся с использованием различных источников данных (например, тестирование, оценки, опросы, интервью со студентами). Второй шаг – подумать о том, какие навыки необходимо приобрести учителю, чтобы помочь учащимся достичь поставленных целей. Третий шаг – углубление профессиональных знаний и навыков. Четвертый шаг — вовлечение учащихся в новую практику, а пятый шаг — оценка влияния новой практики на результаты учащихся.

По словам Тимперли и других исследователей, подходящим форматом для такого обучения является коллегиальное учебное сообщество, где учителя получают помощь от своих сверстников на каждом из этих этапов структурированным образом. Например, способ углубления неявных или процедурных знаний (на втором этапе) состоит в том, чтобы посетить коллегу во время урока и понаблюдать за его практикой в ​​классе.

Тимперли указывает на важность наличия профессионального руководителя для поддержания структуры учебного процесса. Одна из распространенных ловушек, которую руководитель помогает учителю избежать, заключается в смещении акцента с профессионального обучения и, вместо этого, на закреплении существующей практики учителя вместо изучения новых навыков.

Коллегиальные учебные сообщества могут сосредоточиться практически на любых навыках учителей. Текущее вмешательство предоставляет материал для сосредоточения внимания на любом из следующих вопросов: 1) формирующая оценка, 2) как сформулировать домашнее задание и выполнить его, чтобы заинтересовать учащихся, 3) как научить знанию фактов, чтобы способствовать более высокому мышлению учащихся. Эти темы выбраны так, чтобы свести к минимуму совпадение с содержанием PAX GBG, но при этом быть очень актуальными для учителей.

Вмешательство будет основано на веб-ресурсе и 6 сеансах супервизии с промежуточными заданиями. Супервизия и наблюдение будут сочетаться в том смысле, что супервизор сначала наблюдает, когда учителя проводят групповую супервизию со своими коллегами, а затем дает немедленную обратную связь всей группе. Затем следует дальнейшее обсуждение метода и короткие индивидуальные занятия продолжительностью 10-15 минут с каждым учителем.

Меры

Исходные данные, а также эффективность и результаты реализации вмешательства будут оцениваться с помощью ряда различных мер, описанных ниже. Сроки принятия мер описаны в таблице 1 выше, а в некоторых случаях более подробно прокомментированы ниже.

Дополнительные фоновые показатели на исходном уровне (M0) для школ, классных комнат и учителей. Описанные здесь показатели не являются единственными, которые используются в качестве фоновых данных, а измеряются только на исходном уровне.

SES для каждого школьного округа измеряется средним доходом родителей и средним уровнем образования родителей (на основе данных Статистического управления Швеции) Количество учеников, учителей и дополнительных помощников в каждом классе Потребность ученика в дополнительной помощи и дополнительных ресурсах, а также наличие диагноза неврологического развития.

Дополнительные подшкалы вопросника COPSOQ-III Количественные требования, Темп работы, Влияние на работе, Предсказуемость, Социальная поддержка со стороны руководителя, Социальная поддержка со стороны коллег, Чувство общности на работе.

Дополнительные материалы от TALIS, вопросы о трудоустройстве и о других учителях в школе.

Меры эффективности

Эффект от внедрения PAX будет оцениваться на уровне школы, учителя, класса и ученика.

Меры, ориентированные на класс

Наблюдение в классе подготовленным наблюдателем будет проводиться в течение двух или трех уроков в один и тот же или в последующие дни в течение минимального времени 20 минут для каждого класса. Чтобы повысить стандартизацию меры, будут включены только те уроки, на которых основное внимание уделяется теоретическим предметам. Наблюдения будут основаны на графике наблюдений, который уже был опробован в пилотном испытании PAX и будет немного адаптирован в отдельном проекте, прежде чем будет реализован в текущем испытании. Расписание будет сосредоточено на прямом наблюдении за следующими аспектами: 1) выполнение задания/не выполнение задания учениками (основной результат), 2) количество нарушений поведения учеников, 3) время перехода между различными заданиями и 4) количество положительных результатов. /негативное взаимодействие учитель-ученик. Наблюдения будут проводиться обученными наблюдателями и никогда не будут идентифицировать отдельных учеников и, следовательно, будут давать анонимные данные. Тем не менее, пол ученика будет записан для оценки (1) - (4), чтобы обеспечить возможность проведения гендерного анализа.

После каждого наблюдаемого урока как наблюдатели, так и учителя будут оценивать наблюдаемую лекцию с помощью вопросника, который разрабатывается вместе с графиком наблюдения, с акцентом на общую оценку таких аспектов, как серьезность разрушительного поведения в классе, уровень шума в классе, степень сосредоточенности. класс был во время лекции и т. д. Опять же, эти данные будут оцениваться на уровне класса, без возможности идентификации отдельных студентов.

В течение одной недели, связанной с фиксированными измерениями, данные об уровне шума будут собираться в каждом классе. Уровни шума будут оцениваться с помощью измерительного устройства, которое будет размещено в классе, не нарушая окружающей среды в классе. Устройство измеряет и сохраняет очень короткие фрагменты звука со случайными интервалами в среднем в три секунды, что делает невозможным определение источника и содержания звуковой активности (например, прослушивание разговора), но этого достаточно для расчета уровня децибел в разных диапазонах. частота. Таким образом, эти данные также являются анонимными.

Посещаемость школы и потребность в дополнительном персонале в классе будут измеряться на уровне класса.

Тема воздействия вмешательства на класс, как положительного, так и отрицательного, будет освещена в ходе качественных интервью с учителями и другим школьным персоналом (описанных в разделе Меры по реализации). Кроме того, четыре вопроса с произвольным текстом учителю на M3, M4 и M6 будут охватывать это, побуждая их описать положительные и отрицательные эффекты вмешательства по отношению (а) к себе и (б) к ученикам с момента последнего измерения. точка. Учеников также спросят об их отношении к PAX/контрольному вмешательству.

Показатели здоровья и труда учителей

У учителей будет собран ряд показателей самооценки с использованием безопасной платформы, используемой для проведения онлайн-психологического лечения и требующей двухэтапной аутентификации. Меры будут включать самооценку показателей, связанных со здоровьем, самооценку данных, связанных с работой, и данные реестра о медицинском обслуживании и потреблении рецептурных лекарств.

Меры, ориентированные на учащихся

Учащиеся должны отвечать на вопросники с самооценкой с помощью обученных научных сотрудников, которые следят за тем, чтобы учащиеся поняли вопросы и варианты ответов, и сводили к минимуму риск того, что они будут беспокоить или влиять друг на друга. Доступны различные способы работы с батареей вопросников (управление с помощью бумаги и ручки или планшета всем классом, небольшими группами или индивидуально, с инструкциями администратора, иногда также с использованием предварительно записанных инструкций), чтобы иметь возможность адаптировать к тому, что было бы наиболее целесообразным для конкретного класса. Учащиеся оценивают свое здоровье и самочувствие. Учителя заполняют шкалу нарушений регуляции (5 пунктов) Анкеты сильных сторон и трудностей. Данные реестра будут использоваться для анализа потребления учащимися медицинских услуг и лекарств, отпускаемых по рецепту, а также потребности родителей не выходить на работу, чтобы ухаживать за больным ребенком. Успеваемость детей по математике и шведскому языку будет оцениваться с помощью стандартизированных тестов.

Меры по реализации

Предварительные условия для процесса реализации будут оцениваться с использованием сбора как количественных, так и качественных данных. Полуструктурированные качественные интервью будут проводиться со случайно выбранными 25-50% всех участвующих учителей. Цель интервью – пролить свет на аспекты, которые не будут охвачены стандартизированными инструментами, как с точки зрения эффективности вмешательства, так и с точки зрения качества его реализации. Путеводитель по интервью создается в рамках небольшого пилотного проекта. Интервью будут проводиться по телефону или по видеосвязи и займут в среднем около 20 минут. Интервью будут проводиться трижды с каждым выбранным учителем: сразу после PAX-тренинга, на М2 и М4 (см. спецификацию точек измерения выше). Интервью будут записаны, расшифрованы и проанализированы с использованием качественного контент-анализа.

Ожидания и опыт реализованного вмешательства

Чтобы изучить ожидания, опыт и результаты реализованного вмешательства, учителя и другие школьные работники несколько раз заполнили Анкету разработки мер по нормализации (NoMAD). Те же параметры будут также изучены путем проведения интервью и сбора объективных данных, таких как долгосрочное использование вмешательства в соответствии с наблюдениями в классе, доля подходящих учителей, использующих вмешательство в каждой школе и т. д.

Вмешательство Верность

Верность учителей методу будет измеряться прямым наблюдением, проводимым руководителем, и с использованием самооценки верности, которую учителя должны заполнить.

Неблагоприятные события

Информация о нежелательных явлениях будет собираться, начиная с M3 и далее, в виде открытых вопросов, которые учителя заполняют на платформе. Вопросы о негативных последствиях также будут включены в качественные интервью.

Статистический анализ

Статистическая мощность 80% для психологических симптомов учеников (величина межгруппового эффекта, оцененная на основе пилотного исследования, равная d = 0,6) может быть достигнута при кластерно-рандомизированном дизайне, включающем 28 школ, 3 класса в каждой школе и 25 учеников в каждой. класс (всего 2100 учеников), ожидаемая потеря данных 20% и эффекты кластеризации, известные от аналогичного исследователя в школьной среде rho2 = 0,1 (уровень школы) и rho3 = 0,25 (уровень учителя). Поскольку количество учеников может превышать 25, мы ожидаем, что общее количество включенных учеников составит 2200 человек.

Первичной конечной точкой для результатов будет год наблюдения (M4), прежде чем учителя начнут использовать метод, к которому они изначально не были рандомизированы. Показатели, ориентированные на здоровье, благополучие учителей и учащихся и рабочую/учебную среду, а также многократно собираемые показатели в классе, будут анализироваться с помощью иерархической общей линейной модели с максимум тремя вложенными уровнями (школа , класс/учитель и ученик). Разница в наклонах изменений с течением времени между группой PAX и контрольными вмешательствами будет проверена для каждой переменной результата. Набор моделей смешанных эффектов будет выполнен для выявления факторов (фоновых факторов и факторов, связанных с реализацией), которые влияют на результаты реализации (достоверность, приемлемость, уместность и т. д.). Модели смешанных эффектов также будут использоваться для определения того, влияют ли переменные, связанные с реализацией (например, готовность к изменениям, верность, приемлемость и т. д.), на основные результаты испытания (например, на здоровье, благополучие учителей и учащихся и условия работы/учебы). .

Анонимные данные учеников будут использоваться двумя способами: (1) для анализа отсутствующих данных путем сравнения уровней и изменений в анонимных данных с идентифицируемыми данными и (2) для проведения анализа чувствительности, когда все данные анализируются вовремя и с вмешательством. только на групповом уровне, т.е. игнорирование информации о школе, классе и ученике, даже если они существуют. Таким образом, статистические методы будут иметь меньшую мощность, но, с другой стороны, можно будет использовать данные от большего числа учеников, и, поскольку количество недостающих данных будет меньше, чем в основном анализе, риск смещения из-за неслучайного отсева будет ниже. . Для анонимных данных, если собираются данные менее чем от 10 учеников в один момент времени и вмешательства, данные будут отброшены и полностью удалены, чтобы сохранить безопасный запас от возможности каким-либо образом косвенно связать данные с ученик.

Экономическая эффективность

Психическое здоровье учителей, измеренное с помощью GHQ-12, будет пересчитано в годы жизни с поправкой на качество (QALY:s). Качество жизни учащихся, связанное со здоровьем, измеренное с помощью CHU9D, будет использоваться для расчета QALY:s. Затраты на внедрение (например, время на обучение и надзор) будут рассчитаны вместе с возможной экономией, связанной с сокращением отсутствия на больничных для учителей, а также потребностью в дополнительном персонале в школах и сокращением потребности в ресурсах здравоохранения учащихся. . Общий QALY:s в течение периода наблюдения будет изучаться с использованием метода площади под кривой. Разница в результатах для здоровья между группой вмешательства и контрольным состоянием будет проанализирована с использованием моделей регрессии. Затраты и экономия будут сравниваться с выигрышем, выраженным в QALY:s, как для учителей, так и для учащихся. Результаты будут представлены в виде квоты экономической эффективности и проиллюстрированы в виде плана экономической эффективности, который покажет неопределенность результатов, когда речь идет о затратах и ​​воздействии на здоровье для вмешательства и контрольной группы.