Playworks의 무작위 실험

Playworks는 쉬는 시간 동안 게임과 활동을 조직하기 위해 저소득 학교에 전임 코치를 배치하는 학교 기반 프로그램입니다. Robert Wood Johnson Foundation(RWJF)은 Playworks에 대한 엄격한 평가를 수행하기 위해 Mathematica Policy Research 및 그 하청업체인 John W. Gardner Center for Youth and They Communities(JGC)와 계약을 맺었습니다. 2010-2011년(코호트 1) 또는 2011-2012년(코호트 2) 학년도에 미국 6개 도시에 걸쳐 Playworks 구현에 관심이 있는 29개 학교를 치료군과 통제군으로 무작위 배정했습니다. 무작위 배정은 각 도시 내 일치하는 학교 그룹 내에서 수행되었습니다. 총 12개 블록의 일치하는 학교가 있었습니다. 각 블록에 대해 한 학교는 통제 그룹에 무작위로 할당되었고 나머지는 치료 그룹에 할당되었습니다.

각 코호트의 1년 연구 기간 동안 치료 학교는 Playworks를 받았고 통제 학교는 Playworks를 시행할 자격이 없었습니다. 학생 설문조사, 가속도계 및 교사 설문조사 데이터는 Playworks가 치료 학교에서 처음 구현된 후 약 7개월 후 4학년 및 5학년 학생, 교사 및 교직원을 대상으로 수집되었습니다.

학생 설문조사를 위해 학생들은 학교에서의 경험에 대해 공부하는 해의 봄에 30분 동안 학생 설문조사를 완료하도록 요청받았습니다. 경험이 풍부한 설문 조사 관리 직원 팀이 학생들의 교실에서 설문 조사를 관리했습니다. 학생 설문조사 외에도 교사들은 학교에서 학생들의 경험에 대해 교사들에게 묻는 교사 설문조사를 작성하도록 요청받았습니다.

학생 설문 조사를 완료하도록 요청받은 하위 샘플 학생도 수업일 하루나 이틀 동안 가속도계를 착용했습니다. 가속도계 데이터 수집 기간 동안 연구팀은 수업 시작 시간에 참여 교실에 도착했습니다. 팀원들은 가속도계의 기능을 설명하고 탄성 벨트를 사용하여 동의한 각 학생의 엉덩이에 가속도계를 부착했습니다. 그런 다음 가속도계 데이터를 ActiLife 5 소프트웨어 패키지로 처리했습니다.

Playworks가 연구 결과에 미치는 영향은 분석 단위(교사 또는 학생)에 맞게 조정된 회귀 모델을 사용하여 치료 및 통제 학교의 평균 결과를 비교하여 추정되었습니다. 분석에 사용된 회귀 모델에는 차단된 디자인을 설명하기 위한 무작위 할당 블록에 대한 지표와 처리에 기인하지 않는 학교 특정 효과를 설명하기 위한 학교 특정 무작위 오류 용어가 포함되었습니다. 인구 통계학적 특성에서 치료군과 대조군 사이의 유의미한 차이를 설명하기 위해 일부 모델에는 공변량도 포함되었습니다. 연속 및 이진 결과 변수에 대한 모델은 각각 최소 제곱 추정 및 로지스틱 회귀 추정을 사용하여 적합했습니다. 교사 및 학생 수준 결과에 대한 예상 영향에 대한 표준 오류는 일반화된 추정 방정식을 사용하여 학교 수준에서 클러스터링을 설명했습니다. 모델 기반 p-값과 효과 크기는 추정된 영향과 해당 표준 오류 및 여러 테스트 간의 상관 관계를 설명하는 다중 비교 조정을 기반으로 계산되었습니다. 영향을 추정할 때 샘플링 가중치가 사용되었습니다. 가중치는 표본 및 무응답에 대한 학생과 교사의 선택 확률을 모두 설명하도록 구성되었습니다.