시카고 학교의 긍정적인 행동 프로그램의 무작위 시험 및 8학년으로의 확장

이 프로젝트는 전국적으로 시행된 다양한 프로그램의 다중 사이트 시험 중 7개 중 하나입니다. OSU(Oregon State University)와 UIC(University of Illinois at Chicago)는 긍정적 행동 프로그램(PA)의 효과를 평가하기 위해 학교 기반 무작위 시험을 실시하고 있습니다. 초등학생의 부정적 행동(건강 관련 행동 포함) 감소, 긍정적 행동 증가 및 학업 성취도 향상을 위한 행동 프로그램. 긍정적인 행동 프로그램은 반사회적 행동(폭력, 약물 사용, 비행)을 줄이고 학교 성적(출석, 시험 점수)을 향상시키는 방식으로 사회적 및 인성 개발(존중, 책임, 이타심, 시민 덕목, 친사회적 행동)을 촉진하도록 설계되었습니다. ). 2004년 겨울에 선정된 14개의 적격 학교는 7개의 일치하는 쌍(처리 및 통제)으로 구성됩니다. 학교는 여러 학교 특성으로 구성된 '위험 점수'로 일치되었습니다. 2004-05학년도 3학년 학생, 학부모, 교사 및 교장을 대상으로 기준선(2004년 가을), 2005년 봄과 가을, 2006년 봄과 2007년 봄에 설문조사를 실시했습니다. 평가는 학교 기록(출석, 임시 기간, 성적, 시험 성적, 징계 조치 및 정학, 학교 및 학생 인구 특성의 변화), 학생 기록, 학생 설문 조사, 학부모 설문 조사에서 얻은 여러 종류의 프로세스, 매개 변수 및 결과 데이터를 기반으로 합니다. , 교사 평가 및 설문 조사, 관리자 설문 조사, 두 조건 모두에서 학교에서 수집(적극적 행동 프로그램 제공에 대한 정보 제외). OSU에서 수행되는 작업은 프로젝트의 모든 측면에 대한 Flay 박사의 전반적인 감독과 UIC의 DuBois 박사로부터 받은 비식별 데이터를 사용한 데이터 분석 및 연구 논문 작성에 국한됩니다. David DuBois 박사가 감독하는 UIC에서 수행되는 작업에는 모든 개입 작업, 데이터 수집, 데이터 입력, 일부 데이터 분석 및 보고서 작성이 포함됩니다. 미국 교육부/IES는 2007년 봄까지 다중 사이트 시험의 모든 사이트에서 핵심 조사를 수행하기 위해 국가 계약업체인 Mathematica Policy Research, Inc.(MPR)를 고용했습니다. 또한 OSU/UIC는 데이터 수집의 모든 단계에서 다중 사이트 설문조사를 보완하는 사이트별 학생 설문조사를 관리하고 있습니다. 2005년 9월 Dr. Flay가 UIC에서 OSU로 이전한 후 프로젝트 자금이 지원됨에 따라 OSU IRB는 전체 프로젝트에 대한 검토를 제공합니다. 2008년 4월부터 새로운 자금 지원을 통해 2012년 3월까지 연구를 계속할 수 있으며 2008년 가을, 2009년 봄, 봄에 학부모와 함께 교사와 교장을 대상으로 8학년 말까지 대상 코호트를 추적합니다. 2010. 지속적인 연구를 위한 데이터 수집에는 어린이의 키와 몸무게 수집 및 학생과 교사의 프로세스 평가 데이터도 포함됩니다. MPR은 관여하지 않습니다. 데이터 수집은 2010년 6월 완료되었습니다.

동의 비율 및 이동성:

학생이 3학년일 때 학생, 학부모 또는 교사가 설문 조사를 완료하기 전에 학부모 동의를 얻었습니다. 학부모의 79%가 기준선에서 동의했습니다. 나중에 연구에 참여하는 학생들은 당시에 동의를 받았습니다. 이들에 대한 동의율은 2-5차에 대해 65%에서 78% 범위였습니다. 모든 학생들은 Wave 6(7학년 시작)에서 두 번째 자금 조달 단계에 대해 다시 동의했습니다. 동의율은 6~8차에서 더 낮았습니다( ≈ 58~64%). 이는 등급 수준이 높아질수록 동의율이 떨어진다는 이전 연구와 일치합니다. 자녀에 대해 보고한 동의 부모의 비율은 1차, 2차, 4차, 5차, 8차에서 각각 72.3%, 58.9%, 52.2%, 50.5%, 72.9%였다. Wave 8에서 부모 응답률을 증가시켰을 가능성이 있는 두 가지 요인은 (1) 부모 보고서 작성에 대한 금전적 인센티브 증가와 (2) 인센티브 증가에 주목하고 설문 조사 완료를 독려하기 위해 가족에게 집중적으로 연락하는 기간이었습니다. 교사가 평가를 완료한 동의 학생의 비율은 1차, 2차, 4차, 5차, 7차 및 8차에서 각각 74.6%, 74.8%, 72.4%, 78.3%, 74.4% 및 92.7%였습니다. Wave 8에서 우리는 교사 설문 조사 완료율 100%에 대한 학교 수준의 추가 인센티브를 도입했으며, 그 결과 완료한 교사 평가가 증가했을 가능성이 높습니다. 이동 패턴은 5개의 클래스 솔루션이 데이터에 가장 적합한 것으로 밝혀진 잠재 클래스 분석 결과를 사용하여 식별되었습니다: 1) 체류자(평균 연구 기간 5.72년, N = 158), 2) 임시 참가자 (1.30년, 4학년 또는 5학년만; N=196), 3) 늦게 가입하는 사람(1.38년; N=308); 4) 조기 졸업자(0.94년; N=263) 및 5) 후기 졸업자(3.23년; N=287).

계획된 통계 분석:

실험이 클러스터에 초점을 두었기 때문에 실험 시작 후 학교에 입학한 학생(가입자)을 평가했지만 학습 학교에 다니지 않은 개별 학생(탈퇴자)을 따르지 않았습니다. 학생들의 관점에서 시간이 지남에 따라 그들은 "동적"(즉, 변경) 등급 코호트. 다단계 모델은 학교 및 학생 수준의 변화를 고려하는 데 사용됩니다. 누락된 데이터는 MAR(missing-at-random) 가정을 사용하여 해결될 것입니다. 측정되지 않은 단일 변수 또는 변수 집합이 무작위화 후 시험 학교를 떠나거나 등록한 모든 학생의 누락을 예측할 가능성이 없기 때문입니다. 수준(학교 내에 중첩된 학생 내에 중첩된 측정의 경우) 다양한 학생 수준 결과에 대한 치료 효과를 분석하기 위한 성장 곡선 모델. 이러한 모델은 모든 관찰과 모델 학교 차이를 설명합니다. 이 접근 방식을 사용하면 사용 가능한 데이터의 여러 물결을 완벽하게 분석하고 시간 경과에 따른 변화 패턴을 고려합니다. 무작위 절편 성장 곡선 모델이 먼저 추정됩니다. 무작위 절편 모델에 이어 무작위 계수 모델을 실행하여 각 조건의 모든 학생이 동일한 변화 패턴을 갖는 것이 아니라 시간에 따라 학생 변화에 상당한 변화가 있는지 테스트합니다. LR(Likelihood Ratio Chi-square) 검정을 사용하여 무작위 계수가 있는 모델과 없는 모델을 비교합니다. 임의 시간 계수가 있는 모델이 주어진 결과에 훨씬 더 잘 맞는 경우 최종 모델로 보고됩니다. 이후 웨이브(Wave 5 또는 6 이후)에서만 수집된 규모에 대한 개입 효과는 마지막(Wave 8)에서 효과의 가능한 차이를 나타내는 조건 용어와 함께 끝점(Wave 8)에 설정된 절편으로 테스트됩니다.

이 시험에는 14개 학교만 있고 PA 효과는 클러스터 무작위 시험에서 학교 수준에서 테스트되기 때문에 몇 가지 민감도 분석을 수행할 것입니다. 먼저 PA 계수 추정치의 통계적 유의성과 자유도가 12인 t-분포(14개 학교 - 1(조건 효과) - 1 = 12df)를 사용하여 표준 오차를 평가하여 보다 보수적인 접근 방식을 제공합니다. 두 번째 접근 방식은 4단계 모델로 추정되는 쌍 수준 분석이 될 것입니다. 학생 내 중첩 측정 기회, 학교 내 중첩, 일치하는 쌍 내 중첩.

학생 수준의 설문 조사 데이터 외에도 여러 학교 수준의 기록 측정이 분석됩니다. 이러한 데이터는 학교 수준에 있기 때문에 성장 곡선 모델은 3단계가 아닌 2단계(학교 내 관찰)가 됩니다. 적은 양의 데이터(학교 수 x 파도 수)와 결과적인 전력 제한으로 인해 이러한 분석에서는 무작위 절편 모델만 사용합니다.

우리는 성별과 학생 이동성에 따라 조정을 테스트할 것입니다. 중재 테스트는 프로그램이 누구에게 영향을 미치는지 알려줍니다. 즉, 이러한 테스트를 통해 프로그램 효과가 성별 또는 아동의 이동성에 따라 다른지 여부를 평가할 수 있습니다. 우리는 학교와 매우 혼동되기 때문에 민족별 조정을 테스트하지 않을 것입니다. 3쌍의 학교에는 대부분 아프리카계 미국인 등록이 있고 2쌍의 학교에는 대부분 히스패닉 등록이 있습니다.

CRCT 전체에 걸쳐 14개 학교 모두가 유지되었지만, 이 실험의 학생 인구는 매우 유동적이었습니다. 따라서 학생 이동 패턴의 잠재적 조절 효과를 테스트하는 것이 중요합니다. 이동 패턴을 분석하는 최근 접근 방식은 LCA(Latent Class Analysis)입니다. 그런 다음 위에서 설명한 이동성 패턴을 프로그램 효과의 중재자로 테스트할 수 있습니다. 즉, 이동 패턴이 다른 학생들이 프로그램 효과가 다른지 여부를 조사합니다.

중재 분석을 통해 PA 프로그램의 행동 메커니즘을 검토할 수 있습니다. 먼저 모델에 중재자를 포함하지 않고 Y에 대한 X의 이변량 효과를 추정합니다. 그런 다음 모델에 포함된 중재자를 사용하여 Y에 대한 X의 직접 효과와 Y에 대한 X의 M × M 효과로 구성된 매개 효과를 동시에 추정합니다.