유망한 중퇴 방지 프로그램의 범위 확대: 규모와 효과 사이의 상충 관계 검토

University of Chicago Education Lab 및 Crime Lab New York 연구팀은 2016-17 및 2017-18 학년 동안 시카고 공립학교(CPS), 뉴욕시 부서와의 이전 협력을 기반으로 하는 무작위 통제 실험을 수행하고 있습니다. 교육부 및 SAGA Innovations는 SAGA의 집중적이고 개별화된 수업 중 개인지도가 학년 수준보다 몇 년 뒤쳐진 학생들 사이에서도 단기간에 학업 성과에서 매우 큰 이득을 얻을 수 있음을 발견했습니다. 이 연구는 청소년기에 도달한 후에도 불우한 청소년의 학업 능력과 교육적 성취를 향상시키기 위한 이러한 접근 방식의 가능성을 제시합니다. 그러나 지역 및 국가 수준의 결과에 진정으로 영향을 미치려면 SAGA는 연구원들이 시카고에서 연구할 수 있었던 것보다 훨씬 더 큰 규모로 출시되어야 합니다. 그러나 유망한 개입을 규모에 맞게 취하는 방법에 대해서는 알려진 바가 거의 없습니다. 이 연구는 이 개별화된 튜터링 프로그램이 훨씬 더 큰 규모로 구현될 수 있는 범위를 조사하고 효과와 규모 사이의 트레이드 오프를 명시적으로 탐색함으로써 규모 확장의 과학을 구축하고자 합니다.

SAGA 혁신 프로그램은 보스톤에 있는 Match Education의 차터 스쿨에서 개발된 고용량 수업일 개인 교습의 전국적으로 인정된 혁신을 확장합니다. 튜터링 프로그램은 정규 수업일에 1일 1회 Math Lab이라는 정규 과정으로 만나 학생의 정규 수학 수업에 추가로 제공됩니다. 학생들은 학기 내내 같은 풀타임 전문 튜터와 2:1(2명의 학생과 1명의 튜터)으로 일합니다. 튜터링 세션의 내용은 학생들이 정규 수학 과정에서 배우는 내용과 일치하지만 수학 지식의 개별 격차를 해결하는 것을 목표로 합니다. 또한 Match Education에서 개발한 원래 모델에 따라 SAGA 튜터는 학생의 진행 상황에 대한 내부 형성 평가를 자주 사용하여 교육을 개별화합니다.

시카고 대학 연구팀이 실시한 이전의 무작위 통제 시험에서는 AY2013-14에 시카고 공립학교에서 실시된 이 개입의 1년이 수학에서 1년에서 2년 사이의 추가 학업 성장을 생성했으며, 일반 미국 고등학생은 1년 안에 배웁니다(Cook et al., 2015; Reardon, 2011). 수학 성취도에 대한 예상 효과는 사용된 정확한 테스트 및 표준에 따라 0.19 ~ 0.30 표준 편차 정도입니다. 이 개입은 또한 통제 평균 1.77에 비해 1-4점 척도에서 수학에서 학생 성적을 0.58점 향상시켰습니다. 특히 학교에서의 단기 및 중기적 성공과 고용 및 수입과 같은 장기적 삶의 결과를 위한 수학의 중요성에 대한 증거가 증가하고 있기 때문에 이러한 이득은 특히 중요합니다(Duncan et al., 2007).

이 연구는 프로그램에 대한 조사관의 이전 평가를 기반으로 구축하는 것을 목표로 하며 훨씬 더 큰 규모로 청소년에게 봉사할 수 있는 이 프로그램의 능력에 대한 통찰력을 제공할 것입니다. 구체적으로 본 연구는 다음과 같은 연구 질문에 답하는 것을 목표로 한다.

1. 증거 기반 개인화 튜터링 프로그램을 대규모로 구현하면 어떤 효과가 있습니까?
2. 프로그램의 효과와 프로그램이 구현되는 규모 사이에는 어떤 관계가 있습니까?

구현 사이트는 두 세트로 나뉩니다. 학생들이 무작위로 개인 교습을 받는 시카고 사이트(이하 "스케일업" 학교라고 함)와 교장이 대상 학생을 선택할 수 있는 일차적 재량권이 있는 시카고 및 뉴욕시 사이트입니다. 과외(이하 "복학 학교"라고 함).

연구 질문 #1을 연구하기 위해 조사자는 훨씬 더 큰 규모로 프로그램을 실제로 구현하지 않고도 이 프로그램의 확장을 연구하기 위해 무작위 샘플링의 힘을 활용할 것입니다. 첫 번째 연구 질문은 시카고에서 확장된 프로그램의 평균 품질을 측정하고자 하며, 여기에서 연구자들은 확장된 학교의 데이터를 활용할 것입니다. 스케일업 학교와 복귀 학교의 학생들은 둘 다 튜터에게 무작위로 배정됩니다. 그러나 스케일업 학교의 학생들은 (1) 튜터 지원자 무작위 배정 및 (2) 치료 할당 무작위 배정이라는 두 가지 추가 무작위 배정이 있습니다. 첫 번째 기능으로 연구팀은 스케일업 학교에서 의도한 규모보다 더 큰 규모로 구현하는 것처럼 SAGA 교사를 과잉 모집하고 있습니다. 그런 다음 조사관은 SAGA의 표준 고용 프로세스를 통해 계속할 튜터 지원자 3.5명 중 1명을 무작위로 선택하고, 스케일업 학교의 직책은 무작위로 선택된 튜터에 의해서만 채워집니다. 학생들이 이러한 스케일업 학교에서 치료에 무작위로 배정되기 때문에 조사관은 이러한 학교에서 프로그램이 구현되고 있는 규모의 약 3.5배에서 프로그램 효과를 측정할 수 있습니다.

연구 질문 #1에 대한 치료 효과를 측정하기 위해 연구팀은 치료 의도(ITT)와 치료에 대한 치료(TOT) 영향을 모두 추정합니다. 연구자들은 ITT 효과를 다음과 같이 추정합니다.

Y=B0 + B1T + B2X + E

여기서 Y는 관심 결과, T는 튜터링 프로그램에 참여할 기회를 제공하도록 무작위로 배정된 학생을 나타내고, X는 기본 통제 세트(특히 무작위 블록, 성별, 연령, 학습 장애, 무료/ 감소된 점심 식사 상태, 인종, 기준 학년 수준, GPA, 전년도 As/Bs/Cs/Ds/F 수, 전년도의 수학 및 읽기 표준 시험 점수, 결석 일수, 정학 및 체포를 포함한 징계 사건 , 및 GPA 및 출석 데이터가 누락된 학생에 대한 이진 플래그), E는 무작위 오류 용어이고 B0, B1, B2는 추정할 매개변수입니다. T의 무작위 할당은 표준 가정 하에서 OLS(Ordinary Least Squares) 추정이 B1의 추정치로서 ITT의 편향되지 않은 추정치 또는 SAGA 튜터링 프로그램에 참여하게 된 효과를 산출하도록 보장합니다. 프로그램에 무작위로 배정된 모든 학생이 위에 설명된 과정을 통해 무작위 배정된 튜터와 짝을 이루었기 때문에 ITT(및 이후 TOT) 효과는 구체적으로 3회 반으로 관리될 때 프로그램의 효과를 측정합니다. 현재 관리되고 있는 척도.

ITT는 참여 기회가 제공되는 효과를 측정합니다. 치료에 배정된 학생은 프로그램에 참여할 필요가 없기 때문에 ITT는 참여 효과를 측정하지 않을 수 있습니다. 연구팀은 참여 도구로 T의 무작위 할당을 사용하여 참여 효과를 측정할 것입니다. 모든 참가자가 무작위로 선택된 경우(즉, 튜터링 프로그램에 참여할 수 있는 통제 학생이 없는 경우) 이 방법은 치료를 받은 학생(TOT)에 대한 치료의 효과 또는 다음을 수행하는 학생 그룹에 대한 참여 효과를 계산합니다. 참여를 선택합니다.

프로그램 규모와 효과 사이의 관계를 결정하려는 위의 연구 질문 #2에 대한 통찰력을 얻기 위해 모든 사이트의 튜터는 상대적인 기대 품질을 기반으로 SAGA 리더십에 의해 순위가 매겨집니다. 그런 다음 연구팀은 튜터가 학생 결과에 미치는 영향을 식별하기 위해 학생 쌍을 튜터에게 무작위로 배정합니다. 이 방법론을 사용하여 연구원은 튜터 순위가 프로그램 효과의 크기를 예측하는지 여부를 연구할 수 있습니다. 연구팀은 프로그램이 채워야 하는 튜터 슬롯 수에 따라 순위에 따라 튜터를 고용한다고 가정하므로 이 분석은 규모와 효율성 간의 관계를 밝힐 것입니다.

특정 순위(즉, 연구 질문 #2의 ITT 추정치)의 튜터에 배정되는 영향을 분석하기 위해 조사관은 튜터 순위에 대한 학업 결과를 회귀하는 회귀 모델을 실행할 것입니다. 우리의 주요 관심 결과는 수학 표준화 시험 점수입니다. 우리의 1차 분석은 결과를 튜터 순위의 선형 함수로 모델링합니다. 2차 탐색적 분석으로, 다음과 같은 일대일 교차 검증 연습을 사용하여 결과와 튜터 순위 사이의 관계의 형태를 추정할 것입니다.

1. 모든 튜터 등급에 대한 개별 고정 효과의 전체 세트에 대해 결과(기본: 수학 표준화 시험 점수)의 학생 수준에서 회귀를 실행하여 비모수적으로 관계를 추정합니다. r번째 순위 튜터의 고정 효과에 대한 계수 γ ̂_r을 호출합니다.
2. 순위 r=1,...,R의 경우: 학생 수준 데이터를 사용하여 결과와 튜터 순위 사이의 관계를 p=0, 1, 2, ..., 10의 다항식으로 추정하고 튜터 순위가 r인 학생을 유지합니다. 샘플의. 다항식 항의 계수를 사용하여 γ ̂_r을 예측하고 이를 f ̂_p(r)라고 합니다. 각 다항식에 대한 제곱 오차를 저장합니다: (f ̂_p (r)-γ ̂_r )^2.
3. ∑_(r=1)^R(f ̂_p (r)-γ ̂_r )^2 를 최소화하는 다항식 p를 선택합니다.
4. 선택한 다항식 차수를 사용하여 결과와 순위 사이의 예상 관계를 보고합니다.

튜터 순위 기능 외에도 각 회귀에는 학생 쌍이 튜터에게 무작위로 할당되는 방식을 캡처하는 블록 고정 효과가 포함됩니다. 블록에는 공유된 특별 제한 사항(예: 제한이 없거나, 스페인어를 구사하는 튜터가 필요하거나, 고급 수학 코스 자격을 갖춘 튜터가 필요한 경우). 모델의 다른 공변량은 위에 언급된 연구 질문 #1에 대한 ITT 및 TOT 분석에 포함된 것과 동일하여 프로그램이 있는 그대로의 3.5배 규모로 관리될 때 프로그램의 효과를 측정합니다. 현재 관리중입니다.

학생들이 다양한 이유로 튜터를 바꾸면 연구원은 특정 순위의 튜터에게 할당되고 실제로 함께 작업하는 영향을 보기 위해 TOT 추정치를 계산해야 합니다. 이를 위해 조사관은 무작위로 할당된 튜터의 순위를 가중 평균 튜터 순위의 도구로 사용합니다. 여기서 각 튜터의 순위에 부여된 가중치는 학생이 해당 튜터와 보낸 시간(일 단위로 측정)의 비율과 같습니다. . 조사관은 일일 출석 데이터를 사용하여 이 가중 평균을 생성합니다. 이 방법은 더 높은 등급의 튜터와 함께 일한다는 것이 학생이 실제로 더 나은 품질의 교육을 받는 것을 의미하는지 또는 튜터 등급과 실제 품질 사이에 추가 관계가 존재하는지 여부를 조사자가 이해하는 데 도움이 될 것입니다.

우리는 분석을 위해 관찰된 결과만 사용할 것입니다. 샘플의 5% 이상에서 결과가 누락된 경우 결과 관찰 여부에 대한 치료 효과도 보고합니다. 기준선 공변량이 누락된 경우 누락된 값을 0으로 대치하고 누락에 대한 지표를 추가 기준선 제어로 포함합니다.