Aumento del alcance de los programas prometedores de prevención de la deserción escolar: examen de las ventajas y desventajas entre escala y eficacia

Los equipos de investigación de University of Chicago Education Lab y Crime Lab New York están llevando a cabo un ensayo controlado aleatorio durante los años académicos 2016-17 y 2017-18 para aprovechar colaboraciones anteriores con las Escuelas Públicas de Chicago (CPS), el Departamento de la Ciudad de Nueva York of Education y SAGA Innovations que han descubierto que la tutoría intensiva, individualizada y durante el día escolar de SAGA puede generar ganancias muy grandes en los resultados académicos en un corto período de tiempo, incluso entre los estudiantes que están muchos años por detrás del nivel de grado. Esta investigación sugiere la promesa de este enfoque para mejorar las habilidades académicas y los logros educativos de los jóvenes desfavorecidos, incluso una vez que han llegado a la adolescencia. Sin embargo, para afectar verdaderamente los resultados a nivel local y nacional, SAGA tendría que implementarse a una escala mucho mayor que la que los investigadores han podido estudiar en Chicago. Sin embargo, se sabe poco sobre cómo llevar a escala intervenciones prometedoras. Este estudio busca desarrollar la ciencia de la ampliación, examinando hasta qué punto este programa de tutoría individualizado puede implementarse a una escala aún mayor y explorando explícitamente las ventajas y desventajas entre eficacia y escala.

El programa SAGA Innovations amplía la innovación reconocida a nivel nacional de tutoría de alta dosis durante el día escolar desarrollada en la escuela chárter de Match Education en Boston. El programa de tutoría se reúne como un curso programado, laboratorio de matemáticas, una vez al día durante el día escolar normal, y se brinda además de la clase regular de matemáticas del estudiante. Los estudiantes trabajan dos a uno (dos estudiantes con un tutor) con el mismo tutor profesional de tiempo completo durante todo el año escolar. El contenido de las sesiones de tutoría está alineado con lo que los estudiantes están aprendiendo en sus cursos regulares de matemáticas, pero también tiene como objetivo abordar las brechas individuales en el conocimiento matemático. También siguiendo el modelo original desarrollado por Match Education, los tutores de SAGA usan frecuentes evaluaciones formativas internas del progreso del estudiante para individualizar la instrucción.

Un ensayo controlado aleatorio anterior realizado por el equipo de investigación de la Universidad de Chicago encontró que un año de esta intervención, realizada en AY2013-14 en las Escuelas Públicas de Chicago, generó entre uno y dos años adicionales de crecimiento académico en matemáticas, por encima de lo que estudiante normal de secundaria de EE. UU. aprende en un año (Cook et al., 2015; Reardon, 2011). Los efectos estimados para el rendimiento en matemáticas son del orden de 0,19 a 0,30 desviaciones estándar, según la prueba exacta y la norma utilizada. La intervención también mejoró las calificaciones de los estudiantes en matemáticas en 0,58 puntos en una escala de calificaciones de 1 a 4, en comparación con una media de control de 1,77. Estos logros son particularmente importantes debido a la creciente evidencia sobre la importancia de las matemáticas específicamente para el éxito escolar a corto y mediano plazo, y para los resultados de vida a largo plazo, como el empleo y los ingresos (Duncan et al., 2007).

Este estudio tiene como objetivo aprovechar las evaluaciones previas del programa realizadas por los investigadores y brindará información sobre la capacidad de este programa para servir a los jóvenes a una escala mucho mayor. En concreto, este estudio pretende dar respuesta a las siguientes preguntas de investigación:

1. ¿Cuál es el efecto de implementar un programa de tutoría individualizado basado en evidencia a mayor escala?
2. ¿Cuál es la relación entre el efecto del programa y la escala a la que se implementa?

Los sitios de implementación se dividen en dos conjuntos: sitios en Chicago en los que los estudiantes se asignan al azar para recibir tutoría (en lo sucesivo denominados escuelas de "ampliación") y sitios en Chicago y la ciudad de Nueva York donde los directores tienen la discreción principal de elegir qué estudiantes reciben tutoría (en lo sucesivo denominadas "escuelas de regreso").

Para estudiar la pregunta de investigación n.° 1, los investigadores aprovecharán el poder del muestreo aleatorio para estudiar la ampliación de este programa sin tener que implementar el programa a una escala mucho mayor. La primera pregunta de investigación busca medir la calidad promedio del programa ampliado en Chicago, en el que los investigadores utilizarán datos de las escuelas ampliadas. Los estudiantes tanto en las escuelas en aumento como en las que regresan son asignados aleatoriamente a tutores. Sin embargo, los estudiantes en las escuelas ampliadas tienen dos aleatorizaciones adicionales: (1) aleatorización de solicitante de tutor y (2) aleatorización de asignación de tratamiento. Para la primera característica, el equipo de investigación está haciendo que SAGA reclute tutores en exceso como si estuvieran implementando a una escala mayor que la prevista en las escuelas ampliadas. Luego, los investigadores seleccionan al azar a uno de cada tres y medio solicitantes de tutores para continuar con el proceso de contratación estándar de SAGA, y los puestos en las escuelas ampliadas solo son ocupados por estos tutores seleccionados al azar. A medida que los estudiantes se asignan aleatoriamente al tratamiento en estas escuelas ampliadas, los investigadores podrán medir los efectos del programa en aproximadamente tres veces y media la escala a la que se está implementando el programa en estas escuelas.

Para medir los efectos del tratamiento para la pregunta de investigación n.º 1, el equipo de investigación estimará tanto la intención de tratar (ITT) como los impactos del tratamiento sobre los tratados (TOT). Los investigadores estimarán el efecto ITT de la siguiente manera:

Y=B0 + B1T + B2X + E

donde Y es el resultado de interés, T indica estudiantes que se asignan aleatoriamente para que se les ofrezca la oportunidad de participar en el programa de tutoría, X es un conjunto de controles de línea de base (que incluye específicamente el bloque de aleatorización, el género, la edad, la discapacidad de aprendizaje, libre/ estado de almuerzo reducido, raza, nivel de grado de referencia, GPA, número de As/Bs/Cs/Ds/Fs en el año anterior, puntajes de exámenes estandarizados de matemáticas y lectura del año anterior, días de ausencia de la escuela, incidentes disciplinarios que incluyen suspensiones y arrestos , y una bandera binaria para estudiantes a los que les faltan datos de GPA y de asistencia), E es un término de error aleatorio y B0, B1, B2 son parámetros a estimar. La asignación aleatoria de T asegura que, según los supuestos estándar, la estimación de mínimos cuadrados ordinarios (OLS) produce una estimación imparcial del ITT como la estimación de B1, o el efecto de que se le ofrezca la participación en el programa de tutoría SAGA. Como todos los estudiantes que fueron asignados al azar al programa fueron emparejados con tutores que fueron asignados al azar a través del proceso descrito anteriormente, nuestro efecto ITT (y, posteriormente, TOT) medirá específicamente el efecto del programa cuando se administre tres veces y media. la escala como se está administrando actualmente.

El ITT mide el efecto de que se le ofrezca la oportunidad de participar. Como los estudiantes asignados al tratamiento no están obligados a participar en el programa, es posible que el ITT no mida el efecto de la participación. El equipo de investigación medirá el efecto de la participación utilizando la asignación aleatoria de T como instrumento de participación. Si todos los participantes fueron seleccionados al azar (es decir, si no hay estudiantes de control que puedan participar en el programa de tutoría), este método calcula el efecto del tratamiento en los tratados (TOT), o el efecto de participar para el grupo de estudiantes que elige participar.

Para obtener información sobre la pregunta de investigación n.° 2 anterior, que busca determinar la relación entre la escala del programa y los efectos, los tutores en todos los sitios son clasificados por el liderazgo de SAGA en función de la calidad relativa esperada. Luego, el equipo de investigación asignará pares de estudiantes al azar a tutores en un esfuerzo por identificar el efecto de un tutor en los resultados de los estudiantes. Usando esta metodología, los investigadores pueden estudiar si la clasificación de los tutores predice el tamaño de los efectos del programa. Dado que el equipo de investigación asume que el programa contrataría tutores en el orden de su clasificación según la cantidad de puestos de tutores que necesitaban cubrir, este análisis arrojará luz sobre la relación entre la escala y la eficacia.

Para analizar el impacto de ser asignado a un tutor de una clasificación particular (es decir, la estimación de ITT de la pregunta de investigación n.º 2), los investigadores ejecutarán modelos de regresión que hacen una regresión de los resultados académicos en la clasificación del tutor. Nuestro principal resultado de interés son los puntajes de las pruebas estandarizadas de matemáticas. Nuestro análisis principal modelará los resultados como una función lineal del rango del tutor. Como análisis exploratorio secundario, estimaremos la forma de la relación entre los resultados y el rango del tutor utilizando el siguiente ejercicio de validación cruzada sin excepción:

1. Calcule la relación de forma no paramétrica mediante la ejecución de una regresión a nivel de estudiante del resultado (principal: puntajes de pruebas estandarizadas de matemáticas) en un conjunto completo de efectos fijos separados para cada rango de tutor. Llame al coeficiente sobre el efecto fijo del tutor clasificado r-ésimo, γ ̂_r.
2. Para el rango r=1,…,R: Estime utilizando los datos de nivel de estudiante la relación entre el resultado y el rango del tutor como un polinomio de orden p=0, 1, 2, …, 10 manteniendo a los estudiantes asignados a tutores clasificados r fuera de la muestra Usa los coeficientes de los términos del polinomio para predecir γ ̂_r y llámalo f ̂_p (r). Guarda el error cuadrático para cada polinomio: (f ̂_p (r)-γ ̂_r )^2.
3. Selecciona el polinomio p que minimiza ∑_(r=1)^R(f ̂_p (r)-γ ̂_r )^2 .
4. Informe la relación estimada entre el resultado y el rango utilizando el orden de polinomio seleccionado.

Además de las funciones de rango de tutor, cada regresión incluirá efectos fijos de bloque que capturan cómo los pares de estudiantes fueron asignados aleatoriamente a los tutores. Los bloques incluyen grupos de estudiantes dentro de un aula con restricciones especiales compartidas (p. no tener restricciones, necesitar un tutor de habla hispana o necesitar un tutor calificado para cursos avanzados de matemáticas). Otras covariables en el modelo serán las mismas que las incluidas en nuestro análisis ITT y TOT para la pregunta de investigación n.° 1, mencionada anteriormente, para medir el efecto del programa cuando se administra a tres veces y media la escala tal como está. actualmente se administra.

A medida que los estudiantes cambian de tutores por una variedad de razones, los investigadores también deberán calcular la estimación de TOT para ver el impacto de ser asignado y trabajar con un tutor de una clasificación particular. Para hacerlo, los investigadores utilizarán el rango del tutor asignado aleatoriamente como instrumento para el rango promedio ponderado del tutor, donde el peso asignado al rango de cada tutor es igual a la proporción de tiempo (medido en días) que el estudiante pasó con ese tutor. . Los investigadores utilizarán los datos de asistencia diaria para crear este promedio ponderado. Este método ayudará a los investigadores a comprender si trabajar con un tutor de mayor rango significa que un estudiante realmente recibe una instrucción de mejor calidad o si existe una relación adicional entre el rango del tutor y la calidad real.

Usaremos solo los resultados observados para el análisis. Si falta un resultado para más del 5 por ciento de la muestra, también informaremos el efecto del tratamiento sobre si se observa o no el resultado. Cuando faltan las covariables de línea de base, imputaremos los valores faltantes con cero e incluiremos un indicador de ausencia como un control de línea de base adicional.