Prueba aleatoria del Programa de Acción Positiva en las escuelas de Chicago y extensión al grado 8

Este proyecto es uno de los siete en una prueba multisitio de diferentes programas que se ha implementado a nivel nacional. La Universidad Estatal de Oregón (OSU) y la Universidad de Illinois en Chicago (UIC) están realizando un ensayo aleatorio basado en la escuela para evaluar la eficacia del programa de Acción Positiva (PA) para averiguar cómo funciona el programa, para determinar la efectividad del Programa de Acción Positiva. Programa de acción para reducir los comportamientos negativos (incluidos los comportamientos relacionados con la salud), aumentar los comportamientos positivos y mejorar el rendimiento académico de los estudiantes de primaria. El programa de Acción Positiva fue diseñado para promover el desarrollo social y del carácter (respeto, responsabilidad, altruismo, virtud cívica, comportamiento prosocial) de manera que reduzca el comportamiento antisocial (violencia, uso de sustancias, delincuencia) y mejore el desempeño escolar (asistencia, puntajes de exámenes ). Catorce escuelas elegibles seleccionadas durante el invierno de 2004 se componen de 7 pares emparejados (tratamiento y control); las escuelas se emparejaron según una "puntuación de riesgo" compuesta por múltiples características escolares. Los estudiantes de tercer grado en el año escolar 2004-05, sus padres, maestros y directores fueron encuestados al inicio (otoño de 2004), primavera y otoño de 2005, primavera de 2006 y primavera de 2007. La evaluación se basa en múltiples tipos de procesos, variables mediadoras y datos de resultados de los registros escolares (asistencia, transitoriedad, calificaciones, desempeño en pruebas, medidas disciplinarias y suspensiones, y cambios en las características de la población escolar y estudiantil), registros de estudiantes, encuestas de estudiantes, encuestas de padres , calificaciones y encuestas de maestros, y encuestas de administradores, recopilados de escuelas en ambas condiciones (excepto información sobre la entrega del programa de Acción Positiva). El trabajo que se realiza en OSU se limita a la supervisión general del Dr. Flay de todos los aspectos del proyecto y el análisis de datos utilizando datos no identificados recibidos del Dr. DuBois en UIC y la redacción de trabajos de investigación. El trabajo que se realiza en UIC, dirigido por el Dr. David DuBois, incluye todo el trabajo de intervención, recopilación de datos, ingreso de datos y algunos análisis de datos y redacción de informes. El Departamento de Educación de EE. UU./IES contrató a un contratista nacional, Mathematica Policy Research, Inc. (MPR) para realizar encuestas básicas en todos los sitios del ensayo multisitio hasta la primavera de 2007. Además, OSU/UIC está administrando una encuesta de estudiantes específica del sitio que es complementaria a las encuestas de múltiples sitios durante todas las oleadas de recopilación de datos. Como la financiación del proyecto siguió al traslado del Dr. Flay de UIC a OSU en septiembre de 2005, OSU IRB proporciona una revisión del proyecto en general. A partir de abril de 2008, los nuevos fondos permiten la continuación del estudio hasta marzo de 2012 y siguen la cohorte objetivo de estudiantes hasta el final del 8.° grado, ya que ellos y sus maestros y directores son encuestados en el otoño de 2008, la primavera de 2009 y nuevamente junto con sus padres en la primavera. 2010. La recopilación de datos para el estudio de continuación también incluye la recopilación de la altura y el peso de los niños y los datos de evaluación del proceso de los estudiantes y maestros. No habrá participación de MPR. La recopilación de datos se completó en junio de 2010.

Tasas de Consentimiento y Movilidad:

Se obtuvo el consentimiento de los padres antes de que los estudiantes, padres o maestros completaran las encuestas cuando los estudiantes estaban en el grado 3. El setenta y nueve por ciento de los padres dieron su consentimiento al inicio. Los estudiantes que se unieron al estudio en oleadas posteriores recibieron su consentimiento en ese momento; las tasas de consentimiento para ellos oscilaron entre el 65 % y el 78 % para los relevamientos 2-5. Todos los estudiantes volvieron a recibir su consentimiento para la segunda fase de financiación en Wave 6 (comienzo del grado 7); las tasas de consentimiento fueron más bajas en los Relevamientos 6 a 8 (≈ 58 a 64%). Esto es consistente con estudios previos que han encontrado que las tasas de consentimiento disminuyen a medida que aumentan los niveles de grado. Los porcentajes de padres que dieron su consentimiento y proporcionaron informes sobre sus hijos fueron 72,3 %, 58,9 %, 52,2 %, 50,5 % y 72,9 % en los relevamientos 1, 2, 4, 5 y 8, respectivamente. Dos factores que probablemente aumentaron la tasa de respuesta de los padres en Wave 8 fueron (1) un aumento en el incentivo financiero para completar el informe de los padres y (2) un período intensivo de comunicación telefónica con las familias para notar el aumento del incentivo y alentar la finalización de la encuesta. Los porcentajes de estudiantes con consentimiento para los cuales los maestros completaron las calificaciones fueron 74,6 %, 74,8 %, 72,4 %, 78,3 %, 74,4 % y 92,7 % para los ciclos 1, 2, 4, 5, 7 y 8, respectivamente. En Wave 8, introdujimos un incentivo adicional a nivel escolar para tasas de 100% de finalización de la encuesta de maestros, lo que probablemente resultó en un aumento en las calificaciones de maestros completados. Los patrones de movilidad se identificaron utilizando los resultados de un análisis de clase latente en el que se encontró que una solución de 5 clases era la más adecuada para los datos: 1) personas que se quedan (duración promedio del estudio de 5,72 años, N = 158), 2) participantes temporales (1,30 años, solo en los grados 4 o 5; N=196), 3) Ingresantes tardíos (1,38 años; N=308); 4) abandonos tempranos (0,94 años; N=263), y 5) abandonos tardíos (3,23 años; N=287).

Análisis estadísticos planificados:

Debido a que la prueba se centró en grupos, evaluamos a los estudiantes que ingresaron a las escuelas después del comienzo de la prueba (ingresantes), pero no seguimos a los estudiantes individuales que dejaron de asistir a las escuelas del estudio (abandonos). Desde el punto de vista de los estudiantes, a lo largo del tiempo podrían considerarse una "dinámica" (es decir, cambiante) cohorte de grado. Se utilizarán modelos multinivel para tener en cuenta la variación a nivel de escuela y de estudiante. Los datos faltantes se abordarán utilizando la suposición de ausencia aleatoria (MAR), ya que es poco probable que una sola variable no medida o un conjunto de variables prediga la ausencia de todos los estudiantes que abandonaron o se unieron a las escuelas de prueba después de la aleatorización. nivel (ocasiones de medición anidadas dentro de los estudiantes anidadas dentro de las escuelas) modelo de curva de crecimiento para analizar los efectos del tratamiento en varios resultados a nivel de estudiante. Estos modelos tendrán en cuenta todas las observaciones y las diferencias entre escuelas modelo. Este enfoque permite un análisis completo de las múltiples oleadas de datos disponibles y tiene en cuenta los patrones de cambio a lo largo del tiempo. Primero se estimarán los modelos de curva de crecimiento de intersección aleatoria. Siguiendo el modelo de intersección aleatoria, se ejecutará un modelo de coeficiente aleatorio para probar si existe una variación significativa en el cambio de los estudiantes a lo largo del tiempo, en lugar de que todos los estudiantes en cada condición tengan el mismo patrón de cambio. Se utilizará una prueba de chi-cuadrado de razón de verosimilitud (LR) para comparar el ajuste del modelo con y sin el coeficiente aleatorio. Si un modelo con un coeficiente de tiempo aleatorio proporciona un ajuste significativamente mejor para un resultado dado, se informará como el modelo final. Los efectos de la intervención en las escalas recolectadas solo en las oleadas posteriores (ondas 5 o 6 en adelante) se probarán con la intersección establecida en el punto final (onda 8) con el término de condición que indica una posible diferencia en los efectos en la última (onda 8).

Debido a que solo 14 escuelas están en este ensayo, y el efecto de PA se prueba a nivel de escuela en un ensayo aleatorizado por grupos, realizaremos varios análisis de sensibilidad. Primero, evaluaremos la significación estadística de la estimación del coeficiente PA y su error estándar usando la distribución t con 12 grados de libertad: 14 escuelas - 1 (el efecto de la condición) - 1 = 12 gl proporcionando un enfoque más conservador. Un segundo enfoque será un análisis a nivel de pares, estimado como un modelo de cuatro niveles: ocasiones de medición anidadas dentro de los estudiantes, anidadas dentro de las escuelas, anidadas dentro de pares emparejados.

Además de los datos de la encuesta a nivel de estudiante, se analizarán varias medidas de archivo a nivel escolar. Debido a que estos datos son a nivel de escuela, los modelos de curva de crecimiento serán de dos niveles (observaciones dentro de las escuelas) en lugar de tres niveles. Debido a la pequeña cantidad de datos (la cantidad de escuelas multiplicada por la cantidad de ondas) y las limitaciones de potencia resultantes, estos análisis utilizarán únicamente el modelo de intersección aleatoria.

Probaremos la moderación por género y por movilidad estudiantil. Las pruebas de moderación revelarán para quién tiene efectos el programa; es decir, estas pruebas nos permitirán evaluar si los efectos del programa difieren según el género o la movilidad del niño. No evaluaremos la moderación por etnicidad porque se confunde mucho con la escuela, con 3 pares de escuelas con una inscripción mayoritariamente afroamericana y 2 pares de escuelas con una inscripción mayoritariamente hispana.

Si bien las 14 escuelas se mantuvieron durante todo el CRCT, la población estudiantil en este ensayo fue muy móvil. Por lo tanto, es importante evaluar los posibles efectos moderadores de los patrones de movilidad de los estudiantes. Un enfoque reciente para analizar patrones de movilidad es el análisis de clase latente (LCA). Los patrones de movilidad descritos anteriormente pueden probarse como moderadores de los efectos del programa; es decir, examinar si los estudiantes con diferentes patrones de movilidad tienen diferentes efectos del programa.

Los análisis de mediación nos permitirán examinar los mecanismos de acción del programa de AP. Primero estimaremos el efecto bivariado de X sobre Y sin el mediador incluido en el modelo. Luego, estimaremos simultáneamente el efecto directo de X sobre Y con el mediador incluido en el modelo, así como el efecto mediado, que consiste en el efecto de X sobre M × M sobre Y.