Eficacia de una intervención de lectura intensiva de dos años para estudiantes de inglés de escuela intermedia con dificultades de lectura (TCLD)

Hipótesis principal: Los estudiantes que reciben la intervención RISE superarán a los que reciben instrucción Business as Usual (BAU) en los elementos relacionados con la lectura, incluida la lectura de palabras, la fluidez y la comprensión al final del segundo año de tratamiento.

Hipótesis secundaria: Los estudiantes que reciben la intervención RISE superarán a los que reciben instrucción Business as Usual (BAU) en medidas de lectura de palabras y fluidez de lectura después de un año de tratamiento.

Descripción general del diseño de investigación

Los participantes de la Cohorte 1 serán reclutados en el otoño de 2018 (grados 6 y 7) y los participantes de la Cohorte 2 serán reclutados en el otoño de 2020 (grados 6 y 7). Los participantes que cumplan con los criterios de elegibilidad serán asignados aleatoriamente a una de dos condiciones: (1) la intervención RISE (una clase de 45 a 50 minutos, 5 días a la semana) o (2) una condición de comparación BAU. Los estudiantes identificados con discapacidades y que reciben educación especial que de otro modo cumplen con todos los criterios podrán participar en el estudio y se documentarán las intervenciones adicionales. Los profesores de tratamiento son contratados y capacitados por los investigadores. Los participantes en la condición de control suelen participar en una materia optativa durante ese período de clase (p. ej., cocina, música) y, a veces, en una clase de preparación para el examen estatal de alto riesgo. Los maestros serán asignados a una escuela y serán responsables de brindar instrucción a los estudiantes en grupos de 3 a 12 estudiantes.

Participantes

La muestra del Proyecto 3 estará compuesta por estudiantes de sexto y séptimo grado de seis escuelas intermedias de pobreza moderada a alta en Austin/San Antonio y en Houston con un gran número de estudiantes que están aprendiendo inglés como segundo idioma. Para evaluar la hipótesis principal, se realizará un ensayo de control aleatorio que integre dos cohortes de participantes que no se superpongan (intervención de dos años). Los investigadores identificarán a los participantes de la muestra utilizando los registros escolares existentes y como se describe en los criterios de inclusión/exclusión.

La cohorte 1 constará de 410 Els con dificultades de lectura significativas, 205 asignados a Intervención (RISE) y 205 a la condición de comparación BAU sin intervención a partir del otoño de 2018 (Año 1) y continuando en su condición asignada en el año 2 (estudiantes de 7º u 8º año de grado). La cohorte 2 será una muestra no superpuesta de 410 estudiantes identificados usando los mismos criterios de inclusión/exclusión y también asignados aleatoriamente a Intervención (RISE) o a la condición de comparación BAU sin intervención y permanecerán en esa condición hasta el año 2. Los estudiantes asignados al control pueden recibir BAU (documentado por el investigador) de sus escuelas, pero no recibirán intervención de lectura proporcionada por el investigador. Estas dos cohortes (N = 820 estudiantes) proporcionarán una muestra para potenciar completamente el análisis de datos.

Medidas y Procedimientos de Evaluación

Los datos para el Proyecto 3 se recopilan en 4 puntos temporales (principio y final del año para el año 1 y el año 2) para cada cohorte, lo que permite un análisis de los efectos del tratamiento después de uno y dos años de tratamiento (consulte la descripción de la intervención). El equipo de investigación que es responsable de contratar, capacitar y supervisar la recolección de datos en las escuelas, y de reclutar escuelas y participantes, tiene experiencia y ha trabajado en conjunto durante los últimos 10 años. Los recolectores de datos están ciegos a la condición asignada al azar de los participantes.

Las medidas de resultado primarias y secundarias se describen en la sección 9 (medidas de resultado).

Procedimientos de intervención

La intervención se describe en detalle en la sección 8 (Brazos, Grupos e Intervenciones).

Fidelidad de la Implementación. La fidelidad de la implementación se evaluará un mínimo de tres veces al año por maestro de intervención. Todos los maestros de intervención grabarán en audio todas las lecciones de intervención. Se seleccionará una muestra aleatoria de grabaciones y un codificador evaluará los indicadores clave del cumplimiento de la implementación de la intervención y la calidad de la implementación. Todos los codificadores serán capacitados y se establecerá la confiabilidad antes de la codificación independiente.

Maestros de intervención. En cada sitio, personal altamente capacitado contratado y supervisado por los investigadores administrará todos los tratamientos. Estos maestros recibirán 20 horas de capacitación antes de la implementación y luego capacitación continua y apoyo en el sitio durante al menos 10 horas por mes. Todos los tratamientos se proporcionarán diariamente en grupos de aproximadamente 8 a 11 estudiantes durante 50 minutos al día.

Condición de comparación Business as Usual (BAU). Los estudiantes asignados a BAU o condición de comparación participarán en una clase electiva que incluye opciones tales como música, cocina, cine, tiempo de estudio o preparación para exámenes de alto riesgo. Estos estudiantes participarán en el programa educativo normativo completo en sus escuelas, pero no recibirán ninguna instrucción del equipo de investigación.

Gestión de datos

Adquisición de datos. El equipo de gestión de datos elaborará formularios de adquisición de datos y pautas para completar dichos formularios. Cuando se requieran modificaciones a los procedimientos o formularios, el personal de administración de datos comunicará estos cambios al personal de cada sitio y se asegurará de que los manuales de procedimientos y formularios estén debidamente actualizados. El personal de gestión de datos también trabajará para garantizar la coherencia en el diseño de formularios, la revisión de formularios y la numeración de formularios. El personal de gestión de datos y estadística también trabaja con los administradores de datos para realizar auditorías de datos a fin de garantizar que las tasas de error sean insignificantes para todos los campos de datos.

Gestión de datos. El personal de gestión de datos lleva a cabo todas las actividades relacionadas con el diseño, la gestión y la recopilación de bases de datos de manera que todos los datos del proyecto se escriban en el almacén de datos del Instituto de Medición, Evaluación y Estadística de Texas (TIMES). El almacén está diseñado para la máxima integridad y estandarización de datos dentro y entre proyectos, al tiempo que permite la flexibilidad necesaria en los proyectos TIMES en sus diseños y medidas y métodos específicos. El uso del almacén como estructura de datos de gestión de proyectos principal aumenta la estandarización entre proyectos. El almacén también crea automáticamente un registro de auditoría electrónico de todas las actividades de gestión de datos que resultan en la modificación de incluso un solo elemento de datos, lo que, junto con la estandarización, es esencial para el control de calidad en las bases de datos electrónicas.

Análisis de los datos

Estrategia general, metodología y análisis. Las características descriptivas de los datos se examinarán antes del análisis. Las variables dependientes no normales se transformarán (logarítmicas, raíz cuadrada, inversa, etc.) según sea necesario y apropiado. Los valores atípicos se identificarán mediante un análisis de puntuación z modificado y se manejarán caso por caso de acuerdo con su apalancamiento e influencia en modelos específicos. Los supuestos de que los errores se distribuyen normalmente, son homocedásticos e independientes entre las unidades de muestreo y los niveles del modelo se evaluarán mediante el análisis de residuos. Por lo general, se supone que los residuos en los niveles más altos son normales multivariados e independientes de los errores de nivel más bajo. Los investigadores aumentarán los análisis residuales con diagnósticos de influencia. La heterogeneidad se abordará de acuerdo con su(s) fuente(s) aparente(s), utilizando transformaciones no lineales de predictor y/o variables dependientes según corresponda y sea necesario. Los investigadores abordarán la hipótesis principal de la investigación en el contexto de múltiples grupos (intervención RISE versus BAU), regresión multinivel y modelos de ecuaciones estructurales (SEM).

Plan Analítico. Se ajustarán regresiones de múltiples niveles y grupos múltiples y SEM para estimar el efecto principal del tratamiento en 1) los resultados de lectura de palabras y fluidez después de 1 año de intervención y lectura de palabras, fluidez y comprensión después de 2 años de intervención. centrarse según corresponda y usarse como covariables de nivel 1. Las medias a nivel de escuela en la prueba previa se incluirán como "efectos contextuales" para minimizar la variabilidad a nivel de escuela, mejorando el poder estadístico. Los efectos principales del tratamiento (suponiendo un modelo de intención de tratar) se estimarán a nivel de estudiante comparando las medias condicionales posteriores a la prueba para el grupo RISE y el grupo BAU en el contexto de modelos anidados. Se compararán los índices de ajuste para el modelo específico de grupo (es decir, medias posteriores a la prueba únicas estimadas para cada grupo) y el modelo restringido (es decir, medias posteriores a la prueba fijadas como iguales entre el tratamiento y los grupos) y la diferencia (Δχ2) se comparará con la valor crítico que corresponde a la diferencia en grados de libertad entre modelos (Δdf). Los tamaños del efecto se calcularán como Coberturas g.

Potencia y tamaño del efecto. Se utilizó simulación de datos para estimar el poder estadístico del efecto principal en los resultados de los estudiantes. Estos están pensados ​​como ejemplos que se pueden aplicar a todos los resultados primarios y secundarios. Para estimar el poder, se ignora la anidación en el sitio y los niveles de cohorte, ya que las correlaciones intraclase en estudios previos en escuelas similares han sido insignificantes al controlar la prueba previa. Además, la anidación parcial se ignoró en base a hallazgos previos para intervenciones de cohortes múltiples, de varios años y diseños parcialmente anidados implementados en estos dos sitios. Al bloquear en las escuelas y al controlar las covariables a nivel de la escuela, los efectos de agrupación del sitio, la cohorte y los pequeños grupos de instrucción fueron triviales para los resultados relacionados con la comprensión (.00-.01 para la intervención de 2 años con anidamiento parcial). La variabilidad en el tamaño del efecto no difirió estadísticamente de 0 (σδ2 < .0001), sugiriendo efectos de tratamiento fijos.

Los análisis de potencia supusieron una muestra de tiempo 1 de 820 estudiantes en 6 escuelas (n=205/escuela). En el modelo de población, los investigadores asignaron aleatoriamente los casos a tratamiento o BAU dentro de las escuelas. Los investigadores especificaron la deserción estudiantil como .10 anualmente para ambas condiciones en los sitios y en las cohortes sin deserción diferencial por condición o por interacciones que involucren la condición, lo que sugiere una muestra de aproximadamente 740 estudiantes en el momento de la evaluación 2 (primavera del año 1) y 670 en el momento de la evaluación 4 (primavera del año 2). Una tasa de deserción anual del 10% es consistente con estudios previos realizados por el equipo de investigación en escuelas similares. Los investigadores modelaron una covariable a nivel escolar para la prueba previa para maximizar el poder. En trabajos anteriores, las medidas previas a la prueba de los resultados de lectura de los estudiantes (es decir, lectura de palabras, comprensión, etc.) representaron alrededor del 75 % de la varianza de los resultados. Las puntuaciones de lectura posteriores a la prueba se modelaron como normales multivariadas con una media de 0 y una varianza de 1 en la población no tratada. Para la subpoblación asignada al tratamiento, la media posterior a la prueba se fijó en 0,20, lo que representa una diferencia media estandarizada a nivel de población entre el tratamiento y el control). Un efecto de tratamiento relacionado con la alfabetización de .20 representa un impacto significativo en esta población, tanto en las medidas de lectura a nivel de palabra como en los resultados de comprensión de lectura, ortografía y escritura.

En el modelo de muestra, los investigadores estimaron las medias posteriores a la prueba como parámetros libres en las condiciones de tratamiento y comparación, utilizando valores de población como valores iniciales. La probabilidad de rechazar la hipótesis nula cuando es falsa (es decir, poder estadístico) fue de .99 al modelar los efectos como fijos (σδ2 = 0) para muestras de 740 y 670. El sesgo del estimador72 fue inferior al 1%. Bajo los mismos supuestos, una diferencia de medias estandarizada de 0,10 se asoció con una potencia de al menos 0,80. Las estimaciones de potencia se calcularon para pruebas independientes de significación estadística. Sin embargo, muchos de los contrastes anteriores no son independientes. Para controlar el error de tipo 1 inflado asociado con las comparaciones múltiples, los investigadores proponen el enfoque del Paso M para modelos multinivel y de efectos mixtos y datos jerárquicos, que aprovecha la estructura de dependencia de las estadísticas de prueba individuales y ofrece un enfoque más poderoso que las alternativas para el manejo error familiar en datos anidados.