Accroître la portée des programmes prometteurs de prévention du décrochage : examen des compromis entre l'échelle et l'efficacité

Les équipes de recherche du University of Chicago Education Lab et du Crime Lab New York mènent un essai contrôlé randomisé au cours des années universitaires 2016-17 et 2017-18 pour s'appuyer sur des collaborations antérieures avec les écoles publiques de Chicago (CPS), le département de la ville de New York. of Education et SAGA Innovations qui ont constaté que le tutorat intensif et individualisé de SAGA pendant la journée scolaire peut générer des gains très importants dans les résultats scolaires en peu de temps, même parmi les élèves qui ont de nombreuses années de retard par rapport au niveau scolaire. Cette recherche suggère la promesse de cette approche pour améliorer les compétences académiques et le niveau d'instruction des jeunes défavorisés, même une fois qu'ils ont atteint l'adolescence. Cependant, pour vraiment affecter les résultats aux niveaux local et national, SAGA devrait être déployé à une échelle beaucoup plus grande que ce que les chercheurs ont pu étudier à Chicago. Pourtant, on sait peu de choses sur la manière de transposer à grande échelle des interventions prometteuses. Cette étude vise à construire la science de la mise à l'échelle, en examinant dans quelle mesure ce programme de tutorat individualisé peut être mis en œuvre à une échelle encore plus grande et en explorant explicitement les compromis entre efficacité et échelle.

Le programme SAGA Innovations s'appuie sur l'innovation reconnue à l'échelle nationale du tutorat à forte dose en milieu scolaire développé dans l'école à charte de Match Education à Boston. Le programme de tutorat se déroule sous la forme d'un cours programmé, Math Lab, une fois par jour pendant la journée scolaire normale, et est proposé en plus du cours de mathématiques régulier d'un élève. Les étudiants travaillent à deux (deux étudiants avec un tuteur) avec le même tuteur professionnel à temps plein pendant toute l'année scolaire. Le contenu des séances de tutorat est aligné sur ce que les élèves apprennent dans leurs cours de mathématiques réguliers, mais vise également à combler les lacunes individuelles dans les connaissances en mathématiques. Suivant également le modèle original développé par Match Education, les tuteurs SAGA utilisent de fréquentes évaluations formatives internes des progrès des élèves pour individualiser l'enseignement.

Un précédent essai contrôlé randomisé mené par l'équipe de recherche de l'Université de Chicago a révélé qu'une année de cette intervention, dispensée en AY2013-14 dans les écoles publiques de Chicago, a généré entre une et deux années supplémentaires de croissance académique en mathématiques, au-delà de ce que le un lycéen américain normal apprend en un an (Cook et al., 2015 ; Reardon, 2011). Les effets estimés pour le rendement en mathématiques sont de l'ordre de 0,19 à 0,30 écart-type, selon le test exact et la normalisation utilisée. L'intervention a également amélioré les notes des élèves en mathématiques de 0,58 point sur une échelle de 1 à 4 points, par rapport à une moyenne de contrôle de 1,77. Ces gains sont particulièrement importants en raison des données de plus en plus nombreuses sur l'importance des mathématiques en particulier pour la réussite scolaire à court et à moyen terme et pour les résultats à long terme dans la vie tels que l'emploi et les revenus (Duncan et al., 2007).

Cette étude vise à s'appuyer sur les évaluations précédentes du programme par les enquêteurs et fournira un aperçu de la capacité de ce programme à servir les jeunes à une échelle beaucoup plus grande. Plus précisément, cette étude vise à répondre aux questions de recherche suivantes :

1. Quel est l'effet de la mise en œuvre à plus grande échelle d'un programme de tutorat individualisé fondé sur des données probantes ?
2. Quelle est la relation entre l'effet du programme et l'échelle à laquelle le programme est mis en œuvre ?

Les sites de mise en œuvre sont divisés en deux ensembles : les sites de Chicago dans lesquels les étudiants sont randomisés pour recevoir un tutorat (ci-après appelés écoles "à grande échelle"), et les sites de Chicago et de New York où les directeurs ont le pouvoir discrétionnaire principal de choisir les étudiants qui reçoivent tutorat (ci-après dénommés "écoles de retour").

Afin d'étudier la question de recherche n° 1, les chercheurs tireront parti de la puissance de l'échantillonnage aléatoire pour étudier la mise à l'échelle de ce programme sans avoir à mettre en œuvre le programme à une échelle beaucoup plus grande. La première question de recherche vise à mesurer la qualité moyenne du programme de mise à l'échelle à Chicago, dans lequel les chercheurs utiliseront les données des écoles de mise à l'échelle. Les élèves des écoles de mise à l'échelle et de retour sont tous deux affectés au hasard à des tuteurs. Cependant, les élèves des écoles de mise à l'échelle ont deux randomisations supplémentaires - (1) la randomisation du candidat tuteur et (2) la randomisation de l'affectation du traitement. Pour la première caractéristique, l'équipe de recherche recrute des tuteurs SAGA comme s'ils mettaient en œuvre à une échelle plus grande que prévu dans les écoles à grande échelle. Les enquêteurs sélectionnent ensuite au hasard un candidat tuteur sur trois et demi pour poursuivre le processus d'embauche standard de SAGA, et les postes dans les écoles à grande échelle ne sont pourvus que par ces tuteurs sélectionnés au hasard. Comme les étudiants sont assignés au hasard au traitement dans ces écoles à grande échelle, les enquêteurs seront en mesure de mesurer les effets du programme à environ trois fois et demie l'échelle à laquelle le programme est mis en œuvre dans ces écoles.

Pour mesurer les effets du traitement pour la question de recherche n° 1, l'équipe de recherche estimera à la fois l'intention de traiter (ITT) et les impacts du traitement sur les traités (TOT). Les chercheurs estimeront l'effet ITT comme suit :

Y=B0 + B1T + B2X + E

où Y est le résultat d'intérêt, T indique les étudiants qui sont assignés au hasard pour se voir offrir la possibilité de participer au programme de tutorat, X est un ensemble de contrôles de base (qui comprend spécifiquement le bloc de randomisation, le sexe, l'âge, les troubles d'apprentissage, le libre/ état réduit du déjeuner, race, niveau scolaire de base, GPA, nombre d'As/Bs/Cs/Ds/Fs au cours de l'année précédente, résultats aux tests standardisés de mathématiques et de lecture de l'année précédente, jours d'absence de l'école, incidents disciplinaires, y compris suspensions et arrestations , et un indicateur binaire pour les étudiants avec des données GPA et de fréquentation manquantes), E est un terme d'erreur aléatoire et B0, B1, B2 sont des paramètres à estimer. L'attribution aléatoire de T garantit que, selon les hypothèses standard, l'estimation par les moindres carrés ordinaires (OLS) donne une estimation non biaisée de l'ITT comme estimation de B1, ou l'effet de se voir offrir la participation au programme de tutorat SAGA. Comme tous les étudiants qui ont été randomisés dans le programme ont été jumelés avec des tuteurs qui ont été randomisés via le processus décrit ci-dessus, notre effet ITT (et par la suite, TOT) mesurera spécifiquement l'effet du programme lorsqu'il est administré à trois fois et demie. le barème tel qu'il est actuellement administré.

L'ITT mesure l'effet de se voir offrir la possibilité de participer. Comme les étudiants affectés au traitement ne sont pas tenus de participer au programme, l'ITT peut ne pas mesurer l'effet de la participation. L'équipe de recherche mesurera l'effet de la participation en utilisant l'assignation aléatoire de T comme instrument de participation. Si tous les participants ont été sélectionnés au hasard (c'est-à-dire s'il n'y a pas d'étudiants témoins autorisés à participer au programme de tutorat), cette méthode calcule l'effet du traitement sur les traités (TOT), ou l'effet de la participation pour le groupe d'étudiants qui choisir de participer.

Pour mieux comprendre la question de recherche n ° 2 ci-dessus, qui cherche à déterminer la relation entre l'échelle et les effets du programme, les tuteurs de tous les sites sont classés par la direction de SAGA en fonction de la qualité relative attendue. L'équipe de recherche répartira ensuite au hasard des paires d'étudiants en tuteurs dans le but d'identifier l'effet d'un tuteur sur les résultats des étudiants. En utilisant cette méthodologie, les chercheurs peuvent étudier si le classement des tuteurs prédit l'ampleur des effets du programme. Comme l'équipe de recherche suppose que le programme embaucherait des tuteurs dans l'ordre de leur classement en fonction du nombre de postes de tuteur qu'ils devaient combler, cette analyse mettra en lumière la relation entre l'échelle et l'efficacité.

Pour analyser l'impact d'être affecté à un tuteur d'un classement particulier (c'est-à-dire l'estimation ITT de la question de recherche n° 2), les enquêteurs exécuteront des modèles de régression qui régressent les résultats académiques sur le rang du tuteur. Notre principal résultat d'intérêt est les résultats des tests standardisés de mathématiques. Notre analyse principale modélisera les résultats comme une fonction linéaire du rang du tuteur. En tant qu'analyse exploratoire secondaire, nous estimerons la forme de la relation entre les résultats et le rang du tuteur à l'aide de l'exercice suivant de validation croisée "Leave-One-Out" :

1. Estimez la relation de manière non paramétrique en exécutant une régression au niveau de l'élève du résultat (primaire : scores aux tests standardisés en mathématiques) sur un ensemble complet d'effets fixes distincts pour chaque rang de tuteur. Appelons le coefficient sur l'effet fixe du rième tuteur classé, γ ̂_r.
2. Pour le rang r=1,…,R : Estimer à l'aide des données au niveau de l'élève la relation entre le résultat et le rang du tuteur sous la forme d'un polynôme d'ordre p=0, 1, 2, …, 10 tenant les élèves affectés aux tuteurs classés r out de l'échantillon. Utilisez les coefficients des termes polynomiaux pour prédire γ ̂_r, et appelez cela f ̂_p (r). Enregistrez l'erreur quadratique pour chaque polynôme : (f ̂_p (r)-γ ̂_r )^2.
3. Sélectionnez le polynôme p qui minimise ∑_(r=1)^R(f ̂_p (r)-γ ̂_r )^2 .
4. Indiquez la relation estimée entre le résultat et le rang en utilisant l'ordre de polynôme sélectionné.

En plus des fonctions de rang de tuteur, chaque régression comprendra des effets fixes de bloc qui capturent la façon dont les paires d'étudiants ont été assignées au hasard aux tuteurs. Les blocs incluent des groupes d'élèves au sein d'une classe avec des restrictions spéciales partagées (par ex. n'ayant aucune restriction, ayant besoin d'un tuteur hispanophone ou ayant besoin d'un tuteur qualifié pour les cours de mathématiques avancées). Les autres covariables du modèle seront les mêmes que celles incluses dans notre analyse ITT et TOT pour la question de recherche n° 1, indiquée ci-dessus, pour mesurer l'effet du programme lorsqu'il est administré à trois fois et demie l'échelle telle qu'elle est actuellement administré.

Au fur et à mesure que les étudiants changent de tuteur pour diverses raisons, les chercheurs devront également calculer l'estimation du TOT pour examiner l'impact d'être affecté à un tuteur d'un classement particulier et de travailler avec lui. Pour ce faire, les enquêteurs utiliseront le rang du tuteur assigné au hasard comme instrument pour le rang moyen pondéré du tuteur, où le poids accordé au rang de chaque tuteur est égal à la proportion de temps (mesuré en jours) que l'étudiant a passé avec ce tuteur. . Les enquêteurs utiliseront les données de fréquentation quotidiennes pour créer cette moyenne pondérée. Cette méthode aidera les enquêteurs à comprendre si travailler avec un tuteur de rang supérieur signifie qu'un élève reçoit réellement un enseignement de meilleure qualité, ou s'il existe une relation supplémentaire entre le rang du tuteur et la qualité réelle.

Nous n'utiliserons que les résultats observés pour l'analyse. Si un résultat manque pour plus de 5 % de l'échantillon, nous rapporterons également l'effet du traitement sur l'observation ou non du résultat. Lorsque les covariables de base sont manquantes, nous imputerons les valeurs manquantes avec zéro et inclurons un indicateur de manque comme contrôle de base supplémentaire.