Essai randomisé du programme d'action positive dans les écoles de Chicago et extension à la 8e année

Ce projet est l'un des sept d'un essai multisite de différents programmes mis en œuvre à l'échelle nationale. L'Oregon State University (OSU) et l'Université de l'Illinois à Chicago (UIC) mènent un essai randomisé en milieu scolaire pour évaluer l'efficacité du programme d'action positive (PA) afin de découvrir comment le programme fonctionne, de déterminer l'efficacité du programme Positive Action Programme d'action sur la réduction des comportements négatifs (y compris les comportements liés à la santé), l'augmentation des comportements positifs et l'amélioration de la réussite scolaire des élèves du primaire. Le programme Positive Action a été conçu pour promouvoir le développement social et du caractère (respect, responsabilité, altruisme, civisme, comportement prosocial) de manière à réduire les comportements antisociaux (violence, toxicomanie, délinquance) et à améliorer les performances scolaires (assiduité, résultats aux tests ). Quatorze écoles éligibles sélectionnées au cours de l'hiver 2004 sont composées de 7 paires appariées (traitement et contrôle); les écoles ont été appariées sur un « score de risque » composé de plusieurs caractéristiques de l'école. Les élèves de 3e année de l'année scolaire 2004-2005, leurs parents, leurs enseignants et leurs directeurs ont été interrogés au départ (automne 2004), au printemps et à l'automne 2005, au printemps 2006 et au printemps 2007. L'évaluation est basée sur plusieurs types de processus, de variables médiatrices et de données sur les résultats des dossiers scolaires (assiduité, éphémère, notes, performances aux tests, mesures disciplinaires et suspensions, et changements dans les caractéristiques de l'école et de la population étudiante), dossiers des élèves, sondages auprès des élèves, sondages auprès des parents , évaluations et sondages des enseignants et sondages auprès des administrateurs, recueillis auprès des écoles dans les deux conditions (à l'exception des informations sur la prestation du programme d'action positive). Le travail effectué à l'OSU se limite à la supervision globale par le Dr Flay de tous les aspects du projet et à l'analyse des données à l'aide de données anonymisées reçues du Dr DuBois à l'UIC et à la rédaction d'articles de recherche. Le travail effectué à l'UIC, dirigé par le Dr David DuBois, comprend tout le travail d'intervention, la collecte de données, la saisie de données, ainsi que certaines analyses de données et la rédaction de rapports. Le département américain de l'Éducation/IES a embauché un entrepreneur national, Mathematica Policy Research, Inc. (MPR) pour mener des enquêtes de base sur tous les sites de l'essai multisite jusqu'au printemps 2007. En outre, OSU/UIC administre une enquête auprès des étudiants spécifique au site qui est complémentaire aux enquêtes multi-sites pendant toutes les vagues de collecte de données. Comme le financement du projet a suivi le passage du Dr Flay de l'UIC à l'OSU en septembre 2005, l'OSU IRB fournit un examen de l'ensemble du projet. Depuis avril 2008, un nouveau financement permet la poursuite de l'étude jusqu'en mars 2012 et suit la cohorte cible d'élèves jusqu'à la fin de la 8e année alors qu'eux-mêmes et leurs enseignants et directeurs sont interrogés à l'automne 2008, au printemps 2009 et à nouveau avec leurs parents au printemps. 2010. La collecte de données pour l'étude complémentaire comprend également la collecte de la taille et du poids des enfants et des données d'évaluation des processus auprès des élèves et des enseignants. Il n'y aura aucune implication de MPR. La collecte des données s'est terminée en juin 2010.

Taux de consentement et mobilité :

Le consentement des parents a été obtenu avant que les élèves, les parents ou les enseignants ne remplissent les questionnaires lorsque les élèves étaient en 3e année. Soixante-dix-neuf pour cent des parents ont donné leur consentement au départ. Les étudiants rejoignant l'étude lors des vagues ultérieures ont été consentis à ce moment-là; les taux de consentement pour eux variaient de 65 % à 78 % pour les vagues 2 à 5. Tous les élèves ont reçu un nouveau consentement pour la deuxième phase de financement à la vague 6 (début de la 7e année); les taux de consentement étaient plus faibles aux vagues 6 à 8 (≈ 58 à 64 %). Ceci est cohérent avec les études précédentes qui ont montré que les taux de consentement diminuent à mesure que les niveaux scolaires augmentent. Les pourcentages de parents consentants qui ont fourni des rapports sur leurs enfants étaient de 72,3 %, 58,9 %, 52,2 %, 50,5 % et 72,9 % aux vagues 1, 2, 4, 5 et 8, respectivement. Deux facteurs qui ont probablement augmenté le taux de réponse des parents à la vague 8 étaient (1) une augmentation de l'incitatif financier pour remplir le rapport des parents et (2) une période intensive de communication téléphonique avec les familles pour noter l'augmentation de l'incitatif et encourager la participation à l'enquête. Les pourcentages d'élèves consentants pour lesquels les enseignants ont terminé les évaluations étaient de 74,6 %, 74,8 %, 72,4 %, 78,3 %, 74,4 % et 92,7 % pour les vagues 1, 2, 4, 5, 7 et 8, respectivement. À la vague 8, nous avons introduit une incitation supplémentaire au niveau de l'école pour des taux de 100 % d'achèvement de l'enquête auprès des enseignants, ce qui a probablement entraîné une augmentation des évaluations des enseignants terminées. Les schémas de mobilité ont été identifiés à l'aide des résultats d'une analyse de classe latente dans laquelle une solution à 5 classes s'est avérée la plus appropriée pour les données : 1) restants (durée moyenne de l'étude de 5,72 ans, N = 158), 2) participants temporaires (1,30 an, uniquement en 4e ou 5e année ; N=196), 3) entrées tardives (1,38 an ; N=308) ; 4) sortants précoces (0,94 ans ; N=263) et 5) sortants tardifs (3,23 ans ; N=287).

Analyses statistiques prévues :

Étant donné que l'essai était axé sur les grappes, nous avons évalué les élèves qui sont entrés dans les écoles après le début de l'essai (entrants), mais n'avons pas suivi les élèves individuels qui ont cessé de fréquenter les écoles de l'étude (sortants). Du point de vue des étudiants, au fil du temps, ils pourraient être considérés comme une « dynamique » (c'est-à-dire changement) cohorte de niveau. Des modèles multiniveaux seront utilisés pour tenir compte des variations au niveau de l'école et des élèves. Les données manquantes seront traitées à l'aide de l'hypothèse MAR (missing-at-random), car il est peu probable qu'une seule variable non mesurée ou un ensemble de variables puisse prédire l'absence de tous les élèves qui ont quitté ou rejoint les écoles d'essai après la randomisation. niveau (occasions de mesure imbriquées dans les élèves imbriqués dans les écoles) modèle de courbe de croissance pour analyser les effets du traitement sur divers résultats au niveau des élèves. Ces modèles prendront en compte toutes les observations et modéliseront les différences entre les écoles. Cette approche permet une analyse complète des multiples vagues de données disponibles et tient compte des modèles de changement au fil du temps. Des modèles de courbe de croissance à interception aléatoire seront d'abord estimés. À la suite du modèle d'interception aléatoire, un modèle à coefficient aléatoire sera exécuté pour tester s'il existe une variation significative du changement des élèves dans le temps, plutôt que tous les élèves dans chaque condition ayant le même schéma de changement. Un test Chi-carré (LR) du rapport de vraisemblance sera utilisé pour comparer l'ajustement du modèle avec et sans le coefficient aléatoire. Si un modèle avec un coefficient de temps aléatoire fournit un ajustement significativement meilleur pour un résultat donné, il sera signalé comme modèle final. Les effets de l'intervention sur les échelles collectées uniquement lors des vagues ultérieures (vagues 5 ou 6 et suivantes) seront testés avec l'interception définie au point final (vague 8) avec le terme de condition indiquant une éventuelle différence d'effets à la dernière (vague 8).

Étant donné que seulement 14 écoles participent à cet essai et que l'effet de l'AP est testé au niveau de l'école dans un essai randomisé en grappes, nous effectuerons plusieurs analyses de sensibilité. Tout d'abord, nous évaluerons la signification statistique de l'estimation du coefficient PA et de son erreur type à l'aide de la distribution t à 12 degrés de liberté : 14 écoles - 1 (l'effet de condition) - 1 = 12 dl, ce qui permet une approche plus conservatrice. Une deuxième approche sera une analyse au niveau des paires, estimée sous la forme d'un modèle à quatre niveaux : occasions de mesure imbriquées dans les élèves, imbriquées dans les écoles, imbriquées dans les paires appariées.

En plus des données d'enquête au niveau des élèves, plusieurs mesures d'archives au niveau de l'école seront analysées. Étant donné que ces données sont au niveau de l'école, les modèles de courbe de croissance seront à deux niveaux (observations au sein des écoles) plutôt qu'à trois niveaux. En raison de la petite quantité de données (le nombre d'écoles multiplié par le nombre de vagues) et des limites de puissance qui en résultent, ces analyses n'utiliseront que le modèle d'interception aléatoire.

Nous testerons la modération par sexe et par mobilité étudiante. Les tests de modération révéleront pour qui le programme a ses effets ; c'est-à-dire que ces tests nous permettront d'évaluer si les effets du programme diffèrent selon le sexe ou la mobilité d'un enfant. Nous ne testerons pas la modération par origine ethnique car elle est fortement confondue avec l'école, avec 3 paires d'écoles ayant une inscription majoritairement afro-américaine et 2 paires d'écoles ayant une inscription majoritairement hispanique.

Bien que les 14 écoles aient été retenues tout au long du CRCT, la population étudiante de cet essai était très mobile. Il est donc important de tester les effets modérateurs potentiels des schémas de mobilité des étudiants. Une approche récente pour analyser les modèles de mobilité est l'analyse des classes latentes (ACV). Les schémas de mobilité décrits ci-dessus peuvent alors être testés en tant que modérateurs des effets du programme ; c'est-à-dire, examiner si les étudiants ayant des schémas de mobilité différents ont des effets de programme différents.

Des analyses de médiation permettront d'examiner les mécanismes d'action du programme AP. Nous allons d'abord estimer l'effet bivarié de X sur Y sans le médiateur inclus dans le modèle. Ensuite, nous allons estimer simultanément l'effet direct de X sur Y avec le médiateur inclus dans le modèle, ainsi que l'effet médiatisé, qui consiste en l'effet de X sur M × M sur Y.