Gerandomiseerd experiment van Playworks

Playworks is een schoolprogramma dat fulltime coaches op scholen met lage inkomens plaatst om tijdens de pauze spelletjes en activiteiten te organiseren. De Robert Wood Johnson Foundation (RWJF) heeft een contract gesloten met Mathematica Policy Research en zijn onderaannemer, het John W. Gardner Center for Youth and Their Communities (JGC) aan Stanford University, om Playworks grondig te evalueren. Negenentwintig scholen die geïnteresseerd waren in het implementeren van Playworks, verspreid over zes steden in de Verenigde Staten, werden tijdens het schooljaar 2010-2011 (cohort 1) of 2011-2012 (cohort 2) willekeurig toegewezen aan behandelings- en controlegroepen. Willekeurige toewijzing werd uitgevoerd binnen gematchte groepen scholen in elke stad. In totaal waren er 12 blokken van gematchte scholen. Voor elk blok werd willekeurig één school toegewezen aan de controlegroep en de rest aan de behandelgroep.

Tijdens de studieperiode van een jaar voor elk cohort ontvingen behandelscholen Playworks en kwamen controlescholen niet in aanmerking om Playworks te implementeren. Gegevens van studentenenquêtes, versnellingsmeters en lerarenenquêtes werden ongeveer zeven maanden nadat Playworks voor het eerst in behandelingsscholen was geïmplementeerd, verzameld onder leerlingen van het 4e en 5e leerjaar, leraren en schoolpersoneel.

Voor de studentenenquête is aan studenten gevraagd om in het voorjaar van hun studiejaar een studentenenquête van 30 minuten in te vullen over hun ervaringen op school. Een team van ervaren enquête-administratiemedewerkers nam de enquête af in de klaslokalen van de studenten. Naast de leerlingenenquête is aan docenten gevraagd om een ​​lerarenenquête in te vullen waarin leraren wordt gevraagd naar de ervaringen van hun leerlingen op school.

Een deelsteekproef van de leerlingen die gevraagd werd om de leerlingenenquête in te vullen, droeg ook versnellingsmeters gedurende één of twee schooldagen. Tijdens de gegevensverzamelingsperiode van de versnellingsmeter arriveerde het onderzoeksteam aan het begin van de schooldag bij de deelnemende klaslokalen. Teamleden beschreven de functie van de versnellingsmeter en bevestigden er vervolgens een aan de heup van elke student met toestemming, met behulp van een elastische riem. De versnellingsmetergegevens werden vervolgens verwerkt met het ActiLife 5-softwarepakket.

De impact van Playworks op studieresultaten werd geschat door de gemiddelde resultaten in behandelings- en controlescholen te vergelijken met behulp van regressiemodellen die waren aangepast aan de analyse-eenheid (leraar of student). De regressiemodellen die voor de analyse werden gebruikt, omvatten indicatoren voor willekeurige toewijzingsblokken om rekening te houden met het geblokkeerde ontwerp en schoolspecifieke willekeurige fouttermen om rekening te houden met schoolspecifieke effecten die niet aan de behandeling kunnen worden toegeschreven. In sommige modellen werden ook covariaten opgenomen om rekening te houden met significante verschillen tussen behandelings- en controlegroepen in demografische kenmerken. Modellen voor continue en binaire uitkomstvariabelen werden aangepast met behulp van respectievelijk kleinste-kwadratenschatting en logistische regressieschatting. Standaardfouten voor de geschatte impact op de resultaten op leraar- en leerlingniveau waren verantwoordelijk voor clustering op schoolniveau met behulp van gegeneraliseerde schattingsvergelijkingen. Op modellen gebaseerde p-waarden en effectgroottes werden berekend op basis van de geschatte effecten en bijbehorende standaardfouten en meervoudige vergelijkingsaanpassingen zorgden voor correlaties tussen de meerdere tests. Steekproefgewichten werden gebruikt bij het schatten van effecten. De gewichten werden geconstrueerd om rekening te houden met zowel de selectiekansen van studenten als docenten in de steekproef en non-respons.