Randomiseret eksperiment af Playworks

Playworks er et skolebaseret program, der placerer fuldtidstrænere på lavindkomstskoler til at organisere spil og aktiviteter i frikvartererne. Robert Wood Johnson Foundation (RWJF) har indgået kontrakt med Mathematica Policy Research og dets underleverandør, John W. Gardner Center for Youth and Their Communities (JGC) ved Stanford University, om at udføre en grundig evaluering af Playworks. Niogtyve skoler, der var interesserede i at implementere Playworks, på tværs af seks byer i USA, blev tilfældigt tildelt behandlings- og kontrolgrupper i løbet af skoleåret 2010-2011 (kohorte 1) eller 2011-2012 (kohorte 2). Tilfældige opgaver blev udført inden for matchede grupper af skoler i hver by. I alt var der 12 blokke af matchede skoler. For hver blok blev en skole tilfældigt tildelt kontrolgruppen og resten til behandlingsgruppen.

I løbet af den etårige undersøgelsesperiode for hver kohorte modtog behandlingsskoler Playworks, og kontrolskoler var ikke berettiget til at implementere Playworks. Data fra elevundersøgelser, accelerometre og lærerundersøgelser blev indsamlet fra 4. og 5. klasses elever, lærere og skolepersonale cirka syv måneder efter, at Playworks første gang blev implementeret i behandlingsskoler.

Til elevundersøgelsen blev eleverne bedt om at gennemføre en 30-minutters elevundersøgelse i foråret i deres studieår om deres oplevelser i skolen. Et team af erfarne medarbejdere i undersøgelsesadministrationen administrerede undersøgelsen i elevernes klasseværelser. Ud over elevundersøgelsen blev lærerne bedt om at gennemføre en lærerundersøgelse, der spurgte lærerne om deres elevers oplevelser på skolen.

Et underudvalg af elever, der blev bedt om at udfylde elevundersøgelsen, bar også accelerometre i løbet af en eller to skoledage. I løbet af accelerometerets dataindsamlingsperiode ankom forskerholdet til deltagende klasseværelser i begyndelsen af ​​skoledagen. Teammedlemmer beskrev accelerometerets funktion og fastgjorde derefter en til hver godkendt elevs hofte ved hjælp af et elastisk bælte. Accelerometerdataene blev derefter behandlet med ActiLife 5-softwarepakken.

Indvirkningen af ​​Playworks på undersøgelsesresultater blev estimeret ved at sammenligne de gennemsnitlige resultater i behandlings- og kontrolskoler ved hjælp af regressionsmodeller tilpasset til analyseenheden (lærer eller elev). De regressionsmodeller, der blev brugt til analyse, omfattede indikatorer for tilfældige tildelingsblokke for at tage højde for det blokerede design og skolespecifikke tilfældige fejltermer for at tage højde for skolespecifikke effekter, der ikke kan tilskrives behandlingen. Kovariater blev også inkluderet i nogle modeller for at tage højde for signifikante forskelle mellem behandlings- og kontrolgrupper i demografiske karakteristika. Modeller for kontinuerte og binære udfaldsvariable blev tilpasset ved hjælp af henholdsvis mindste kvadraters estimering og logistisk regressionsestimation. Standardfejl for de estimerede indvirkninger på resultater på lærer- og elevniveau tegnede sig for klyngedannelse på skoleniveau ved brug af generaliserede estimeringsligninger. Modelbaserede p-værdier og effektstørrelser blev beregnet på baggrund af de estimerede påvirkninger og tilsvarende standardfejl og multiple sammenligningsjusteringer tegnede sig for korrelationer mellem de multiple tests. Prøvevægte blev brugt ved estimering af påvirkninger. Vægtene blev konstrueret til at tage højde for både udvælgelsessandsynlighederne for elever og lærere i stikprøven og ikke-svar.