Randomizowana próba programu pozytywnego działania w szkołach w Chicago i rozszerzenie do klasy 8

Ten projekt jest jednym z siedmiu w wieloośrodkowej próbie różnych programów, które zostały wdrożone na poziomie krajowym. Oregon State University (OSU) i University of Illinois at Chicago (UIC) przeprowadzają w szkołach randomizowane badanie mające na celu ocenę skuteczności programu Positive Action (PA), aby dowiedzieć się, jak działa program, określić skuteczność programu Positive Action Program działań na rzecz ograniczania zachowań negatywnych (w tym zdrowotnych), zwiększania zachowań pozytywnych i poprawy wyników w nauce uczniów szkół podstawowych. Program działań pozytywnych został zaprojektowany w celu promowania rozwoju społecznego i charakteru (szacunek, odpowiedzialność, altruizm, cnoty obywatelskie, zachowania prospołeczne) w sposób, który ogranicza zachowania antyspołeczne (przemoc, używanie substancji psychoaktywnych, przestępczość) i poprawia wyniki w szkole (obecność, wyniki testów ). Czternaście kwalifikujących się szkół wybranych zimą 2004 r. składa się z 7 dobranych par (leczenie i kontrola); szkoły zostały dopasowane na podstawie „oceny ryzyka” składającej się z wielu cech szkół. Uczniowie klas 3 w roku szkolnym 2004-05, ich rodzice, nauczyciele i dyrektorzy zostali przebadani na początku (jesień 2004), wiosną i jesienią 2005, wiosną 2006 i wiosną 2007. Ocena opiera się na wielu rodzajach procesów, zmiennych pośredniczących i danych wynikowych z rejestrów szkolnych (obecność, przejściowość, stopnie, wyniki testów, działania dyscyplinarne i zawieszenia oraz zmiany w charakterystyce szkoły i populacji uczniów), akt uczniów, ankiet uczniów, ankiet rodziców , oceny i ankiety nauczycieli oraz ankiety administratorów, zebrane ze szkół w obu warunkach (z wyjątkiem informacji o realizacji programu Pozytywnych Działań). Praca wykonywana w OSU ogranicza się do ogólnego nadzoru dr. Flaya nad wszystkimi aspektami projektu oraz analizy danych z wykorzystaniem zdezidentyfikowanych danych otrzymanych od dr DuBois z UIC i pisania artykułów naukowych. Prace wykonywane w UIC, kierowane przez dr Davida DuBois, obejmują wszystkie prace interwencyjne, gromadzenie danych, wprowadzanie danych oraz niektóre analizy danych i pisanie raportów. Departament Edukacji USA / IES zatrudnił krajowego wykonawcę, firmę Mathematica Policy Research, Inc. (MPR), do przeprowadzenia podstawowych badań we wszystkich ośrodkach badania wieloośrodkowego do wiosny 2007 roku. Ponadto OSU/UIC zarządza ankietą skierowaną do uczniów, która jest uzupełnieniem ankiet w wielu lokalizacjach podczas wszystkich fal zbierania danych. Ponieważ finansowanie projektu nastąpiło po przejściu dr. Flaya z UIC do OSU we wrześniu 2005 r., OSU IRB zapewnia przegląd całego projektu. Od kwietnia 2008 r. nowe fundusze pozwalają na kontynuację badania do marca 2012 r. i podążają za docelową grupą uczniów do końca ósmej klasy, podczas gdy oni, ich nauczyciele i dyrektorzy są ankietowani jesienią 2008 r., wiosną 2009 r. i ponownie wiosną 2009 r. wraz z rodzicami 2010. Gromadzenie danych do badania kontynuacyjnego obejmuje również zbieranie wzrostu i wagi dzieci oraz danych dotyczących oceny procesu od uczniów i nauczycieli. Nie będzie udziału MPR. Zbieranie danych zakończono w czerwcu 2010 r.

Wskaźniki zgody i mobilność:

Zgodę rodziców uzyskano, zanim uczniowie, rodzice lub nauczyciele wypełnili ankiety, gdy uczniowie byli w klasie 3. Siedemdziesiąt dziewięć procent rodziców wyraziło zgodę na początku badania. Studenci przystępujący do badania w późniejszych falach uzyskali wówczas zgodę; wskaźniki zgody dla nich wahały się od 65% do 78% dla fal 2-5. Wszyscy uczniowie ponownie wyrazili zgodę na drugą fazę finansowania w Fali 6 (początek klasy 7); wskaźniki zgody były niższe w falach od 6 do 8 (≈ 58 do 64%). Jest to zgodne z wcześniejszymi badaniami, które wykazały, że wskaźniki zgody spadają wraz ze wzrostem poziomu ocen. Odsetki wyrażających zgodę rodziców, którzy przekazali raporty na temat swoich dzieci, wynosiły odpowiednio 72,3%, 58,9%, 52,2%, 50,5% i 72,9% w falach 1, 2, 4, 5 i 8. Dwa czynniki, które prawdopodobnie zwiększyły odsetek odpowiedzi rodziców w Fali 8, to (1) zwiększenie zachęty finansowej za wypełnienie raportu rodzica oraz (2) intensywny okres kontaktu telefonicznego z rodzinami w celu odnotowania wzrostu zachęty i zachęcenia do wypełnienia ankiety. Odsetek uczniów, którzy wyrazili zgodę, dla których nauczyciele ukończyli oceny, wynosił odpowiednio 74,6%, 74,8%, 72,4%, 78,3%, 74,4% i 92,7% dla fal 1, 2, 4, 5, 7 i 8. W fali 8 wprowadziliśmy dodatkową zachętę na poziomie szkoły za 100% wskaźnik wypełniania ankiet przez nauczycieli, co prawdopodobnie zaowocowało wzrostem ocen ukończonych nauczycieli. Wzorce mobilności zostały zidentyfikowane na podstawie wyników analizy klas ukrytych, w której rozwiązanie 5-klasowe okazało się najbardziej odpowiednie dla danych: 1) osoby pozostające na studiach (średni czas trwania badania 5,72 lat, N = 158), 2) uczestnicy tymczasowi (1,30 roku, tylko w klasach 4 lub 5; N=196), 3) spóźnieni (1,38 roku; N=308); 4) osoby wcześnie kończące naukę (0,94 roku; N=263) oraz 5) osoby późno kończące naukę (3,23 roku; N=287).

Planowane analizy statystyczne:

Ponieważ badanie skupiało się na klastrach, oceniliśmy uczniów, którzy weszli do szkół po rozpoczęciu badania (dołączający), ale nie obserwowaliśmy poszczególnych uczniów, którzy przestali uczęszczać do szkół (absolwenci). Z punktu widzenia studentów z biegiem czasu można ich było uznać za „dynamicznych” (tj. zmieniająca się) kohorta klas. Modele wielopoziomowe zostaną wykorzystane w celu uwzględnienia zróżnicowania na poziomie szkoły i ucznia. Brakujące dane zostaną uwzględnione przy użyciu założenia losowego braku danych (MAR), ponieważ jest mało prawdopodobne, aby pojedyncza niezmierzona zmienna lub zestaw zmiennych przewidywały braki dla wszystkich uczniów, którzy opuścili szkoły próbne lub dołączyli do nich po randomizacji. poziom (okazje pomiaru zagnieżdżone w uczniach zagnieżdżonych w szkołach) model krzywej wzrostu do analizy wpływu leczenia na różne wyniki na poziomie ucznia. Modele te będą uwzględniać wszystkie obserwacje i modelować różnice między szkołami. Takie podejście pozwala na pełną analizę wielu fal dostępnych danych i uwzględnia wzorce zmian w czasie. Najpierw zostaną oszacowane modele krzywej wzrostu z losowym przecięciem. Zgodnie z modelem losowego punktu przecięcia zostanie uruchomiony model losowego współczynnika, aby sprawdzić, czy istnieje znacząca zmienność zmian uczniów w czasie, czy też wszyscy uczniowie w każdym stanie mają ten sam wzorzec zmian. Test ilorazu wiarygodności Chi-kwadrat (LR) zostanie zastosowany do porównania dopasowania modelu ze współczynnikiem losowości i bez niego. Jeśli model z losowym współczynnikiem czasu zapewnia znacznie lepsze dopasowanie do danego wyniku, zostanie zgłoszony jako model ostateczny. Efekty interwencji na skalach zebranych tylko w późniejszych falach (fale 5 lub 6 i następne) będą testowane z punktem przecięcia ustawionym w punkcie końcowym (fala 8) z terminem warunku wskazującym możliwą różnicę w efektach na ostatniej (fala 8).

Ponieważ w tej próbie bierze udział tylko 14 szkół, a efekt PA jest testowany na poziomie szkoły w badaniu z randomizacją klastrową, przeprowadzimy kilka analiz wrażliwości. Najpierw ocenimy istotność statystyczną oszacowania współczynnika PA i jego błędu standardowego przy użyciu rozkładu t z 12 stopniami swobody: 14 szkół - 1 (efekt warunku) - 1 = 12 df przy założeniu bardziej konserwatywnego podejścia. Drugim podejściem będzie analiza na poziomie par, oszacowana jako czteropoziomowy model: okazje pomiaru zagnieżdżone w uczniach, zagnieżdżone w szkołach, zagnieżdżone w dobranych parach.

Oprócz danych z ankiety na poziomie uczniów, przeanalizowanych zostanie kilka środków archiwalnych na poziomie szkoły. Ponieważ dane te dotyczą poziomu szkoły, modele krzywej wzrostu będą dwupoziomowe (obserwacje w szkołach), a nie trzypoziomowe. Ze względu na niewielką ilość danych (liczba szkół razy liczba fal) i wynikające z tego ograniczenia mocy, w analizach tych wykorzystany zostanie wyłącznie model losowego punktu przecięcia.

Przetestujemy moderację według płci i mobilności uczniów. Testy moderacyjne pokażą, dla kogo program ma swoje skutki; czyli testy te pozwolą nam ocenić, czy efekty programu różnią się w zależności od płci lub mobilności dziecka. Nie będziemy testować moderacji ze względu na pochodzenie etniczne, ponieważ jest to wysoce mylone ze szkołą, przy czym 3 pary szkół mają zapisy głównie Afroamerykanów, a 2 pary szkół mają zapisy głównie Latynosów.

Podczas gdy wszystkie 14 szkół zostało zachowanych w całym CRCT, populacja uczniów w tym badaniu była bardzo mobilna. Dlatego ważne jest, aby przetestować potencjalne efekty moderujące wzorców mobilności studentów. Najnowszym podejściem do analizy wzorców mobilności jest analiza klas ukrytych (LCA). Opisane powyżej wzorce mobilności można następnie przetestować jako moderator efektów programu; to znaczy zbadanie, czy studenci o różnych wzorcach mobilności mają różne efekty programowe.

Analizy mediacji pozwolą nam zbadać mechanizmy działania programu PA. Najpierw oszacujemy dwuwymiarowy efekt X na Y bez uwzględnienia mediatora w modelu. Następnie jednocześnie oszacowamy efekt bezpośredni X na Y z mediatorem zawartym w modelu, a także efekt pośredni, na który składa się wpływ X na M × M na Y.