Skuteczność dwuletniej intensywnej interwencji czytelniczej dla uczniów szkół średnich z trudnościami w czytaniu (TCLD)

Hipoteza podstawowa: Uczniowie otrzymujący interwencję RISE osiągną lepsze wyniki niż ci, którzy otrzymują instrukcje Business as Usual (BAU) w zakresie elementów związanych z czytaniem, w tym czytania słów, płynności i rozumienia pod koniec drugiego roku leczenia.

Hipoteza drugorzędna: Uczniowie otrzymujący interwencję RISE osiągną lepsze wyniki niż ci, którzy otrzymują instrukcje Business as Usual (BAU) dotyczące pomiarów czytania słów i płynności czytania po roku leczenia.

Przegląd projektu badawczego

Uczestnicy Kohorty 1 zostaną zrekrutowani jesienią 2018 r. (6. i 7. klasa), a uczestnicy Kohorty 2. jesienią 2020 r. (6. i 7. klasa). Uczestnicy, którzy spełniają kryteria kwalifikacyjne, zostaną losowo przydzieleni do jednego z dwóch warunków: (1) interwencja RISE (jedna lekcja trwająca od 45 do 50 minut, 5 dni w tygodniu) lub (2) warunek porównania BAU. Uczniowie zidentyfikowani jako niepełnosprawni i otrzymujący specjalne wykształcenie, którzy poza tym spełniają wszystkie kryteria, będą mogli uczestniczyć w badaniu, a dodatkowe interwencje zostaną udokumentowane. Nauczyciele leczenia są zatrudniani i szkoleni przez badaczy. Uczestnicy w stanie kontrolnym zazwyczaj uczestniczą w zajęciach fakultatywnych w tym okresie zajęć (np. gotowanie, muzyka), a czasami w zajęciach przygotowujących do państwowego testu z wysokimi stawkami. Nauczyciele zostaną przydzieleni do jednej szkoły i będą odpowiedzialni za nauczanie uczniów w grupach liczących od 3 do 12 uczniów.

Uczestnicy

Próba Projektu 3 będzie się składać z uczniów klas 6 i 7 z sześciu szkół średnich o umiarkowanym lub wysokim ubóstwie w Austin/San Antonio oraz w Houston, z dużą liczbą uczniów, którzy uczą się języka angielskiego jako drugiego języka. Aby ocenić pierwotną hipotezę, zostanie przeprowadzone jedno randomizowane badanie kontrolne obejmujące dwie nienakładające się kohorty uczestników (interwencja dwuletnia). Badacze zidentyfikują wybranych uczestników na podstawie zachowanych akt szkolnych i zgodnie z opisem w kryteriach włączenia/wyłączenia.

Kohorta 1 będzie składać się z 410 Els ze znacznymi trudnościami w czytaniu, 205 przydzielonych do interwencji (RISE) i 205 do warunków porównawczych BAU bez interwencji, począwszy od jesieni 2018 r. rok szkolny). Kohorta 2 będzie nienakładającą się próbą 410 uczniów zidentyfikowanych przy użyciu tych samych kryteriów włączenia/wyłączenia, a także losowo przydzielonych do warunków Interwencji (RISE) lub warunku porównania BAU bez interwencji i pozostających w tym stanie przez rok 2. Studenci przypisani do grupy kontrolnej mogą otrzymać BAU usług (udokumentowanych przez badacza) ze swoich szkół, ale nie otrzymają interwencji czytelniczej zapewnianej przez badacza. Te dwie kohorty (N = 820 uczniów) zapewnią próbkę do pełnej analizy danych.

Środki i procedury oceny

Dane dla Projektu 3 są zbierane w 4 punktach czasowych (początek i koniec roku dla roku 1 i roku 2) dla każdej kohorty, co pozwala na analizę efektów leczenia po roku i dwóch latach leczenia (patrz opis interwencji). Zespół badawczy odpowiedzialny za zatrudnianie, szkolenie i nadzór nad gromadzeniem danych w szkołach oraz za rekrutację szkół i uczestników ma doświadczenie i współpracuje ze sobą od 10 lat. Zbieracze danych są ślepi na losowo przypisany stan uczestników.

Pierwotne i drugorzędowe miary wyników opisano w części 9 (miary wyników).

Procedury Interwencyjne

Interwencja została szczegółowo opisana w rozdziale 8 (Broń, grupy i interwencje).

Wierność realizacji. Wierność realizacji będzie oceniana co najmniej trzy razy w roku na nauczyciela interwencji. Wszyscy nauczyciele interwencyjni będą nagrywać wszystkie lekcje interwencyjne. Zostanie wybrana losowa próba nagrań, a koder oceni kluczowe wskaźniki przestrzegania i jakości realizacji interwencji. Wszyscy programiści zostaną przeszkoleni, a niezawodność zostanie ustalona przed niezależnym kodowaniem.

Nauczyciele interwencyjni. W każdym ośrodku wysoko wykwalifikowany personel zatrudniony i nadzorowany przez badaczy przeprowadzi wszystkie zabiegi. Nauczyciele ci otrzymają 20-godzinne szkolenie przed wdrożeniem, a następnie dalsze szkolenia i wsparcie na miejscu przez co najmniej 10 godzin miesięcznie. Wszystkie zabiegi będą wykonywane codziennie w grupach liczących około 8-11 uczniów przez 50 minut dziennie.

Warunek porównania działalności jak zwykle (BAU). Studenci przydzieleni do warunku BAU lub porównania będą uczestniczyć w zajęciach fakultatywnych, które obejmują takie opcje, jak muzyka, gotowanie, film, czas nauki lub przygotowanie do testu o wysoką stawkę. Uczniowie ci będą uczestniczyć w pełnym normatywnym programie edukacyjnym w swoich szkołach, ale nie otrzymają żadnych instrukcji od zespołu badawczego.

Zarządzanie danymi

Pozyskiwanie danych. Zespół ds. zarządzania danymi opracuje formularze pozyskiwania danych i wytyczne dotyczące wypełniania tych formularzy. Gdy konieczne będą modyfikacje procedur lub formularzy, personel zarządzający danymi poinformuje o tych zmianach personel w każdej placówce i zapewni odpowiednią aktualizację podręczników procedur i formularzy. Personel zarządzający danymi będzie również pracował nad zapewnieniem spójności układu formularzy, rewizji formularzy i numeracji formularzy. Personel zarządzający danymi i personel statystyczny współpracują również z menedżerami danych w celu przeprowadzania audytów danych, aby zapewnić, że poziomy błędów są pomijalne dla wszystkich pól danych.

Zarządzanie danymi. Personel zarządzający danymi wykonuje wszystkie działania związane z projektowaniem baz danych, zarządzaniem nimi i ich gromadzeniem w taki sposób, że wszystkie dane projektu są zapisywane w magazynie danych Texas Institute for Measurement, Evaluation and Statistics (TIMES). Hurtownia została zaprojektowana z myślą o maksymalnej integralności i standaryzacji danych w obrębie projektów i pomiędzy projektami, przy jednoczesnym zapewnieniu niezbędnej elastyczności projektów TIMES w ich projektach oraz określonych środkach i metodach. Wykorzystanie hurtowni jako podstawowej struktury danych zarządzania projektami zwiększa standaryzację projektów. Hurtownia automatycznie konstruuje również elektroniczną ścieżkę audytu wszystkich działań związanych z zarządzaniem danymi, które skutkują modyfikacją choćby pojedynczego elementu danych, co wraz ze standaryzacją jest niezbędne do kontroli jakości w elektronicznych bazach danych.

Analiza danych

Ogólna strategia, metodologia i analizy. Cechy opisowe danych zostaną zbadane przed analizą. Zmienne zależne inne niż normalne zostaną przekształcone (logarytmiczne, pierwiastkowe, odwrotne itp.) w razie potrzeby i potrzeby. Wartości odstające będą identyfikowane za pomocą zmodyfikowanej analizy wyniku Z i obsługiwane indywidualnie w zależności od ich siły nacisku i wpływu w określonych modelach. Założenia, że ​​błędy mają rozkład normalny, homoskedastyczny i niezależny w jednostkach próby i poziomach modelu, zostaną ocenione poprzez analizę reszt. Zwykle zakłada się, że reszty na wyższych poziomach są wielowymiarowymi normalnymi i są niezależne od błędów niższego poziomu. Badacze rozszerzą analizy pozostałości o diagnostykę wpływu. Heterogeniczność zostanie omówiona zgodnie z jej widocznym źródłem (źródłami), przy użyciu nieliniowych przekształceń zmiennych predykcyjnych i/lub zależnych, jeśli jest to właściwe i konieczne. Badacze odniosą się do pierwotnej hipotezy badawczej w kontekście wielu grup (interwencja RISE v. BAU), regresji wielopoziomowej i modeli równań strukturalnych (SEM).

Plan analityczny. Regresje wielogrupowe, wielopoziomowe i SEM będą odpowiednie do oszacowania głównego wpływu leczenia na 1) wyniki w czytaniu słów i płynność po 1 roku interwencji oraz czytanie, płynność i rozumienie słów po 2 latach interwencji Dla każdego modelu wyniki testu wstępnego będą być odpowiednio wyśrodkowane i używane jako współzmienne poziomu 1. Średnie na poziomie szkoły w teście wstępnym zostaną uwzględnione jako „efekty kontekstowe”, aby zminimalizować zmienność na poziomie szkoły, poprawiając moc statystyczną. Główne efekty leczenia (przy założeniu modelu zgodnego z zamiarem leczenia) zostaną oszacowane na poziomie ucznia poprzez porównanie warunkowych średnich posttestowych dla grupy RISE i grupy BAU w kontekście modeli zagnieżdżonych. Wskaźniki dopasowania dla modelu specyficznego dla grupy (tj. unikalne średnie posttestowe oszacowane dla każdej grupy) i modelu z ograniczeniami (tj. średnie posttestowe ustalone jako równe dla leczenia i grup) zostaną porównane, a różnica (Δχ2) zostanie przetestowana względem wartość krytyczna odpowiadająca różnicy stopni swobody między modelami (Δdf). Wielkości efektów zostaną obliczone jako żywopłoty g.

Wielkość mocy i efektu. Do oszacowania mocy statystycznej głównego wpływu na wyniki uczniów wykorzystano symulację danych. Są one pomyślane jako przykłady, które można zastosować do wszystkich głównych i drugorzędnych wyników. W celu oszacowania mocy ignorowano zagnieżdżanie na poziomie miejsca i kohorty, ponieważ korelacje wewnątrzklasowe w poprzednich badaniach w podobnych szkołach były nieistotne przy kontrolowaniu testu wstępnego. Ponadto częściowe zagnieżdżanie zostało zignorowane na podstawie wcześniejszych ustaleń dotyczących wielu kohortowych, wieloletnich interwencji i częściowo zagnieżdżonych projektów wdrożonych w tych dwóch witrynach. Podczas blokowania w szkołach i kontrolowania współzmiennych na poziomie szkoły efekty grupowania miejsca, kohorty i małych grup instruktażowych były trywialne dla wyników związanych ze zrozumieniem (0,00-0,01 dla 2-letniej interwencji z częściowym zagnieżdżeniem). Zmienność wielkości efektu nie różniła się statystycznie od 0 (σδ2 < 0,0001), sugerując utrwalone efekty leczenia.

Analizy mocy przyjęły jednorazową próbę 820 uczniów z 6 szkół (n=205/szkoła). W modelu populacyjnym badacze losowo przydzielali przypadki do leczenia lub BAU w szkołach. Badacze określili utratę uczniów na 0,10 rocznie dla obu warunków w różnych ośrodkach i kohortach bez zróżnicowanego ścierania ze względu na stan lub interakcje związane z stanem, co sugeruje próbę około 740 uczniów w czasie oceny 2 (rok wiosenny 1) i 670 w czasie oceny 4 (rok wiosenny 2). Roczna stopa rezygnacji na poziomie 10% jest zgodna z wcześniejszymi badaniami przeprowadzonymi przez zespół badawczy w podobnych szkołach. Badacze stworzyli model współzmiennej na poziomie szkoły dla testu wstępnego, aby zmaksymalizować moc. W poprzedniej pracy miary wyników uczniów w czytaniu (tj. czytanie słów, rozumienie itp.) stanowiły około 75% wariancji wyników. Wyniki czytania po teście modelowano jako wieloczynnikowe normalne ze średnią 0 i wariancją 1 w populacji nieleczonej. Dla subpopulacji przydzielonej do leczenia, średnią po teście ustalono na 0,20, co reprezentuje standaryzowaną średnią różnicę na poziomie populacji między leczeniem a kontrolą). Efekt leczenia związany z umiejętnością czytania i pisania wynoszący 0,20 reprezentuje znaczący wpływ w tej populacji, zarówno na pomiary czytania na poziomie słów, jak i na wyniki w zakresie czytania ze zrozumieniem, pisowni i pisania.

W modelu próby badacze oszacowali średnie posttestu jako wolne parametry w warunkach leczenia i porównania, używając wartości populacji jako wartości początkowych. Prawdopodobieństwo odrzucenia hipotezy zerowej, gdy jest ona fałszywa (tj. moc statystyczna), wynosiło 0,99 przy modelowaniu efektów jako ustalonych (σδ2 = 0) dla próbek 740 i 670. Błąd systematyczny estymatora72 był mniejszy niż 1%. Przy tych samych założeniach standaryzowana średnia różnica wynosząca 0,10 była związana z mocą co najmniej 0,80. Szacunki mocy obliczono dla niezależnych testów istotności statystycznej. Jednak wiele z powyższych kontrastów nie jest niezależnych. Aby kontrolować zawyżony błąd typu 1 związany z wielokrotnymi porównaniami, badacze proponują podejście kroku M dla modeli wielopoziomowych i modeli z efektami mieszanymi oraz danych hierarchicznych, które wykorzystuje strukturę zależności poszczególnych statystyk testowych i oferuje bardziej wydajne podejście niż alternatywy do obsługi błąd rodzinny w zagnieżdżonych danych.