Účinnost dvouleté intenzivní intervence ve čtení pro studenty angličtiny na střední škole s problémy se čtením (TCLD)

Primární hypotéza: Studenti, kteří dostanou intervenci RISE, překonají na konci druhého roku léčby výuku Business as Usual (BAU) v prvcích souvisejících se čtením, včetně čtení slov, plynulosti a porozumění.

Sekundární hypotéza: Studenti, kteří dostanou intervenci RISE, překonají po jednom roce léčby ty, kteří dostanou výuku Business as Usual (BAU) o měření čtení slov a plynulosti čtení.

Přehled návrhu výzkumu

Účastníci kohorty 1 budou náborováni na podzim 2018 (6. a 7. třída) a účastníci kohorty 2 budou náborováni na podzim 2020 (6. a 7. třída). Účastníci, kteří splňují kritéria způsobilosti, budou náhodně přiřazeni k jedné ze dvou podmínek: (1) intervence RISE (jedna 45 až 50minutová lekce, 5 dní v týdnu) nebo (2) srovnávací podmínka BAU. Studenti, u kterých bylo zjištěno, že mají zdravotní postižení a dostávají speciální vzdělání, kteří jinak splňují všechna kritéria, se budou moci zúčastnit studie a další intervence budou zdokumentovány. Vyšetřovatelé najímají a školí učitele léčby. Účastníci s kontrolním stavem se v tomto období obvykle účastní volitelných předmětů (např. vaření, hudba) a někdy i přípravné třídy na státní vysoký test. Učitelé budou přiděleni na jednu školu a zodpovědní za poskytování výuky studentům ve skupinách od 3 do 12 studentů.

Účastníci

Vzorek Projektu 3 se bude skládat ze studentů 6. a 7. ročníku ze šesti středních škol se střední až vysokou chudobou v Austinu/San Antoniu a v Houstonu s velkým počtem studentů, kteří se učí angličtinu jako druhý jazyk. K vyhodnocení primární hypotézy bude provedena jedna randomizovaná kontrolní studie integrující dvě nepřekrývající se kohorty účastníků (dvouletá intervence). Vyšetřovatelé identifikují účastníky vzorku pomocí existujících školních záznamů a jak je popsáno v kritériích pro zařazení/vyloučení.

Kohorta 1 se bude skládat ze 410 Els se značnými potížemi se čtením, 205 přiřazených k intervenci (RISE) a 205 ke srovnávací podmínce bez intervence BAU počínaje podzimem 2018 (rok 1) a pokračovat ve svém přiřazeném stavu v roce 2 (studenti 7. nebo 8. ročník). Kohorta 2 bude nepřekrývajícím se vzorkem 410 studentů identifikovaných pomocí stejných kritérií pro zařazení/vyloučení a také náhodně přiřazených k intervenčnímu (RISE) nebo srovnávacímu stavu bez intervence a setrvání v tomto stavu do 2. roku. Studenti přiřazení ke kontrole mohou získat BAU služby (doloženo výzkumným pracovníkem) ze svých škol, ale neobdrží čtenářskou intervenci poskytovanou výzkumným pracovníkem. Tyto dvě kohorty (N = 820 studentů) poskytnou vzorek pro plnou analýzu dat.

Opatření a postupy hodnocení

Údaje pro Projekt 3 se shromažďují ve 4 časových bodech (začátek a konec roku pro rok 1 a rok 2) pro každou kohortu, což umožňuje analýzu účinků léčby po jednom a dvou letech léčby (viz popis intervence). Výzkumný tým, který je zodpovědný za najímání, školení a dohled nad sběrem dat ve školách a za nábor škol a účastníků, má zkušenosti a spolupracoval posledních 10 let. Sběrači dat jsou slepí k náhodně přiřazeným podmínkám účastníků.

Primární a sekundární výstupní míry jsou popsány v části 9 (výsledková opatření).

Intervenční procedury

Zásah je podrobně popsán v části 8 (Paže, skupiny a zásahy).

Věrnost implementace. Věrnost implementace bude hodnocena minimálně třikrát ročně na každého intervenčního učitele. Všichni intervenční učitelé budou nahrávat všechny intervenční lekce. Bude vybrán náhodný vzorek záznamů a klíčové indikátory dodržování implementace intervence a kvality implementace budou vyhodnoceny kodérem. Všichni kodéři budou proškoleni a spolehlivost bude ověřena před nezávislým kódováním.

Intervenční učitelé. Na každém místě bude veškeré ošetření poskytovat vysoce vyškolený personál najatý a pod dohledem vyšetřovatelů. Těmto učitelům bude poskytnuto 20 hodin školení před implementací a poté průběžné školení a podpora na místě po dobu nejméně 10 hodin měsíčně. Všechny procedury budou poskytovány denně ve skupinách o velikosti cca 8-11 studentů po 50 minut denně.

Srovnávací podmínka podnikání jako obvykle (BAU). Studenti přiřazení k BAU nebo srovnávací podmínce se zúčastní volitelné třídy, která zahrnuje takové možnosti, jako je hudba, vaření, film, doba studia nebo příprava na vysoký test. Tito studenti se zúčastní celého normativního vzdělávacího programu na svých školách, ale nedostanou žádné instrukce od řešitelského týmu.

Správa dat

Získávání dat. Tým správy dat vytvoří formuláře pro získávání dat a pokyny pro vyplňování těchto formulářů. Jsou-li nutné úpravy postupů nebo formulářů, pracovníci správy dat sdělí tyto změny zaměstnancům na každém pracovišti a zajistí, aby byly příručky postupů a formulářů náležitě aktualizovány. Zaměstnanci správy dat budou také pracovat na zajištění konzistentnosti rozvržení formulářů, revizí formulářů a číslování formulářů. Zaměstnanci správy dat a statistiky také spolupracují se správci dat na provádění auditů dat, aby se zajistilo, že chybovost bude pro všechna datová pole zanedbatelná.

Správa dat. Pracovníci správy dat provádějí veškeré činnosti související s návrhem, správou a shromažďováním databází způsobem, který vede k zápisu všech projektových dat do datového skladu Texas Institute for Measurement, Evaluation and Statistics (TIMES). Sklad je navržen pro maximální integritu dat a standardizaci v rámci projektů i mezi nimi a zároveň umožňuje nezbytnou flexibilitu napříč projekty TIMES v jejich návrzích a konkrétních opatřeních a metodách. Použití skladu jako primární datové struktury pro řízení projektů zvyšuje standardizaci napříč projekty. Sklad také automaticky konstruuje elektronickou auditní stopu všech činností správy dat, jejichž výsledkem je úprava i jediného datového prvku, což je spolu se standardizací zásadní pro kontrolu kvality v elektronických databázích.

Analýza dat

Celková strategie, metodika a analýzy. Před analýzou budou prozkoumány popisné vlastnosti dat. Nenormální závislé proměnné budou transformovány (logaritmické, odmocniny, inverzní atd.) podle potřeby a potřeby. Odlehlé hodnoty budou identifikovány pomocí modifikované analýzy z-score a budou řešeny případ od případu podle jejich pákového efektu a vlivu v konkrétních modelech. Předpoklady, že chyby jsou normálně distribuované, homoskedastické a nezávislé napříč vzorkovacími jednotkami a úrovněmi modelu, budou vyhodnoceny analýzou reziduí. Obvykle se předpokládá, že rezidua na vyšších úrovních jsou vícerozměrná normální a nezávislá na chybách nižší úrovně. Vyšetřovatelé rozšíří reziduální analýzy o diagnostiku vlivů. Heterogenita bude řešena podle jejího zjevného zdroje (zdrojů) pomocí nelineárních transformací prediktorových a/nebo závislých proměnných, jak je vhodné a nutné. Výzkumníci se budou zabývat primární výzkumnou hypotézou v kontextu víceskupinových (RISE intervence v. BAU), víceúrovňové regrese a modelů strukturních rovnic (SEM).

Analytický plán. Vícenásobné skupinové, víceúrovňové regrese a SEM budou vhodné k odhadu hlavního účinku léčby na 1) výsledky čtení a plynulosti slov po 1 roce intervence a čtení slov, plynulost a porozumění po 2 letech intervence U každého modelu budou skóre před testem být vycentrován podle potřeby a použit jako kovariáty úrovně 1. Prostředky na úrovni školy před testem budou zahrnuty jako „kontextové efekty“, aby se minimalizovala variabilita na úrovni školy a zlepšila se statistická síla. Hlavní účinky léčby (za předpokladu modelu intent-to-treat) budou odhadnuty na úrovni studentů porovnáním podmíněných průměrů po testu pro skupinu RISE a skupinu BAU v kontextu vnořených modelů. Porovnají se fit indexy pro skupinově specifický model (tj. jedinečné průměry po testu odhadované pro každou skupinu) a omezený model (tj. průměry po testu zafixované jako stejné napříč léčbou a skupinami) a rozdíl (Δχ2) bude testován proti kritická hodnota, která odpovídá rozdílu ve stupních volnosti mezi modely (Δdf). Velikosti efektů budou vypočteny jako hedges g.

Výkon a velikost efektu. Simulace dat byla použita k odhadu statistické síly pro hlavní vliv na výsledky studentů. Tyto jsou zamýšleny jako příklady, které lze aplikovat na všechny primární a sekundární výsledky. Při odhadu síly je vnoření na úrovni lokality a kohorty ignorováno, protože korelace uvnitř třídy v předchozích studiích na podobných školách byly při kontrole před testem zanedbatelné. Částečné hnízdění bylo navíc ignorováno na základě předchozích zjištění pro vícekohortní, víceleté zásahy a částečně vnořené návrhy implementované v těchto dvou lokalitách. Při blokování na školách a při kontrole kovariát na úrovni školy byly efekty shlukování místa, kohorty a malých výukových skupin pro výsledky související s porozuměním triviální (0,00-0,01 pro 2letou intervenci s částečným vnořením). Variabilita velikosti účinku se statisticky nelišila od 0 (σδ2 < 0,0001), naznačuje fixní léčebné účinky.

Výkonové analýzy předpokládaly časový 1 vzorek 820 studentů ze 6 škol (n=205/škola). V populačním modelu vyšetřovatelé náhodně přiřadili případy k léčbě nebo BAU ve školách. Vyšetřovatelé specifikovali opotřebování studentů jako 0,10 ročně pro oba stavy napříč lokalitami a napříč kohortami bez rozdílného opotřebení podle stavu nebo interakcí zahrnujících stav, což naznačuje vzorek přibližně 740 studentů v době hodnocení 2 (jarní rok 1) a 670 studentů v době hodnocení 4 (jarní rok 2). Roční míra opotřebení ve výši 10 % je v souladu s předchozími studiemi provedenými výzkumným týmem na podobných školách. Vyšetřovatelé modelovali kovariát na školní úrovni pro předtest, aby maximalizovali sílu. V předchozí práci předtestová měření výsledků čtení žáků (tj. čtení slov, porozumění atd.) představovala asi 75 % rozptylu výsledku. Skóre odečítání po testech bylo modelováno jako multivariační normální s průměrem 0 a rozptylem 1 v neléčené populaci. Pro subpopulaci přiřazenou k léčbě byl posttestový průměr nastaven na 0,20, což představuje standardizovaný průměrný rozdíl na úrovni populace mezi léčbou a kontrolou). Účinek léčby související s gramotností 0,20 představuje v této populaci významný dopad jak na míru čtení na úrovni slov, tak na výsledky čtení s porozuměním, pravopisu a psaní.

Ve vzorovém modelu vyšetřovatelé odhadli posttestové průměry jako volné parametry v podmínkách léčby a srovnání s použitím hodnot populace jako výchozích hodnot. Pravděpodobnost zamítnutí nulové hypotézy, když je nepravdivá (tj. statistická síla) byla 0,99 při modelování efektů jako fixních (σδ2 = 0) pro vzorky 740 a 670. Vychýlení odhadu72 bylo menší než 1 %. Za stejných předpokladů byl standardizovaný průměrný rozdíl 0,10 spojen s mocninou alespoň 0,80. Odhady výkonu byly vypočteny pro nezávislé testy statistické významnosti. Mnohé z výše uvedených kontrastů však nejsou nezávislé. Aby bylo možné kontrolovat nafouknutou chybu typu 1 spojenou s vícenásobným srovnáním, navrhují výzkumníci přístup Step M pro víceúrovňové a smíšené modely efektů a hierarchická data, který využívá strukturu závislosti jednotlivých testovacích statistik a nabízí výkonnější přístup než alternativy pro zpracování. rodinná chyba ve vnořených datech.