Kaksivuotisen intensiivisen lukemisen tehokkuus lukion englannin oppijoille, joilla on lukuvaikeuksia (TCLD)

Ensisijainen hypoteesi: RISE-interventiota saavat opiskelijat ovat parempia kuin ne, jotka saavat Business as Usual -opetusta (BAU) lukemiseen liittyvissä elementeissä, mukaan lukien sanan lukeminen, sujuvuus ja ymmärtäminen hoidon toisen vuoden lopussa.

Toissijainen hypoteesi: RISE-interventiota saavat opiskelijat menestyvät paremmin kuin ne, jotka saavat Business as Usual (BAU) -ohjetta sananluku- ja lukutaidon mittareissa yhden vuoden hoidon jälkeen.

Tutkimussuunnittelun yleiskatsaus

Kohorttiin 1 osallistujat rekrytoidaan syksyllä 2018 (6. ja 7. luokka) ja kohortin 2 osallistujat rekrytoidaan syksyllä 2020 (6. ja 7. luokka). Osallistujat, jotka täyttävät kelpoisuusehdot, määrätään satunnaisesti yhteen kahdesta ehdosta: (1) RISE-interventio (yksi 45–50 minuutin luokka, 5 päivää viikossa) tai (2) BAU-vertailuehto. Vammaiset ja erityiskoulutusta saavat opiskelijat, jotka muuten täyttävät kaikki kriteerit, saavat osallistua tutkimukseen ja lisätoimenpiteet dokumentoidaan. Tutkijat palkkaavat ja kouluttavat hoitoopettajia. Kontrollitilan osallistujat osallistuvat tyypillisesti valinnaisiin aineisiin kyseisen luokan aikana (esim. ruoanlaitto, musiikki) ja joskus valmennusluokkaan valtion korkean panoksen kokeeseen. Opettajat määrätään yhteen kouluun, ja he vastaavat opiskelijoiden ohjauksesta 3–12 opiskelijan ryhmissä.

Osallistujat

Projektin 3 näyte koostuu 6. ja 7. luokan opiskelijoista kuudesta kohtalaisen tai korkean köyhyyden keskikoulusta Austinissa/San Antoniossa ja Houstonissa, joissa on paljon opiskelijoita, jotka opiskelevat englantia toisena kielenä. Ensisijaisen hypoteesin arvioimiseksi suoritetaan yksi satunnaistettu kontrollikoe, joka yhdistää kaksi ei-päällekkäistä osallistujaryhmää (kahden vuoden interventio). Tutkijat tunnistavat otososallistujat käyttämällä olemassa olevia koulutietoja ja mukaanlukien/poissulkemiskriteerien mukaisesti.

Kohortti 1 koostuu 410 el:stä, joilla on merkittäviä lukuvaikeuksia, 205 interventioon (RISE) ja 205 ei interventioon liittyvään BAU-vertailuehtoon, joka alkaa syksystä 2018 (vuosi 1) ja jatkuu määrätyssä tilassaan vuonna 2 (oppilaat 7. tai 8.). luokkavuosi). Kohortti 2 on päällekkäinen otos, jossa on 410 opiskelijaa, jotka tunnistetaan samojen mukaanotto-/poissulkemiskriteerien perusteella ja jotka on myös satunnaisesti kohdistettu Intervention (RISE) tai ei interventiota BAU-vertailuehtoon ja jotka pysyvät siinä tilassa vuoden 2 ajan. Kontrolliin määrätyt opiskelijat voivat saada BAU:n palvelut (tutkijan dokumentoitu) kouluistaan, mutta ne eivät saa tutkijan tarjoamaa lukutoimintaa. Nämä kaksi kohorttia (N = 820 opiskelijaa) tarjoavat näytteen tietojen analysointia varten.

Toimenpiteet ja arviointimenettelyt

Hankkeen 3 tiedot kerätään neljältä aikapisteeltä (vuoden 1 ja 2 osalta vuoden alussa ja lopussa) jokaisesta kohortista, mikä mahdollistaa hoidon vaikutusten analysoinnin yhden ja kahden vuoden hoidon jälkeen (katso interventiokuvaus). Koulujen palkkaamisesta, koulutuksesta ja tiedonkeruun valvonnasta sekä koulujen ja osallistujien rekrytoinnista vastaava tutkimusryhmä on kokenut ja työskennellyt yhdessä viimeiset 10 vuotta. Tiedonkerääjät ovat sokeita osallistujien satunnaisesti määritetyille olosuhteille.

Ensisijaiset ja toissijaiset tulosmitat on kuvattu luvussa 9 (tulosmittaukset).

Interventiomenettelyt

Interventio on kuvattu yksityiskohtaisesti osiossa 8 (Aseet, ryhmät ja interventiot).

Toteutuksen uskollisuus. Toteutuksen luotettavuus arvioidaan vähintään kolme kertaa vuodessa interventioopettajaa kohden. Kaikki interventioopettajat äänittävät kaikki interventiotunnit. Tallenteista valitaan satunnainen otos ja koodaaja arvioi toimenpiteiden toteutuksen noudattamisen ja toteutuksen laadun avainindikaattorit. Kaikki koodaajat koulutetaan ja luotettavuus varmistetaan ennen itsenäistä koodausta.

Interventioopettajat. Jokaisella paikalla tutkijoiden palkkaama ja valvoma korkeasti koulutettu henkilöstö toimittaa kaikki hoidot. Näille opettajille tarjotaan 20 tuntia koulutusta ennen käyttöönottoa ja sen jälkeen jatkuvaa koulutusta ja tukea paikan päällä vähintään 10 tuntia kuukaudessa. Kaikki hoidot järjestetään päivittäin noin 8-11 opiskelijan ryhmäkokoissa 50 minuuttia päivässä.

Business as Usual (BAU) -vertailu. BAU- tai vertailuehtoon määrätyt opiskelijat osallistuvat valinnaiseen luokkaan, joka sisältää esimerkiksi musiikkia, ruoanlaittoa, elokuvaa, opiskeluaikaa tai korkean panoksen kokeeseen valmistautumista. Nämä opiskelijat osallistuvat koko normatiiviseen koulutusohjelmaan kouluissaan, mutta eivät saa ohjeita tutkimusryhmältä.

Tiedonhallinta

Tiedonkeruu. Tiedonhallintatiimi rakentaa tiedonhankintalomakkeet ja ohjeet lomakkeiden täyttämiseen. Kun menettelyihin tai lomakkeisiin on tehtävä muutoksia, tietohallinnon henkilökunta ilmoittaa näistä muutoksista kunkin toimipisteen henkilökunnalle ja varmistaa, että menettelyt ja lomakkeiden käsikirjat päivitetään asianmukaisesti. Tietohallintohenkilöstö pyrkii myös varmistamaan johdonmukaisuuden lomakkeiden asettelussa, lomakkeiden tarkistuksessa ja lomakkeiden numeroinnissa. Tietohallinto- ja tilastohenkilöstö työskentelee myös tietovastaavien kanssa tehdäkseen tietotarkastuksia varmistaakseen, että virheprosentit ovat mitättömiä kaikissa tietokentissä.

Tiedonhallinta. Tiedonhallintahenkilöstö suorittaa kaikki tietokannan suunnitteluun, hallintaan ja keräämiseen liittyvät toimet tavalla, joka johtaa siihen, että kaikki projektitiedot kirjoitetaan Texas Institute for Measurement, Evaluation and Statistics (TIMES) -tietovarastoon. Varasto on suunniteltu maksimaaliseen tietojen eheyteen ja standardointiin projekteissa ja niiden välillä, samalla kun se mahdollistaa tarvittavan joustavuuden TIMES-projektien suunnittelussa ja erityisissä toimenpiteissä ja menetelmissä. Varaston käyttö ensisijaisena projektinhallinnan tietorakenteena lisää standardointia projekteissa. Varasto rakentaa myös automaattisesti sähköisen kirjausketjun kaikista tiedonhallinnan toiminnoista, jotka johtavat yksittäisen tietoelementin muokkaamiseen, mikä yhdessä standardoinnin kanssa on olennaista sähköisten tietokantojen laadunvalvonnalle.

Tietojen analysointi

Yleinen strategia, menetelmät ja analyysit. Aineiston kuvaavat ominaisuudet tutkitaan ennen analysointia. Ei-normaalista riippuvaiset muuttujat muunnetaan (logaritminen, neliöjuuri, käänteis jne.) tarpeen mukaan. Poikkeamat tunnistetaan käyttämällä modifioitua z-pisteanalyysiä, ja niitä käsitellään tapauskohtaisesti niiden vipuvaikutuksen ja vaikutuksen mukaan tietyissä malleissa. Oletukset siitä, että virheet ovat normaalijakaumia, homoskedastisia ja riippumattomia mallin näytteenottoyksiköiden ja tasojen välillä, arvioidaan analysoimalla jäännösarvoja. Korkeampien tasojen jäännösten oletetaan yleensä olevan monimuuttujia normaaleja ja riippumattomia alemman tason virheistä. Tutkijat täydentävät jäännösanalyysejä vaikutusdiagnostiikan avulla. Heterogeenisuutta tarkastellaan sen ilmeisen lähteen (lähteiden) mukaan käyttämällä ennustaja- ja/tai riippuvaisten muuttujien epälineaarisia muunnoksia tarpeen mukaan. Tutkijat käsittelevät primaarista tutkimushypoteesia usean ryhmän (RISE-interventio v. BAU), monitasoisen regression ja rakenneyhtälömallien (SEM) kontekstissa.

Analyyttinen suunnitelma. Useat ryhmät, monitasoiset regressiot ja SEM:t sopivat arvioimaan hoidon pääasiallista vaikutusta 1) sananluku- ja sujuvuustuloksiin 1 vuoden hoidon jälkeen ja sanojen lukemiseen, sujuvuuteen ja ymmärtämiseen 2 vuoden hoidon jälkeen Jokaisen mallin esitestin pisteet keskitetään tarvittaessa ja käytetään tason 1 kovariaatteina. Koulutason keinot esitestissä sisällytetään "kontekstivaikutuksiksi" koulutason vaihtelun minimoimiseksi ja tilastollisen tehon parantamiseksi. Hoidon päävaikutukset (olettaen, että hoitoaihe on malli) arvioidaan opiskelijatasolla vertaamalla ehdollisia jälkitestin keskiarvoja RISE-ryhmälle ja BAU-ryhmälle sisäkkäisten mallien yhteydessä. Ryhmäkohtaisen mallin (eli jokaiselle ryhmälle arvioidut ainutlaatuiset testin jälkeiset keskiarvot) ja rajoitetun mallin (eli testin jälkeiset keskiarvot, jotka on vahvistettu yhtäläisiksi hoidossa ja ryhmissä) sovitusindeksejä verrataan ja eroa (Δχ2) testataan suhteessa kriittinen arvo, joka vastaa mallien välistä vapausasteiden eroa (Δdf). Tehosteiden koot lasketaan suojauksina g.

Tehon ja tehosteen koko. Datasimulaatiota käytettiin arvioimaan tilastollista tehoa pääasialliselle vaikutukselle opiskelijoiden tuloksiin. Nämä on tarkoitettu esimerkkeiksi, joita voidaan soveltaa kaikkiin ensisijaisiin ja toissijaisiin tuloksiin. Tehon arvioinnissa pesiytymistä paikka- ja kohorttitasolla ei oteta huomioon, koska luokan sisäiset korrelaatiot aikaisemmissa tutkimuksissa samanlaisissa kouluissa ovat olleet mitättömiä esitestiä ohjattaessa. Lisäksi osittainen sisäkkäisyys jätettiin huomioimatta aiempien havaintojen perusteella, jotka koskevat usean kohortin, monivuotisia interventioita ja osittain sisäkkäisiä suunnitelmia, jotka on toteutettu näissä kahdessa paikassa. Estettäessä kouluja ja kontrolloitaessa yhteismuuttujia koulutasolla, paikan, kohortin ja pienten opetusryhmien klusterointivaikutukset olivat merkityksettömiä ymmärtämiseen liittyvien tulosten kannalta (0,00-0,01 2-vuotisen interventioon, jossa on osittainen sisäkkäisyys). Vaikutuskoon vaihtelu ei eronnut tilastollisesti nollasta (σδ2 < .0001), ehdottaa kiinteitä hoitovaikutuksia.

Tehoanalyyseissä oletettiin kertaa 1 otokseen 820 oppilasta 6 koulusta (n=205/koulu). Populaatiomallissa tutkijat sijoittivat tapaukset satunnaisesti hoitoon tai BAU:hin kouluissa. Tutkijat määrittelivät opiskelijoiden poistuman arvoksi 0,10 vuosittain molemmille olosuhteille eri paikoissa ja kohortteissa ilman erilaista kulumista kunnon tai olosuhteisiin liittyvien vuorovaikutusten mukaan, mikä viittaa noin 740 opiskelijan otokseen arviointihetkellä 2 (kevätvuosi 1) ja 670 opiskelijan arviointihetkellä 4 (kevät 2). Vuotuinen 10 prosentin poistumisaste on yhdenmukainen tutkimusryhmän vastaavissa kouluissa tekemien aikaisempien tutkimusten kanssa. Tutkijat mallinsivat koulutason kovariaatin esitestiä varten tehon maksimoimiseksi. Aiemmassa työssä opiskelijoiden lukutulosten (eli sanan lukemisen, ymmärtämisen jne.) esitestausmittaukset muodostivat noin 75 % tulosvarianssista. Testin jälkeiset lukupisteet mallinnettiin monimuuttujanormaaliksi, jonka keskiarvo oli 0 ja varianssi 1 hoitamattomassa populaatiossa. Hoitoon osoitetulle alapopulaatiolle testin jälkeiseksi keskiarvoksi asetettiin 0,20, mikä edustaa populaatiotason standardoitua keskimääräistä eroa hoidon ja kontrollin välillä). Lukutaitoisuuteen liittyvä hoitovaikutus 0,20 edustaa merkittävää vaikutusta tässä populaatiossa sekä sanatason lukumittauksiin että luetun ymmärtämiseen, oikeinkirjoitukseen ja kirjoittamiseen.

Otosmallissa tutkijat arvioivat testin jälkeiset keskiarvot vapaiksi parametreiksi hoito- ja vertailuolosuhteissa käyttäen lähtöarvoina populaatioarvoja. Todennäköisyys nollahypoteesin hylkäämiselle, kun se on väärä (eli tilastollinen teho), oli 0,99, kun vaikutuksia mallinnettiin kiinteiksi (σδ2 = 0) näytteille 740 ja 670. Estimaattorin72 harha oli alle 1 %. Samoilla oletuksilla standardisoitu keskimääräinen ero 0,10 yhdistettiin vähintään 0,80:n tehoon. Tehoarviot laskettiin riippumattomille tilastollisen merkitsevyyden testeille. Monet yllä olevista kontrasteista eivät kuitenkaan ole riippumattomia. Useisiin vertailuihin liittyvän paisuneen tyypin 1 virheen hallitsemiseksi tutkijat ehdottavat monitasoisille ja sekavaikutteisille malleille ja hierarkkisille tiedoille Step M -lähestymistapaa, joka hyödyntää yksittäisten testitilastojen riippuvuusrakennetta ja tarjoaa tehokkaamman lähestymistavan kuin vaihtoehdot käsittelyyn. perhekohtainen virhe sisäkkäisissä tiedoissa.