読解困難のある中学校の英語学習者に対する 2 年間の集中読書介入の有効性 (TCLD)

一次仮説: RISE 介入を受けた学生は、治療 2 年目の終わりに単語の読解力、流暢さ、理解力など、読解力に関連する要素全体で、通常業務 (BAU) の指導を受けた学生よりも優れた成績を収めるでしょう。

二次仮説: RISE 介入を受けた学生は、1 年間の治療後、単語の読解力と読みの流暢さの測定に関する通常業務 (BAU) の指導を受けた学生よりも優れた成績を収めます。

研究デザインの概要

コホート 1 の参加者は 2018 年の秋 (6 年生と 7 年生) に募集され、コホート 2 の参加者は 2020 年の秋 (6 年生と 7 年生) に募集されます。 適格基準を満たす参加者は、(1) RISE 介入 (45 ～ 50 分のクラス 1 回、週 5 日) または (2) BAU 比較条件のいずれかにランダムに割り当てられます。 障害があり、特別教育を受けていると特定され、それ以外の場合はすべての基準を満たす学生は、研究への参加が許可され、追加の介入が文書化されます。 治療教師は調査官によって雇われ、訓練されます。 コントロール状態の参加者は通常、その授業期間中に選択科目 (料理、音楽など) に参加し、州のハイ ステークス テストの準備クラスに参加することもあります。 教師は 1 つの学校に割り当てられ、3 人から 12 人の生徒のグループで生徒に指導を提供します。

参加者

プロジェクト 3 のサンプルは、オースティン/サン アントニオとヒューストンにある中等度から高度の貧困の中学校 6 校の 6 年生と 7 年生で構成され、多数の生徒が第二言語として英語を学習しています。 一次仮説を評価するために、参加者の2つの重複しないコホートを統合する1つのランダム化対照試験（2年間の介入）が実施されます。 調査官は、現存する学校の記録を使用し、包含/除外基準に記載されているように、サンプル参加者を特定します。

コホート 1 は、重大な読字障害を持つ 410 人の Els で構成され、205 人は介入 (RISE) に割り当てられ、205 人は介入なしの BAU 比較条件に割り当てられ、2018 年秋 (1 年目) に始まり、2 年目 (7 年生または 8 年生) に割り当てられた状態を継続します。学年）。 コホート 2 は、同じ包含/除外基準を使用して識別され、介入 (RISE) または介入なしの BAU 比較条件にランダムに割り当てられ、2 年目までその状態のままである 410 人の学生の重複しないサンプルになります。コントロールに割り当てられた学生は、BAU を受け取る場合があります。ただし、研究者が提供する読書介入は受けません。 これら 2 つのコホート (N = 820 人の学生) は、データ分析を完全に強化するためのサンプルを提供します。

対策と評価手順

プロジェクト 3 のデータは、コホートごとに 4 つの時点 (1 年目と 2 年目の年初と年末) に収集され、1 年と 2 年の治療後の治療効果の分析が可能になります (介入の説明を参照)。 学校での雇用、トレーニング、データ収集の監督、および学校と参加者の募集を担当する研究チームは経験豊富で、過去 10 年間一緒に働いてきました。 データ収集者は、参加者のランダムに割り当てられた条件を知りません。

一次および二次アウトカム測定値は、セクション 9 (アウトカム測定値) で説明されています。

介入手順

介入については、セクション 8 (アーム、グループ、および介入) で詳しく説明します。

実装の忠実度。 実施の忠実度は、介入教師ごとに少なくとも年に 3 回評価されます。 すべての介入教師は、すべての介入レッスンを録音します。 記録の無作為なサンプルが選択され、介入の実施の順守と実施の質の重要な指標がコーダーによって評価されます。 すべてのコーダーはトレーニングを受け、独立したコーディングの前に信頼性が確立されます。

介入教師。 各サイトでは、調査官によって雇われ、監督された高度な訓練を受けた担当者がすべての治療を行います。 これらの教師には、実装前に 20 時間のトレーニングが提供され、その後、月に少なくとも 10 時間の継続的なトレーニングとオンサイト サポートが提供されます。 すべてのトリートメントは、1 日 50 分間、約 8 ～ 11 人の学生のグループサイズで毎日提供されます。

通常業務 (BAU) の比較条件。 BAUまたは比較条件に割り当てられた学生は、音楽、料理、映画、勉強時間、またはハイステークステストの準備などのオプションを含む選択クラスに参加します. これらの学生は、学校で完全な規範的教育プログラムに参加しますが、研究チームからの指示は一切受けません。

データ管理

データ収集。 データ管理チームは、データ取得フォームと、それらのフォームに記入するためのガイドラインを作成します。 手順またはフォームの変更が必要な場合、データ管理スタッフはこれらの変更を各サイトのスタッフに伝え、手順とフォームのマニュアルが適切に更新されるようにします。 データ管理スタッフは、フォームのレイアウト、フォームの改訂、およびフォームの番号付けの一貫性を確保するためにも作業します。 データ管理および統計スタッフは、データ管理者と協力してデータ監査を実施し、すべてのデータ フィールドでエラー率が無視できることを確認します。

データ管理。 データ管理担当者は、すべてのプロジェクト データが Texas Institute for Measurement, Evaluation, and Statistics (TIMES) データ ウェアハウスに書き込まれるように、すべてのデータベース設計、管理、および収集関連のアクティビティを実施します。 ウェアハウスは、プロジェクト内およびプロジェクト間で最大のデータ整合性と標準化を実現するように設計されていますが、TIMES プロジェクト全体の設計および特定の手段と方法に必要な柔軟性を考慮しています。 主要なプロジェクト管理データ構造としてウェアハウスを使用すると、プロジェクト間の標準化が促進されます。 また、ウェアハウスは、単一のデータ要素の変更につながるすべてのデータ管理活動の電子監査証跡も自動的に構築します。これは、標準化とともに、電子データベースの品質管理に不可欠です。

データ分析

全体的な戦略、方法論、および分析。 データの記述的特徴は、分析の前に調べられます。 非正規従属変数は、必要に応じて適切に変換されます (対数、平方根、逆数など)。 外れ値は、修正された z スコア分析を使用して識別され、特定のモデルでのレバレッジと影響に従ってケースバイケースで処理されます。 残差を分析することにより、エラーが正規分布し、等分散であり、モデルのサンプリング ユニットとレベル全体で独立しているという仮定が評価されます。 通常、高水準の残差は多変量正規であり、低水準の誤差と​​は無関係であると想定されます。 調査員は、影響診断を使用して残留分析を強化します。 不均一性は、適切かつ必要に応じて予測変数および/または従属変数の非線形変換を使用して、その明らかな原因に従って対処されます。 研究者は、複数のグループ (RISE 介入対 BAU)、マルチレベル回帰、および構造方程式モデル (SEM) のコンテキストで主要な研究仮説に取り組みます。

分析計画。 複数のグループ、マルチレベルの回帰および SEM は、1) 1 年間の介入後の単語の読み方と流暢さの結果、および 2 年間の介入後の単語の読み方、流暢さ、および理解力に対する治療の主な効果を推定するために適合します。必要に応じて中央に配置し、レベル 1 の共変量として使用します。 学校レベルの変動性を最小限に抑え、統計的検出力を向上させるために、事前テストでの学校レベルの平均が「文脈効果」として含まれます。 入れ子になったモデルのコンテキストで RISE グループと BAU グループの条件付き事後テスト平均を比較することにより、治療の主な効果 (治療意図モデルを想定) が学生レベルで推定されます。 グループ固有のモデル（つまり、各グループで推定された一意の事後テストの平均）と制約付きモデル（つまり、治療とグループ全体で同等に固定された事後テストの平均）の適合指数が比較され、差（Δχ2）がモデル間の自由度の差 (Δdf) に対応する臨界値。 効果量は Hedges g として計算されます。

パワーと効果の大きさ。 データ シミュレーションを利用して、学生の成果に対する主効果の統計的検出力を推定しました。 これらは、すべての一次および二次結果に適用できる例として意図されています。 検出力を推定する場合、サイトおよびコホート レベルでの入れ子は無視されます。これは、同様の学校での以前の研究におけるクラス内相関は、事前テストを制御するときに無視できるためです。 さらに、これら2つのサイトで実施された複数コホート、複数年の介入、および部分的にネストされた設計に関する以前の調査結果に基づいて、部分的なネストは無視されました。 学校をブロックする場合、および学校レベルで共変量を制御する場合、サイト、コホート、および小規模な教育グループのクラスタリング効果は、理解関連の結果に対してわずかでした (部分的なネスティングによる 2 年間の介入で .00-.01)。 効果量のばらつきは統計的に 0 と変わらなかった (σδ2 < .0001)。 一定の治療効果を示唆しています。

検出力分析では、6 つの学校 (n=205/学校) の 820 人の生徒の時間 1 サンプルを想定しました。 人口モデルでは、研究者はケースを学校内の治療または BAU にランダムに割り当てました。 調査官は、学生の減少を .10 と指定しました。 これは、評価時間 2 (春 1 年目) で約 740 人の学生、評価時間 4 (春 2 年目) で 670 人の学生のサンプルを示唆しています。 年間 10% の離職率は、研究チームが同様の学校で実施した以前の研究と一致しています。 研究者は、検出力を最大化するために、プレテストの学校レベルの共変量をモデル化しました。 以前の研究では、学生の読解力のテスト前の測定 (単語の読解力、理解力など) が、結果の分散の約 75% を占めていました。 ポストテストの読解スコアは、未治療の母集団で平均 0、分散 1 の多変量正規分布としてモデル化されました。 治療に割り当てられた部分母集団について、事後試験平均は.20に設定されました。これは、治療と対照の間の母集団レベルの標準化された平均差を表します)。 .20 のリテラシー関連の治療効果は、単語レベルの読解力測定と読解力、綴りと作文の結果の両方において、この母集団に有意な影響を与えることを表しています。

サンプルモデルでは、研究者は、母集団の値を開始値として使用して、処理および比較条件の自由パラメーターとして事後テストの平均を推定しました。 740 と 670 のサンプルの効果を固定 (σδ2 = 0) としてモデル化した場合、帰無仮説が偽である場合に帰無仮説を棄却する確率 (つまり、統計的検出力) は .99 でした。 推定値72のバイアスは 1% 未満でした。 同じ仮定の下で、.10 の標準化された平均差は、少なくとも .80 の検出力に関連付けられました。 検出力の推定値は、統計的有意性の独立した検定で計算されました。 ただし、上記の対比の多くは独立したものではありません。 多重比較に関連する膨張したタイプ 1 エラーを制御するために、研究者は、マルチレベルおよび混合効果モデルと階層データのステップ M アプローチを提案します。これは、個々のテスト統計の依存構造を利用し、処理の代替よりも強力なアプローチを提供しますネストされたデータのファミリ単位のエラー。