AIと人間による試験評価と開発（AHEAD試験） (AHEAD)
医学教育におけるAI生成と人間生成の多肢選択式問題作成の心理測定学的性能と学生の認識：AHEAD無作為化比較試験
人工知能（AI）対人間の試験評価開発（AHEAD）試験は、ブリティッシュコロンビア大学の1年生医学生を対象とした参加者盲検化ランダム化比較試験です。 本研究は、大規模言語モデル（LLM）を用いて生成された多肢選択式試験問題が、医学教育において従来の人間が作成した問題と同等の性能を発揮するかどうかを評価します。
参加者は、同じコース学習目標に沿った112問の症例ベース単一最良回答多肢選択問題（MCQ）からなる形成的模擬最終試験の2つのバージョンのうち、いずれか1つを完了するようランダムに割り当てられました。 一方の試験バージョンには、独立したAI検証を伴う構造化LLMワークフローを用いて生成されたAI生成問題が含まれ、もう一方には従来の方法で上級医学生が作成した問題が含まれていました。
本研究は、試験の実現可能性、心理測定学的信頼性、妥当性、学生の受容性、教育的影響を評価します。 アウトカムには、試験成績、項目弁別指数、誤答選択肢の効率性、学生の試験の質と難易度に対する認識、および今後の総括的試験に対する認識された準備度の変化が含まれます。
調査の概要
詳細な説明
AHEAD試験（AI対人間試験評価開発）は、ブリティッシュコロンビア大学医学実践基礎I（MEDD 411）コースに在籍する医学博士1年次生を対象とした単一施設参加者盲検ランダム化比較試験です。
参加者は1:1の比率でランダム化され、AI生成または人間生成の模擬最終試験のいずれかを完了しました。両試験とも、MEDD 411カリキュラム目標に沿った112問の症例ベース単一最適解答択一式問題（MCQ）で構成されていました。
AI生成問題は、ChatGPTによる問題生成とGoogle Geminiによる独立検証を含む構造化ワークフローを用いて作成されました。人間生成問題は、AI支援なしで上級医学生によって作成され、独立したピアレビューを受けました。両試験とも同一の書式ガイドラインに従い、同じ学習目標を評価しました。
全参加者は、人口統計学的特性、教育における人工知能への親近感、試験経験の認識を評価する同一の試験前・試験後調査を完了しました。本研究は、van der Vleutenの評価有用性フレームワーク（実現可能性、信頼性、妥当性、受容性、教育的影響を含む）を用いてAI生成評価の有用性を評価します。
本試験は、大規模言語モデルが、従来の人間作成問題と同等の心理測定学的品質と教育的価値を維持しながら、形成的医学試験の開発を加速できるかどうかを明らかにすることを目的としています。
研究の種類
入学 (実際)
段階
- 適用できない
連絡先と場所
研究場所
-
-
British Columbia
-
Vancouver、British Columbia、カナダ、V5Z 1M9
- University of British Columbia Faculty of Medicine
-
-
参加基準
適格基準
就学可能な年齢
- 大人
- 高齢者
健康ボランティアの受け入れ
説明
包含基準：
- ブリティッシュコロンビア大学医学部学士課程（MDプログラム）に在籍する1年生の医学生。
- 形成的模擬試験研究への参加に自発的に同意できること。
除外基準：
- 参加を辞退した学生。
- 模擬試験または必要な調査を完了しなかった学生。
研究計画
研究はどのように設計されていますか？
デザインの詳細
- 主な目的：他の
- 割り当て：ランダム化
- 介入モデル：並列代入
- マスキング：独身
武器と介入
参加者グループ / アーム |
介入・治療 |
|---|---|
|
実験的：AI生成MCQ試験
参加者は、AI生成の多肢選択問題で構成された112項目の症例ベースの単一最適解答模擬試験を完了しました。
問題は、生成にChatGPT-4、独立した検証にGoogle Geminiを使用した構造化された大規模言語モデルワークフローを用いて生成されました。
|
コースの学習目標に沿って大規模言語モデルを用いて生成された、112の症例に基づく多肢選択問題から成る形成的模擬試験。
|
|
アクティブコンパレータ：ヒューマン生成MCQ試験
参加者は、上級医学生が従来の項目作成方法とピアレビューを用いて作成した、人間が作成した多肢選択問題で構成された112項目の症例ベースの単一最良回答模擬試験を完了しました。
|
従来の項目作成方法を用いて、上級医学生が作成した112の症例に基づく多肢選択問題から構成される、同じコース学習目標に沿った形成的模擬試験。
|
この研究は何を測定していますか？
主要な結果の測定
結果測定 |
メジャーの説明 |
時間枠 |
|---|---|---|
|
模擬試験における学生の成績
時間枠：模擬試験完了直後
|
AI生成模擬試験と人間生成模擬試験に無作為割り付けされた学生の平均試験スコアの比較。
|
模擬試験完了直後
|
二次結果の測定
結果測定 |
メジャーの説明 |
時間枠 |
|---|---|---|
|
項目弁別指数
時間枠：模擬試験完了直後
|
AI生成と人間生成の多肢選択問題を比較する項目別識別指数。これは、成績上位者と成績下位者の正答率の差を表しています。
|
模擬試験完了直後
|
|
ディストラクター効率
時間枠：模擬試験終了直後
|
AI生成と人間生成の質問を比較して、参加者の少なくとも5％によって選択されたディストラクター（誤答選択肢）の割合。
|
模擬試験終了直後
|
|
学生評価による試験の質と受容性
時間枠：模擬試験終了直後
|
試験終了直後に10段階リッカート尺度（1＝最低評価、10＝最高評価）を用いて測定された、試験の難易度、明瞭さ、教材との関連性、時間の適切さ、多肢選択問題の質、臨床概念の理解、知識ギャップの特定、将来の臨床実践への保持、および今後の総括的試験への準備に関する学生評価。
ほとんどの領域では、高いスコアは測定対象の構成概念に対するより強い支持を示します。難易度項目については、高いスコアはより高い知覚難易度を示します。
|
模擬試験終了直後
|
|
MCQ開発時間のマッチした学習目標ごとの効率比
時間枠：ベースライン（参加者試験前）
|
人工知能（AI）生成と人間生成の多肢選択問題（MCQ）の開発効率を測定する結果。
効率比は、対応する学習目標に対して、人間生成MCQの開発時間をAI生成MCQの開発時間で割って計算された。
|
ベースライン（参加者試験前）
|
|
総括試験に対する認識された準備の変化
時間枠：模擬試験の直前および直後
|
10段階のリッカート尺度（1＝まったく準備ができていない、10＝非常に準備ができている）を用いて測定された、今後の総括的試験に向けた自己評価による準備状況の事前試験から事後試験への変化。スコアが高いほど、認識された準備状況がより高いことを示します。
|
模擬試験の直前および直後
|
協力者と研究者
捜査官
- 主任研究者：Anita Palepu, MD, MPH, FRCPC、University of British Columbia
研究記録日
主要日程の研究
研究開始 (実際)
一次修了 (実際)
研究の完了 (実際)
試験登録日
最初に提出
QC基準を満たした最初の提出物
最初の投稿 (実際)
学習記録の更新
投稿された最後の更新 (実際)
QC基準を満たした最後の更新が送信されました
最終確認日
詳しくは
本研究に関する用語
その他の研究ID番号
- Med_AHEAD_Trial
- H16-00044 (その他の識別子：University of British Columbia)
個々の参加者データ (IPD) の計画
個々の参加者データ (IPD) を共有する予定はありますか?
IPD プランの説明
IPD 共有時間枠
IPD 共有アクセス基準
IPD 共有サポート情報タイプ
- STUDY_PROTOCOL
- SAP
- ICF
- CSR
医薬品およびデバイス情報、研究文書
米国FDA規制医薬品の研究
米国FDA規制機器製品の研究
この情報は、Web サイト clinicaltrials.gov から変更なしで直接取得したものです。研究の詳細を変更、削除、または更新するリクエストがある場合は、register@clinicaltrials.gov。 までご連絡ください。 clinicaltrials.gov に変更が加えられるとすぐに、ウェブサイトでも自動的に更新されます。