人工智能生成与麻醉学专家开发的多项真假判断题在麻醉学教育中的比较
人工智能生成与学术专家编制的麻醉学多选题在麻醉学教育中的比较:一项前瞻性队列研究
这项前瞻性观察性研究旨在评估人工智能(AI)生成的多项真/假问题与麻醉学培训领域经验丰富的学者开发的问题相比的有效性和教育价值。
研究将纳入27名麻醉学住院医师。将创建包含200个多项真/假题目的题目集,其中一半由学者生成,另一半使用人工智能模型(基于ChatGPT的系统)生成。题目将基于麻醉学培训课程的标准化教育材料。
参与者将在单次会话中完成测试。每个正确答案计一分,并计算总分。除了测试表现外,还将分析题目难度、区分度指数和测试信度。此外,将评估参与者对题目质量的看法。
该研究旨在确定人工智能生成的题目能否在医学教育中提供可靠有效的传统题目开发方法替代方案,并为更客观和标准化的评估流程做出贡献。
研究概览
地位
条件
详细说明
这项单中心前瞻性观察性队列研究旨在评估人工智能(AI)生成的多项真假(MTF)问题与麻醉学培训中经验丰富的学者所开发问题在有效性、可靠性和教育价值方面的比较。
该研究将在屈塔希亚健康科学大学麻醉与复苏科进行。研究将纳入27名麻醉学住院医师,并根据其培训水平分为两组:初级住院医师(培训年限≤2.5年)和高级住院医师(培训年限>2.5年)。
将基于标准化的麻醉学教育材料开发总共200道MTF问题。其中一半问题(n=100)将由经验丰富的学者准备,另一半(n=100)将使用人工智能模型(基于ChatGPT的系统)生成。所有问题将根据预定义的标准构建,包括难度级别(简单、中等、困难)、临床相关性和教育适宜性。
参与者将在标准化条件下一次性完成问题集。每个正确答案得1分,错误答案得0分。将计算每位参与者的总分。
将进行项目分析以评估问题的心理测量特性。将计算项目难度指数、项目区分指数和整体测试可靠性。此外,将使用参与者反馈评估感知问题质量。
统计分析将使用SPSS软件进行。将评估变量的分布,并相应使用适当的参数或非参数检验。将进行组间(初级与高级住院医师)和问题来源(AI生成与学者开发)之间的比较。p值<0.05将被视为具有统计学显著性。
该研究不涉及任何临床干预、药物管理或侵入性程序。参与是自愿的,所有参与者将签署书面知情同意书。所有数据将匿名收集,仅用于研究目的。
预计本研究结果将提供关于人工智能在医学教育中潜在作用的见解,特别是在评估工具开发方面,并可能有助于麻醉学培训中更客观、标准化和高效的评估方法。
研究类型
注册 (实际的)
联系人和位置
学习地点
-
-
-
Kütahya、土耳其(türkiye)
- Kutahya Health Sciences University
-
-
参与标准
资格标准
适合学习的年龄
- 成人
- 年长者
接受健康志愿者
取样方法
研究人群
描述
纳入标准:
- 为麻醉学住院医师
- 自愿参与本研究
- 提供知情同意
排除标准:
- 拒绝参与
- 测试回答不完整
学习计划
研究是如何设计的?
设计细节
队列和干预
团体/队列 |
|---|
|
AI生成的问题
由人工智能模型生成的多项真/假问题
|
|
院士开发的问题
由经验丰富的麻醉学学者准备的多项真/假问题。
|
研究衡量的是什么?
主要结果指标
结果测量 |
措施说明 |
大体时间 |
|---|---|---|
|
AI生成与专家编写题目的项目难度指数
大体时间:在每位参与者完成单次60分钟检查后评估一次;所有参与者完成检查后进行最终项目分析,最长不超过1个月。
|
对于每个问题,项目难度指数将计算为正确回答该问题的参与者比例。
将比较AI生成问题与专家编写问题之间的项目难度指数。
|
在每位参与者完成单次60分钟检查后评估一次;所有参与者完成检查后进行最终项目分析,最长不超过1个月。
|
合作者和调查者
出版物和有用的链接
一般刊物
- Kocer Tulgar Y, Tulgar S, Guven Kose S, Kose HC, Cevik Nasirlier G, Dogan M, Thomas DT. Anesthesiologists' Perspective on the Use of Artificial Intelligence in Ultrasound-Guided Regional Anaesthesia in Terms of Medical Ethics and Medical Education: A Survey Study. Eurasian J Med. 2023 Jun;55(2):146-151. doi: 10.5152/eurasianjmed.2023.22254.
- Kaya M, Sonmez E, Halici A, Yildirim H, Coskun A. Comparison of AI-generated and clinician-designed multiple-choice questions in emergency medicine exam: a psychometric analysis. BMC Med Educ. 2025 Jul 1;25(1):949. doi: 10.1186/s12909-025-07528-6.
- Reid M, French M, Andreopoulos S, Wong C, Kee N. AI-generated multiple-choice questions in health science education: Stakeholder perspectives and implementation considerations. Curr Res Physiol. 2025 Aug 1;8:100160. doi: 10.1016/j.crphys.2025.100160. eCollection 2025.
研究记录日期
研究主要日期
学习开始 (实际的)
初级完成 (实际的)
研究完成 (实际的)
研究注册日期
首次提交
首先提交符合 QC 标准的
首次发布 (实际的)
研究记录更新
最后更新发布 (实际的)
上次提交的符合 QC 标准的更新
最后验证
更多信息
此信息直接从 clinicaltrials.gov 网站检索,没有任何更改。如果您有任何更改、删除或更新研究详细信息的请求,请联系 register@clinicaltrials.gov. clinicaltrials.gov 上实施更改,我们的网站上也会自动更新.