마취과학 교육에서 인공지능 생성 대 학술 전문가 개발 다중 진위형 문항

이 단일기관, 전향적 관찰 코호트 연구는 마취학 교육에서 경험이 많은 학자들이 개발한 다중 참/거짓(MTF) 질문과 비교하여 인공지능(AI)이 생성한 다중 참/거짓(MTF) 질문의 효과성, 신뢰도, 교육적 가치를 평가하도록 설계되었습니다.

이 연구는 큐타히야 건강과학대학교 마취학 및 재활학과에서 진행될 예정입니다. 총 27명의 마취학 전공의가 포함되며, 교육 수준에 따라 초년차 전공의(훈련 기간 ≤2.5년)와 고년차 전공의(훈련 기간 >2.5년) 두 그룹으로 분류됩니다.

표준화된 마취학 교육 자료를 바탕으로 총 200개의 MTF 질문이 개발될 예정입니다. 질문의 절반(n=100)은 경험이 많은 학자들이 준비하고, 나머지 절반(n=100)은 인공지능 모델(ChatGPT 기반 시스템)을 사용하여 생성됩니다. 모든 질문은 난이도(쉬움, 중간, 어려움), 임상적 관련성, 교육적 적절성을 포함한 사전 정의된 기준에 따라 구성됩니다.

참가자는 표준화된 조건에서 단일 세션으로 질문 세트를 완료합니다. 각 정답은 1점으로, 오답은 0점으로 채점됩니다. 각 참가자에 대한 총 테스트 점수가 계산됩니다.

질문의 심리측정적 특성을 평가하기 위해 항목 분석이 수행됩니다. 항목 난이도 지수, 항목 변별도 지수 및 전체 테스트 신뢰도가 계산됩니다. 또한 참가자 피드백을 사용하여 인지된 질문 품질이 평가됩니다.

통계 분석은 SPSS 소프트웨어를 사용하여 수행됩니다. 변수의 분포가 평가되고, 적절한 모수적 또는 비모수적 검정이 그에 따라 사용됩니다. 그룹 간(초년차 vs 고년차 전공의) 및 질문 출처 간(AI 생성 vs 학자 개발) 비교가 수행됩니다. p값 <0.05는 통계적으로 유의한 것으로 간주됩니다.

이 연구는 임상적 개입, 약물 투여 또는 침습적 시술을 포함하지 않습니다. 참여는 자발적이며, 모든 참가자로부터 서면 동의서를 받을 예정입니다. 모든 데이터는 익명으로 수집되며 연구 목적으로만 사용됩니다.

이 연구의 결과는 의학교육, 특히 평가 도구 개발에서 인공지능의 잠재적 역할에 대한 통찰력을 제공할 것으로 예상되며, 마취학 교육에서 더 객관적이고 표준화되며 효율적인 평가 방법에 기여할 수 있습니다.