AI 대 인간 시험 평가 및 개발(AHEAD 시험) (AHEAD)
의학교육에서 AI 대 인간 생성 객관식 문항 개발의 심리측정적 성과와 학생 인식: AHEAD 무작위 대조 시험
인공지능(AI) 대 인간 시험 평가 및 개발(AHEAD) 시험은 브리티시 컬럼비아 대학교 1학년 의대생을 대상으로 진행된 참가자 맹검 무작위 대조 시험입니다. 이 연구는 대규모 언어 모델(LLM)을 사용하여 생성된 객관식 시험 문제가 의학교육에서 전통적으로 인간이 작성한 문제와 비슷한 성능을 보이는지 평가합니다.
참가자들은 동일한 과정 학습 목표에 맞춰진 112개의 사례 기반 단일 최적 답안 객관식 문제(MCQ)로 구성된 형성 모의 최종 시험의 두 버전 중 하나를 완료하도록 무작위 배정되었습니다. 한 시험 버전에는 독립적인 AI 검증이 포함된 구조화된 LLM 워크플로우를 사용하여 생성된 AI 생성 문제가 포함되었고, 다른 버전에는 기존 방법을 사용하여 고학년 의대생이 작성한 문제가 포함되었습니다.
이 연구는 시험의 실행 가능성, 심리측정적 신뢰도, 타당도, 학생 수용도 및 교육적 영향을 평가합니다. 결과에는 시험 성과, 문항 변별도 지수, 오답 효율성, 학생들의 시험 질과 난이도에 대한 인식, 그리고 다가오는 총괄 평가에 대한 인지된 준비도의 변화가 포함됩니다.
연구 개요
상세 설명
AHEAD 시험(AI 대 인간 시험 평가 및 개발)은 브리티시 컬럼비아 대학교 의학 실습 기초 I(MEDD 411) 과정에 등록된 1학년 의학 박사(MD) 학생들을 대상으로 진행된 단일 기관, 참가자 눈가림 무작위 대조 시험입니다.
참가자들은 1:1 비율로 무작위 배정되어 AI 생성 또는 인간 생성 모의 최종 시험을 완료하도록 배정되었습니다. 두 시험 모두 동일한 MEDD 411 교육과정 목표와 일치하는 112개의 사례 기반 단일 최선 답안 객관식 문항(MCQ)으로 구성되었습니다.
AI 생성 문항은 질문 생성을 위한 ChatGPT와 독립적 검증을 위한 Google Gemini를 포함한 구조화된 워크플로를 사용하여 생성되었습니다. 인간 생성 문항은 AI 도움 없이 고학년 의대생들이 작성했으며 독립적인 동료 검토를 거쳤습니다. 두 시험 모두 동일한 서식 지침을 따랐으며 동일한 학습 목표를 평가했습니다.
모든 참가자는 인구통계학적 특성, 교육에서 인공지능에 대한 친숙도, 시험 경험에 대한 인식을 평가하는 동일한 시험 전 및 시험 후 설문조사를 완료했습니다. 본 연구는 실행 가능성, 신뢰도, 타당도, 수용성, 교육적 영향력을 포함한 van der Vleuten의 평가 유용성 프레임워크를 사용하여 AI 생성 평가의 유용성을 평가합니다.
이 시험은 대규모 언어 모델이 기존 인간 저작 문항에 비해 비교 가능한 심리측정적 품질과 교육적 가치를 유지하면서 형성적 의학 시험 개발을 가속화할 수 있는지 여부를 확인하는 것을 목표로 합니다.
연구 유형
등록 (실제)
단계
- 해당 없음
연락처 및 위치
연구 장소
-
-
British Columbia
-
Vancouver, British Columbia, 캐나다, V5Z 1M9
- University of British Columbia Faculty of Medicine
-
-
참여기준
자격 기준
공부할 수 있는 나이
- 성인
- 고령자
건강한 자원 봉사자를 받아들입니다
설명
포함 기준:
- 브리티시 컬럼비아 대학교 의학 학사 프로그램의 1학년 의대생으로 등록된 학생.
- 형성적 모의고사 연구에 자발적으로 동의하고 참여할 수 있는 학생.
제외 기준:
- 참여를 거부한 학생.
- 모의고사 또는 필요한 설문조사를 완료하지 않은 학생.
공부 계획
연구는 어떻게 설계됩니까?
디자인 세부사항
- 주 목적: 다른
- 할당: 무작위
- 중재 모델: 병렬 할당
- 마스킹: 하나의
무기와 개입
참가자 그룹 / 팔 |
개입 / 치료 |
|---|---|
|
실험적: AI 생성 객관식 시험
참가자들은 인공지능이 생성한 객관식 문항들로 구성된 112개 항목의 사례 기반 단일 최선 답안 모의 시험을 완료했습니다.
문항들은 ChatGPT-4로 생성하고 Google Gemini로 독립적 검증을 수행하는 구조화된 대규모 언어 모델 워크플로우를 사용하여 생성되었습니다.
|
코스 학습 목표에 맞춰 대규모 언어 모델을 사용하여 생성된 112개의 사례 기반 객관식 문제로 구성된 형성적 모의 시험.
|
|
활성 비교기: 사람이 생성한 객관식 시험
참가자들은 고학년 의대생들이 전통적인 문항 작성 방법과 동료 검토를 통해 개발한 사람이 작성한 객관식 문항들로 구성된 112개 항목의 사례 기반 단일 최적 답안 모의 시험을 완료하였습니다.
|
동일한 강좌 학습 목표에 부합하는 전통적인 문항 작성 방법을 사용하여 고학년 의대생이 작성한 112개의 사례 기반 객관식 문제로 구성된 형성적 모의시험.
|
연구는 무엇을 측정합니까?
주요 결과 측정
결과 측정 |
측정값 설명 |
기간 |
|---|---|---|
|
모의 시험에서의 학생 성과
기간: 모의 검사 완료 직후
|
AI 생성 모의시험과 인간 생성 모의시험에 무작위로 배정된 학생들 간의 평균 시험 점수 비교.
|
모의 검사 완료 직후
|
2차 결과 측정
결과 측정 |
측정값 설명 |
기간 |
|---|---|---|
|
항목 변별도 지수
기간: 모의 시험 완료 직후
|
AI가 생성한 다중 선택형 문항과 인간이 생성한 다중 선택형 문항을 비교하는 항목 수준 변별 지수로, 상위 성취 학생과 하위 성취 학생 간 정답 비율의 차이를 나타냅니다.
|
모의 시험 완료 직후
|
|
주의 산만 효율
기간: 모의 시험 완료 직후
|
참가자의 최소 5% 이상이 선택한 주의산만 항목의 비율, AI 생성 질문과 인간 생성 질문 비교.
|
모의 시험 완료 직후
|
|
학생이 평가한 시험의 질과 수용성
기간: 모의 검사 완료 직후
|
시험 완료 직후 10점 리커트 척도(1 = 최저 평가, 10 = 최고 평가)를 사용하여 측정된 시험 난이도, 명확성, 교과 자료와의 관련성, 시간 적절성, 객관식 문항 품질, 임상 개념 이해도, 지식 격차 확인, 향후 임상 실습을 위한 유지력, 다가올 총괄 평가 시험 준비도에 대한 학생 평가.
대부분의 영역에서 더 높은 점수는 측정 중인 구성의 더 큰 지지를 나타내며, 난이도 항목의 경우 더 높은 점수는 더 큰 인지된 난이도를 나타냅니다.
|
모의 검사 완료 직후
|
|
매칭된 학습 목표별 MCQ 개발 시간 효율성 비율
기간: 기준선 (참가자 테스트 전)
|
인공지능(AI) 생성과 인간 생성의 객관식 문항(MCQs) 개발 효율성을 측정한 결과입니다.
효율 비율은 동일한 학습 목표에 대해 인간 생성 MCQ 개발 시간을 AI 생성 MCQ 개발 시간으로 나누어 계산되었습니다.
|
기준선 (참가자 테스트 전)
|
|
최종 시험에 대한 인지된 준비도 변화
기간: 모의 시험 시작 전과 완료 직후
|
예정된 총괄평가에 대한 자기 평가 준비도의 시험 전과 후의 변화를 10점 리커트 척도(1 = 전혀 준비되지 않음; 10 = 매우 준비됨)로 측정하며, 점수가 높을수록 인지된 준비도가 더 높음을 나타냅니다.
|
모의 시험 시작 전과 완료 직후
|
공동 작업자 및 조사자
수사관
- 수석 연구원: Anita Palepu, MD, MPH, FRCPC, University of British Columbia
연구 기록 날짜
연구 주요 날짜
연구 시작 (실제)
기본 완료 (실제)
연구 완료 (실제)
연구 등록 날짜
최초 제출
QC 기준을 충족하는 최초 제출
처음 게시됨 (실제)
연구 기록 업데이트
마지막 업데이트 게시됨 (실제)
QC 기준을 충족하는 마지막 업데이트 제출
마지막으로 확인됨
추가 정보
이 연구와 관련된 용어
기타 연구 ID 번호
- Med_AHEAD_Trial
- H16-00044 (기타 식별자: University of British Columbia)
개별 참가자 데이터(IPD) 계획
개별 참가자 데이터(IPD)를 공유할 계획입니까?
IPD 계획 설명
IPD 공유 기간
IPD 공유 액세스 기준
IPD 공유 지원 정보 유형
- 연구_프로토콜
- 수액
- ICF
- CSR
약물 및 장치 정보, 연구 문서
미국 FDA 규제 의약품 연구
미국 FDA 규제 기기 제품 연구
이 정보는 변경 없이 clinicaltrials.gov 웹사이트에서 직접 가져온 것입니다. 귀하의 연구 세부 정보를 변경, 제거 또는 업데이트하도록 요청하는 경우 register@clinicaltrials.gov. 문의하십시오. 변경 사항이 clinicaltrials.gov에 구현되는 즉시 저희 웹사이트에도 자동으로 업데이트됩니다. .