Искусственный интеллект против человеческой оценки экзаменов и разработки (Исследование AHEAD) (AHEAD)
Психометрические показатели и восприятие студентами разработки тестов с множественным выбором, созданных искусственным интеллектом, в сравнении с созданными человеком в медицинском образовании: рандомизированное контролируемое исследование AHEAD
Исследование «Искусственный интеллект (ИИ) против человека в оценке и разработке экзаменов» (AHEAD) — это рандомизированное контролируемое исследование с ослеплением участников, проведенное среди студентов-медиков первого курса Университета Британской Колумбии. Исследование оценивает, сопоставимы ли вопросы с множественным выбором, сгенерированные с использованием больших языковых моделей (LLM), с традиционно написанными человеком вопросами в медицинском образовании.
Участники были рандомизированы для прохождения одной из двух версий формирующего пробного итогового экзамена, состоящего из 112 клинических вопросов с одним лучшим ответом (MCQ), соответствующих одним и тем же учебным целям курса. Одна версия экзамена содержала вопросы, сгенерированные ИИ с использованием структурированного рабочего процесса LLM с независимой проверкой ИИ, а другая — вопросы, составленные студентами старших курсов медицинских вузов с использованием традиционных методов.
Исследование оценивает выполнимость экзамена, психометрическую надежность, валидность, приемлемость для студентов и образовательное влияние. Исходы включают результаты экзамена, индексы дискриминации заданий, эффективность дистракторов, восприятие студентами качества и сложности экзамена, а также изменения в воспринимаемой готовности к предстоящему суммативному экзамену.
Обзор исследования
Статус
Условия
Подробное описание
Исследование AHEAD (AI vs Human Exam Assessment and Development) представляет собой одноцентровое рандомизированное контролируемое исследование с ослеплением участников, проведенное среди студентов первого курса программы «Доктор медицины» (MD), обучающихся на курсе «Основы медицинской практики I» (MEDD 411) в Университете Британской Колумбии.
Участники были рандомизированы в соотношении 1:1 для прохождения либо финального пробного экзамена, созданного искусственным интеллектом (ИИ), либо экзамена, созданного человеком. Оба экзамена состояли из 112 вопросов с одним лучшим ответом на основе клинических случаев (MCQ), соответствующих тем же учебным целям курса MEDD 411.
Вопросы, сгенерированные ИИ, были созданы с использованием структурированного рабочего процесса, включающего ChatGPT для генерации вопросов и Google Gemini для независимой проверки. Вопросы, созданные человеком, были разработаны студентами старших курсов медицинских вузов без помощи ИИ и прошли независимую экспертную оценку. Оба экзамена следовали идентичным правилам форматирования и оценивали одни и те же учебные цели.
Все участники заполнили идентичные анкеты до и после экзамена, оценивающие демографические характеристики, знакомство с искусственным интеллектом в образовании и восприятие опыта прохождения экзамена. Исследование оценивает полезность оценок, сгенерированных ИИ, с использованием Framework оценки полезности ван дер Флютена, включая осуществимость, надежность, валидность, приемлемость и образовательное воздействие.
Цель исследования — определить, могут ли большие языковые модели ускорить разработку формирующих медицинских экзаменов, сохраняя при этом сопоставимое психометрическое качество и образовательную ценность по сравнению с традиционными вопросами, созданными человеком.
Тип исследования
Регистрация (Действительный)
Фаза
- Непригодный
Контакты и местонахождение
Места учебы
-
-
British Columbia
-
Vancouver, British Columbia, Канада, V5Z 1M9
- University of British Columbia Faculty of Medicine
-
-
Критерии участия
Критерии приемлемости
Возраст, подходящий для обучения
- Взрослый
- Пожилой взрослый
Принимает здоровых добровольцев
Описание
Критерии включения:
- Студенты первого курса медицинского факультета Университета Британской Колумбии, обучающиеся по программе бакалавриата MD.
- Могут добровольно дать согласие на участие в формирующем исследовании пробного экзамена.
Критерии исключения:
- Студенты, отказавшиеся от участия.
- Студенты, не завершившие пробный экзамен или необходимые опросы.
Учебный план
Как устроено исследование?
Детали дизайна
- Основная цель: Другой
- Распределение: Рандомизированный
- Интервенционная модель: Параллельное назначение
- Маскировка: Одинокий
Оружие и интервенции
Группа участников / Армия |
Вмешательство/лечение |
|---|---|
|
Экспериментальный: Экзамен с MCQ, созданный искусственным интеллектом
Участники прошли имитационный экзамен из 112 пунктов на основе клинических случаев с выбором единственного правильного ответа, состоящий из вопросов с множественным выбором, сгенерированных искусственным интеллектом.
Вопросы были сгенерированы с использованием структурированного рабочего процесса большого языковой модели с ChatGPT-4 для генерации и Google Gemini для независимой проверки.
|
Формирующее пробное тестирование, состоящее из 112 ситуационных вопросов с множественным выбором, созданных с использованием больших языковых моделей, соответствующих учебным целям курса.
|
|
Активный компаратор: Экзамен с MCQ, созданными человеком
Участники прошли состоящий из 112 пунктов имитационный экзамен с единичным лучшим ответом на основе клинических случаев, составленный из составленных людьми вопросов с множественным выбором, разработанных студентами-медиками старших курсов с использованием традиционных методов составления заданий и взаимного рецензирования.
|
Формирующее пробное испытание, состоящее из 112 ситуационных вопросов с множественным выбором, разработанных студентами-медиками старших курсов с использованием традиционных методов составления заданий, соответствующих тем же учебным целям курса.
|
Что измеряет исследование?
Первичные показатели результатов
Мера результата |
Мера Описание |
Временное ограничение |
|---|---|---|
|
Результаты студентов на пробном экзамене
Временное ограничение: Непосредственно после завершения пробного обследования
|
Сравнение средних баллов экзамена между студентами, рандомизированными для прохождения искусственно сгенерированных и созданных человеком пробных экзаменов.
|
Непосредственно после завершения пробного обследования
|
Вторичные показатели результатов
Мера результата |
Мера Описание |
Временное ограничение |
|---|---|---|
|
Индекс дискриминации пункта
Временное ограничение: Сразу после завершения пробного обследования
|
Индекс дискриминации на уровне задания, сравнивающий вопросы с множественным выбором, сгенерированные искусственным интеллектом и человеком, представляющий разницу в доле правильных ответов между высоко- и низкоуспевающими студентами.
|
Сразу после завершения пробного обследования
|
|
Эффективность отвлекающих факторов
Временное ограничение: Непосредственно после завершения пробного обследования
|
Доля отвлекающих факторов, выбранных не менее чем 5% участников, при сравнении вопросов, сгенерированных искусственным интеллектом, и вопросов, созданных людьми.
|
Непосредственно после завершения пробного обследования
|
|
Качество и приемлемость экзамена по оценке студентов
Временное ограничение: Сразу после завершения пробного обследования
|
Оценки студентов сложности экзамена, ясности, релевантности учебному материалу, достаточности времени, качества вопросов с множественным выбором, понимания клинических концепций, выявления пробелов в знаниях, сохранения для будущей клинической практики и готовности к предстоящему суммативному экзамену, измеряемые сразу после завершения экзамена с использованием 10-балльных шкал Лайкерта (1 = самая низкая оценка, 10 = самая высокая оценка).
Для большинства областей более высокие баллы указывают на большее одобрение измеряемой конструкции; для пункта о сложности более высокие баллы указывают на большую воспринимаемую сложность.
|
Сразу после завершения пробного обследования
|
|
Коэффициент эффективности времени разработки MCQ на сопоставленный учебный объектив
Временное ограничение: Базовый уровень (до тестирования участника)
|
Результат измерения эффективности разработки множественного выбора вопросов (MCQ), созданных искусственным интеллектом (ИИ), по сравнению с созданными человеком.
Коэффициент эффективности рассчитывался как время разработки MCQ, созданных человеком, делённое на время разработки MCQ, созданных ИИ, для сопоставленных учебных целей.
|
Базовый уровень (до тестирования участника)
|
|
Изменение воспринимаемой готовности к суммативному экзамену
Временное ограничение: До и сразу после завершения пробного обследования
|
Изменение самооценки готовности к предстоящему итоговому экзамену от момента до экзамена до момента после экзамена, измеренное по 10-балльной шкале Лайкерта (1 = совершенно не готов; 10 = исключительно хорошо подготовлен), причем более высокие баллы указывают на большую воспринимаемую готовность.
|
До и сразу после завершения пробного обследования
|
Соавторы и исследователи
Спонсор
Следователи
- Главный следователь: Anita Palepu, MD, MPH, FRCPC, University of British Columbia
Даты записи исследования
Изучение основных дат
Начало исследования (Действительный)
Первичное завершение (Действительный)
Завершение исследования (Действительный)
Даты регистрации исследования
Первый отправленный
Впервые представлено, что соответствует критериям контроля качества
Первый опубликованный (Действительный)
Обновления учебных записей
Последнее опубликованное обновление (Действительный)
Последнее отправленное обновление, отвечающее критериям контроля качества
Последняя проверка
Дополнительная информация
Термины, связанные с этим исследованием
Ключевые слова
Другие идентификационные номера исследования
- Med_AHEAD_Trial
- H16-00044 (Другой идентификатор: University of British Columbia)
Планирование данных отдельных участников (IPD)
Планируете делиться данными об отдельных участниках (IPD)?
Описание плана IPD
Сроки обмена IPD
Критерии совместного доступа к IPD
Совместное использование IPD Поддерживающий тип информации
- STUDY_PROTOCOL
- САП
- МКФ
- КСО
Информация о лекарствах и устройствах, исследовательские документы
Изучает лекарственный продукт, регулируемый FDA США.
Изучает продукт устройства, регулируемый Управлением по санитарному надзору за качеством пищевых продуктов и медикаментов США.
Эта информация была получена непосредственно с веб-сайта clinicaltrials.gov без каких-либо изменений. Если у вас есть запросы на изменение, удаление или обновление сведений об исследовании, обращайтесь по адресу register@clinicaltrials.gov. Как только изменение будет реализовано на clinicaltrials.gov, оно будет автоматически обновлено и на нашем веб-сайте. .