Вопросы с несколькими верными/неверными утверждениями в образовании по анестезиологии: созданные искусственным интеллектом против разработанных академиками

Это одноцентровое проспективное наблюдательное когортное исследование предназначено для оценки эффективности, надежности и образовательной ценности вопросов типа «множественный верно/неверно» (MTF), сгенерированных искусственным интеллектом (ИИ), в сравнении с вопросами, разработанными опытными преподавателями в области анестезиологии.

Исследование будет проводиться на базе кафедры анестезиологии и реанимации Университета медицинских наук Кютахьи. В исследовании примут участие 27 ординаторов-анестезиологов, которые будут разделены на две группы в зависимости от уровня подготовки: младшие ординаторы (≤2,5 лет обучения) и старшие ординаторы (>2,5 лет обучения).

Всего будет разработано 200 вопросов MTF на основе стандартизированных учебных материалов по анестезиологии. Половина вопросов (n=100) будет подготовлена опытными преподавателями, а оставшаяся половина (n=100) будет сгенерирована с использованием модели искусственного интеллекта (системы на основе ChatGPT). Все вопросы будут структурированы в соответствии с предопределенными критериями, включая уровень сложности (легкий, средний, сложный), клиническую значимость и образовательную уместность.

Участники выполнят наборы вопросов за один сеанс в стандартизированных условиях. Каждый правильный ответ будет оцениваться в 1 балл, а неправильный – в 0 баллов. Для каждого участника будет рассчитан общий балл за тест.

Будет проведен анализ заданий для оценки психометрических свойств вопросов. Будут рассчитаны индекс сложности заданий, индекс дискриминативности заданий и общая надежность теста. Кроме того, воспринимаемое качество вопросов будет оценено с использованием обратной связи участников.

Статистический анализ будет проведен с использованием программного обеспечения SPSS. Будет оценено распределение переменных, и будут использованы соответствующие параметрические или непараметрические тесты. Будут выполнены сравнения между группами (младшие и старшие ординаторы) и между источниками вопросов (сгенерированные ИИ и разработанные преподавателями). Значение p <0,05 будет считаться статистически значимым.

Исследование не предполагает клинических вмешательств, введения лекарственных средств или инвазивных процедур. Участие является добровольным, и от всех участников будет получено письменное информированное согласие. Все данные будут собираться анонимно и использоваться исключительно в исследовательских целях.

Ожидается, что результаты данного исследования позволят получить представление о потенциальной роли искусственного интеллекта в медицинском образовании, особенно в разработке оценочных инструментов, и могут способствовать созданию более объективных, стандартизированных и эффективных методов оценки в обучении анестезиологии.