Тестирование эффективности системы обучения в реальном времени с использованием искусственного интеллектаСистемаСимуляторыОбучение студентов-медиков

Исходная информация Достижения в области хирургического моделирования и искусственного интеллекта привели к разработке интеллектуальных систем оценки технических навыков и обучения для удовлетворения потребностей компетентностного подхода в медицинском образовании. Эти новые образовательные инструменты предлагают решения для стандартизации и объективности оценки и обучения технической компетентности учащихся в безопасных смоделированных операционных средах. Эти системы могут дополнить модель ученичества, являющуюся золотым стандартом, в обучении хирургии и другой процедурной медицине, предоставляя подробную информацию о технических навыках, ориентированное на действия руководство по процедурам и оценку рисков. Такие приложения могут помочь преподавателям в разработке объективных формативных и итоговых методов оценивания и обучения учащихся.

Обоснование Интеллектуальная система непрерывного мониторинга (ICEMS), приложение глубокого обучения искусственного интеллекта (ИИ), было разработано для непрерывной оценки хирургической эффективности с интервалом в 0,2 секунды с возможностью обучения стажеров до экспертного уровня и выявления рисков. На эту систему подана заявка на патент «Способы и системы непрерывного контроля выполнения задач на виртуальных тренажерах» (2020; патент № 05001770-883USPR). Ранее для модуля оценки была предусмотрена прогностическая валидность, однако необходимо изучить эффективность этой системы для обучения стажеров в режиме реального времени и выявления рисков.

Цели исследования Сравнить эффективность интеллектуальной системы коучинга в режиме реального времени с золотым стандартом обратной связи, опосредованной экспертами. Проверить перенос обучения во время практических заданий на более сложный реалистичный сценарий.

Гипотезы

1. Группа обратной связи ICEMS значительно улучшит общую оценку между первой попыткой и последней попыткой в ​​практическом сценарии.
2. Контрольная группа с постфактум контрольной обратной связью, не опосредованной экспертами, не будет статистически улучшать составную оценку между первой попыткой и последней попыткой в ​​практическом сценарии.
3. Группа обратной связи ICEMS будет иметь статистически более высокий совокупный балл по сравнению с контрольной группой в пятой попытке в практическом сценарии.
4. Группа обратной связи ICEMS будет иметь составной балл, статистически не уступающий по сравнению с группой инструктажа при посредничестве экспертов в пятой попытке практического сценария.
5. Глобальная оценка OSATS группы обратной связи ICEMS будет не хуже, чем у группы инструктажа при посредничестве экспертов в сложном реалистичном сценарии.
6. Эта обратная связь ICEMS не будет определять разницу в эмоциях или когнитивной нагрузке по сравнению с группой, опосредованной экспертами.

Конкретные цели: 1) Оценить, является ли эффективность специализированной обратной связи в режиме реального времени, опосредованной искусственным интеллектом, статистически не уступающей личной обратной связи, опосредованной экспертами, в улучшении бимануальных хирургических навыков студентов-медиков при выполнении двух виртуально смоделированных хирургических задач.

2) Определить, вызывают ли система обратной связи ICEMS разные эмоции и когнитивную нагрузку по сравнению с человеческим обучением.

Дизайн: одностороннее слепое рандомизированное контролируемое исследование с тремя группами обучения ИИ в сравнении с обучением, опосредованным экспертами, и обучением, не опосредованным экспертами.

Место проведения: Учебный центр нейрохирургического моделирования и искусственного интеллекта, Монреальский неврологический институт.

Участники: учащиеся, зачисленные на подготовительный курс или с первого по четвертый год обучения в медицинские школы провинции Квебек.

Задача: Полное удаление смоделированной практической опухоли пять раз и сложной смоделированной опухоли головного мозга один раз с минимальным кровотечением и повреждением окружающих смоделированных здоровых структур головного мозга с использованием двух хирургических инструментов (ультразвуковой аспиратор и биполярные пинцеты) с использованием хирургического симулятора NeuroVR (CAE Healthcare).

Вмешательство: одно 90-минутное учебное занятие, включающее шесть попыток виртуальной субпиальной резекции опухоли (пять простых практических сценариев и один сложный реалистичный сценарий) с оценкой и обратной связью от:

1. Интеллектуальная Система Непрерывного Экспертного Мониторинга (ICEMS) (Группа 1)
2. обратная связь с персональным экспертом (Группа 2)
3. Апостериорная обратная связь, не опосредованная экспертами (группа 3)

Основные результаты и меры:

Первичным результатом является улучшение хирургической эффективности по комбинированной шкале, оцениваемой ранее утвержденным модулем оценки Интеллектуальной системы непрерывного мониторинга экспертизы (ICEMS). Улучшение производительности измеряется как разница в совокупном балле между попытками участника в течение пяти тренировочных попыток. Перенос обучения будет оцениваться по сводному баллу, полученному в сложном реалистичном сценарии.

Вторичным результатом является оценка участников выполнения реалистичной задачи, которая будет оцениваться слепыми экспертами с использованием глобальной рейтинговой шкалы объективной структурированной оценки технических навыков (OSATS). Различия в силе вызванных эмоций будут измеряться с помощью Медицинской эмоциональной шкалы Даффи (MES) до и после вмешательства, а разница в когнитивной нагрузке будет измеряться с использованием индекса когнитивной нагрузки Леппинка (CLI) после вмешательства.

Это исследование, насколько известно исследователям, является первым приложением, сравнивающим эффективность интеллектуальной системы обратной связи в реальном времени с золотым стандартом человеческого обучения. Это исследование направлено на определение эффективных методологий обучения с использованием учебных платформ хирургических симуляторов с искусственным интеллектом, поэтому стажерам предоставляется объективная, адаптированная оценка технических навыков и обучение с использованием современных технологий.

План статистического анализа Данные участников будут обезличены и сохранены. Интеллектуальная система непрерывного экспертного мониторинга (ICEMS) будет использоваться для оценки хирургической эффективности с использованием необработанных данных о производительности и предоставления оценки производительности с интервалом в 0,2 секунды. Для каждой задачи будет рассчитан средний составной балл. Внутри и между группами будут проводиться сравнения для оценки обучения с первой попытки (базовая производительность) до пятой попытки и сравнения улучшений между группами. Общий балл по реалистичному сценарию будет рассчитан ICEMS для оценки передачи обучения. Улучшение результатов участников будет проверяться повторными измерениями ANOVA. Учитывая размер потенциального эффекта 25%, статистическую мощность 0,95 и значимость 0,05, в этом исследовании необходимо набрать 29 участников в каждой группе. Оценка производительности участников в пятой попытке практики будет сравниваться между группами с использованием ANOVA для сравнения обучения. Такой же анализ будет проведен для реалистичной попытки сравнить передачу обучения между группами.

Производительность в реалистичной попытке будет оцениваться слепыми экспертами с использованием глобальной рейтинговой шкалы OSATS с использованием видео выступления участников. Глобальная оценка OSATS будет сравниваться между группами, чтобы сравнить эффективность обучения с использованием ANOVA.