Эффективность искусственной интеллектуальной обучающей системы в симуляционном обучении
Сравнение виртуального оперативного помощника с экспертным обучением хирургическому образованию: рандомизированное контролируемое исследование
Краткое содержание:
Фон:
Хотя хирургический опыт и технические навыки связаны с лучшими результатами для пациентов, количественная оценка хирургических способностей в операционной является сложной задачей. В хирургическом образовании большие наборы данных, сгенерированные высокоточными симуляторами виртуальной реальности, могут использоваться алгоритмами машинного обучения для объективного измерения производительности и компетентности обучаемых на экспертных тестах. Это позволяет многократно отрабатывать хирургические навыки в безопасных и безопасных условиях с немедленной обратной связью.
Наша группа разработала и запатентовала интеллектуальную систему обучения под названием Virtual Operative Assistant (VOA). Используя алгоритм машины опорных векторов искусственного интеллекта (ИИ), VOA оценивает данные, полученные с платформы симулятора NeuroVR (CAE Healthcare), и обеспечивает индивидуальную аудиовизуальную обратную связь для повышения производительности учащихся во время симулированных резекций опухоли головного мозга. Эффективность интеллектуальных систем обучения, таких как VOA, для педагогики хирургического обучения человека еще предстоит выяснить.
Целью этого исследования является сравнение эффективности и образовательного воздействия персонализированной обратной связи VOA с экспертными инструкциями по обучению студентов-медиков техническим навыкам процедуры резекции опухоли в виртуальной реальности.
Конкретные цели: 1) Оценить, статистически улучшают ли студенты-медики, получающие персонализированную обратную связь VOA, свою хирургическую эффективность по сравнению со студентами, у которых (а) нет обратной связи от опытного инструктора или (б) обратная связь, опосредованная опытным инструктором. 2) Определить, вызывают ли интеллектуальная система обучения VOA разные эмоции у студентов-медиков при выполнении этой задачи достижения по сравнению с обучением человека.
Обзор исследования
Статус
Условия
Подробное описание
Дизайн: частично слепое рандомизированное контролируемое исследование с тремя группами обучения VOA по сравнению с дистанционным обучением экспертов по сравнению с контролем.
Место проведения: Учебный центр нейрохирургического моделирования и искусственного интеллекта, Монреальский неврологический институт.
Участники: Приемлемые студенты-медики первого и второго курсов со всей провинции Квебек.
Задача: Полное удаление смоделированной опухоли, различимой по цвету и тактильным свойствам, с минимальным кровотечением и повреждением окружающего здорового мозга с использованием двух хирургических инструментов (ультразвуковой аспиратор Cavitron и биполярные пинцеты) хирургического симулятора NeuroVR (CAE Healthcare).
Вмешательство: одно 75-минутное учебное занятие, включающее шесть попыток виртуальной субпиальной резекции опухоли (пять простых практических сценариев и один сложный реалистичный сценарий) с оценкой и обратной связью от:
- интеллектуальная система обучения VOA (группа 2) или
удаленный эксперт-инструктор (группа 3)
Оба по сравнению с:
- контрольная группа (группа 1), которая не получает никакой оценки или отзывов об исполнении.
Насколько нам известно, это будет первое исследование, в котором будет сравниваться эффективность интеллектуальной системы обучения на базе ИИ с экспертными инструкциями в контексте медицинского и хирургического моделирования виртуальной реальности и оцениваться эмоциональная реакция на такое обучение. Это исследование направлено на определение успешных подходов к использованию этой инновационной технологии в учебной программе медицинского образования и улучшению результатов лечения пациентов за счет повышения безопасности, эффективности и компетентности хирургов и других медицинских работников.
Тип исследования
Регистрация (Действительный)
Фаза
- Непригодный
Контакты и местонахождение
Места учебы
-
-
Quebec
-
Montreal, Quebec, Канада, H3A 2B4
- Neurosurgical Simulation and Artificial Intelligence Learning Centre
-
-
Критерии участия
Критерии приемлемости
Возраст, подходящий для обучения
- Ребенок
- Взрослый
- Пожилой взрослый
Принимает здоровых добровольцев
Полы, имеющие право на обучение
Описание
Критерии включения: • Студенты-медики первого и второго курсов любого канадского учебного заведения, не соответствующие критериям исключения.
-
Критерии исключения: • Участие в любом из предыдущих испытаний нашей группы с использованием симулятора NeuroVR (CAE Healthcare).
-
Учебный план
Как устроено исследование?
Детали дизайна
- Основная цель: Исследования в области здравоохранения
- Распределение: Рандомизированный
- Интервенционная модель: Параллельное назначение
- Маскировка: Двойной
Оружие и интервенции
Группа участников / Армия |
Вмешательство/лечение |
|---|---|
|
Без вмешательства: Контрольная группа
Контрольная группа — базовое обучение Выделено 25 участников. Отдельные лица получают вводную информацию об использовании симулятора и сценария. Они выполняют 5 простых субпиальных резекций опухоли для практики и имеют 5 минут на попытку. После каждой попытки учащийся делает 5-минутный перерыв без оценки или отзывов о своей работе. С шестой попытки у них есть 13 минут, чтобы выполнить другой реалистичный сценарий. |
|
|
Экспериментальный: Экспериментальная группа - Виртуальное обучение оперативной помощи
Экспериментальная группа - Виртуальное обучение оперативной помощи Выделено 25 участников. Люди получают ту же информацию, имеют такое же количество времени и выполняют те же сценарии, что и контрольная группа. В течение 5 минут между попытками участники получают оценку своей работы на тренинге виртуальной оперативной помощи и аудиовизуальную обратную связь. |
Отдельные лица получают ту же основную информацию, имеют такое же количество времени и выполняют те же сценарии, что и контрольная группа.
В течение 5 минут между попытками участники получают оценку своего выступления от виртуального оперативного помощника и аудиовизуальную обратную связь.
|
|
Экспериментальный: Экспериментальная группа - дистанционное обучение инструкторов-экспертов
Выделено 25 участников.
Люди получают ту же информацию, имеют такое же количество времени и выполняют те же сценарии, что и контрольная группа.
Тем временем обученный инструктор удаленно наблюдает за выступлением участника на экране, которое транслируется в прямом эфире.
Инструкторами являются старшие нейрохирурги-резиденты с большим опытом выполнения и оценки этого сценария.
Во время 5-минутного сеанса обратной связи они общаются со студентом, обсуждают результаты и помогают в постановке целей для следующего испытания.
|
Люди получают ту же информацию, имеют такое же количество времени и выполняют те же сценарии, что и контрольная группа.
Тем временем обученный инструктор удаленно наблюдает за выступлением участника на экране, которое транслируется в прямом эфире.
Инструкторами являются старшие нейрохирурги-резиденты с большим опытом выполнения и оценки этого сценария.
Во время 5-минутного сеанса обратной связи они общаются со студентом, обсуждают результаты и помогают в постановке целей для следующего испытания.
|
Что измеряет исследование?
Первичные показатели результатов
Мера результата |
Мера Описание |
Временное ограничение |
|---|---|---|
|
Изменение процессуального исполнения.
Временное ограничение: День учебы
|
Производительность каждой тренировочной попытки измеряется с использованием необработанных данных симулятора, которые используются для оценки ранее установленными алгоритмами ИИ по проверенным показателям.
|
День учебы
|
|
Изменения в обучении
Временное ограничение: День учебы
|
Производительность по сложному реалистичному сценарию оценивается опытными инструкторами с использованием объективной структурированной оценки технических навыков (OSATS), визуальной рейтинговой шкалы (взвешенной на 50%) и алгоритмов оценки ИИ (взвешенной на 50%) для создания сводной оценки производительности.
|
День учебы
|
Вторичные показатели результатов
Мера результата |
Мера Описание |
Временное ограничение |
|---|---|---|
|
Разница в силе вызываемых эмоций
Временное ограничение: День учебы
|
Измерено с использованием шкалы медицинских эмоций Даффи (MES) до, во время и после вмешательства.
|
День учебы
|
|
Разница в когнитивной нагрузке
Временное ограничение: День учебы
|
Измерено с помощью индекса когнитивной нагрузки Леппинка (CLI) после вмешательства.
|
День учебы
|
Соавторы и исследователи
Спонсор
Публикации и полезные ссылки
Общие публикации
- Stulberg JJ, Huang R, Kreutzer L, Ban K, Champagne BJ, Steele SR, Johnson JK, Holl JL, Greenberg CC, Bilimoria KY. Association Between Surgeon Technical Skills and Patient Outcomes. JAMA Surg. 2020 Oct 1;155(10):960-968. doi: 10.1001/jamasurg.2020.3007. Erratum In: JAMA Surg. 2020 Oct 1;155(10):1002. JAMA Surg. 2021 Jul 1;156(7):694.
- Birkmeyer JD, Finks JF, O'Reilly A, Oerline M, Carlin AM, Nunn AR, Dimick J, Banerjee M, Birkmeyer NJ; Michigan Bariatric Surgery Collaborative. Surgical skill and complication rates after bariatric surgery. N Engl J Med. 2013 Oct 10;369(15):1434-42. doi: 10.1056/NEJMsa1300625.
- Birkmeyer JD, Stukel TA, Siewers AE, Goodney PP, Wennberg DE, Lucas FL. Surgeon volume and operative mortality in the United States. N Engl J Med. 2003 Nov 27;349(22):2117-27. doi: 10.1056/NEJMsa035205.
- Winkler-Schwartz A, Yilmaz R, Mirchi N, Bissonnette V, Ledwos N, Siyar S, Azarnoush H, Karlik B, Del Maestro R. Machine Learning Identification of Surgical and Operative Factors Associated With Surgical Expertise in Virtual Reality Simulation. JAMA Netw Open. 2019 Aug 2;2(8):e198363. doi: 10.1001/jamanetworkopen.2019.8363.
- Mirchi N, Bissonnette V, Yilmaz R, Ledwos N, Winkler-Schwartz A, Del Maestro RF. The Virtual Operative Assistant: An explainable artificial intelligence tool for simulation-based training in surgery and medicine. PLoS One. 2020 Feb 27;15(2):e0229596. doi: 10.1371/journal.pone.0229596. eCollection 2020.
- Winkler-Schwartz A, Marwa I, Bajunaid K, Mullah M, Alotaibi FE, Bugdadi A, Sawaya R, Sabbagh AJ, Del Maestro R. A Comparison of Visual Rating Scales and Simulated Virtual Reality Metrics in Neurosurgical Training: A Generalizability Theory Study. World Neurosurg. 2019 Jul;127:e230-e235. doi: 10.1016/j.wneu.2019.03.059. Epub 2019 Mar 15.
- Duffy, M.C., et al., Emotions in medical education: Examining the validity of the Medical Emotion Scale (MES) across authentic medical learning environments. Learning and Instruction, 2020. 70: p. 101150.
- Leppink J, Paas F, Van der Vleuten CP, Van Gog T, Van Merrienboer JJ. Development of an instrument for measuring different types of cognitive load. Behav Res Methods. 2013 Dec;45(4):1058-72. doi: 10.3758/s13428-013-0334-1.
- Fazlollahi AM, Bakhaidar M, Alsayegh A, Yilmaz R, Winkler-Schwartz A, Mirchi N, Langleben I, Ledwos N, Sabbagh AJ, Bajunaid K, Harley JM, Del Maestro RF. Effect of Artificial Intelligence Tutoring vs Expert Instruction on Learning Simulated Surgical Skills Among Medical Students: A Randomized Clinical Trial. JAMA Netw Open. 2022 Feb 1;5(2):e2149008. doi: 10.1001/jamanetworkopen.2021.49008.
Даты записи исследования
Изучение основных дат
Начало исследования (Действительный)
Первичное завершение (Действительный)
Завершение исследования (Действительный)
Даты регистрации исследования
Первый отправленный
Впервые представлено, что соответствует критериям контроля качества
Первый опубликованный (Действительный)
Обновления учебных записей
Последнее опубликованное обновление (Действительный)
Последнее отправленное обновление, отвечающее критериям контроля качества
Последняя проверка
Дополнительная информация
Термины, связанные с этим исследованием
Ключевые слова
Другие идентификационные номера исследования
- 2010-270, NEU-09-042
Планирование данных отдельных участников (IPD)
Планируете делиться данными об отдельных участниках (IPD)?
Описание плана IPD
Сроки обмена IPD
Критерии совместного доступа к IPD
Совместное использование IPD Поддерживающий тип информации
- STUDY_PROTOCOL
- САП
- МКФ
- АНАЛИТИЧЕСКИЙ_КОД
- КСО
Информация о лекарствах и устройствах, исследовательские документы
Изучает лекарственный продукт, регулируемый FDA США.
Изучает продукт устройства, регулируемый Управлением по санитарному надзору за качеством пищевых продуктов и медикаментов США.
Эта информация была получена непосредственно с веб-сайта clinicaltrials.gov без каких-либо изменений. Если у вас есть запросы на изменение, удаление или обновление сведений об исследовании, обращайтесь по адресу register@clinicaltrials.gov. Как только изменение будет реализовано на clinicaltrials.gov, оно будет автоматически обновлено и на нашем веб-сайте. .