Эффективность устного интеллектуального обучения преподавателя в нейрохирургическом моделировании

Обоснование: Профессиональные хирургические технические навыки связаны с улучшением результатов лечения пациентов; однако обучение новичков овладению этими навыками остается сложной задачей. Интеллектуальная система непрерывного экспертного мониторинга (ICEMS) — это приложение глубокого обучения, разработанное в Учебном центре нейрохирургического моделирования и искусственного интеллекта для улучшения нейрохирургического образования. ICEMS оценивает и обучает бимануальному хирургическому вмешательству, обеспечивая постоянную обратную связь посредством устных инструкций, чтобы улучшить работу стажеров и уменьшить количество ошибок.

Обоснование: Предыдущее рандомизированное контролируемое исследование (РКИ), проведенное в нашем центре, продемонстрировало, что интеллектуальное обучение более эффективно, чем экспертное обучение при моделировании нейрохирургической процедуры (NCT05168150). Другое РКИ показало, что успеваемость студентов-медиков в ответ на инструкцию ICEMS по уменьшению приложения биполярной силы была различной (NCT04700384). Алгоритм агломеративной кластеризации разделил эти переменные ответы учащихся на 3 группы: 53% успешно выполнили инструкцию по исправлению ошибки, 36% не подчинились инструкции и 11% слишком сильно отреагировали на инструкцию. Эта вариативность ответов может существенно ограничить полезность ICEMS и может быть связана с различными стилями обучения, уровнями стресса или неправильной интерпретацией инструкций ИИ. В ходе данного исследования экспертам-тренерам не были предоставлены данные об ошибках ICEMS. Проведение нового РКИ, в ходе которого экспертам-тренерам будут предоставлены данные об ошибках ICEMS, прояснит причину, по которой многие стажеры не ответили на инструкции ИИ.

Этот отчет соответствует Консолидированным стандартам отчетности об испытаниях искусственного интеллекта (CONSORT-AI), а также контрольному списку машинного обучения для оценки хирургической экспертизы (MLASE).

Гипотезы:

1. Вербальная обратная связь ИИ приведет к значительно более низким показателям успешных ответов среди обучаемых, чем идентичная обратная связь об ошибках, предоставляемая инструкторами-людьми.
2. Оценочные оценки эффективности стажеров будут значительно выше в двух различных оцениваемых группах обучения людей.
3. Инструкция, проводимая преподавателем ИИ, приведет к повышению уровня стресса и когнитивной нагрузки по сравнению с устной обратной связью по ошибкам, предоставляемой инструкторами-людьми.

Основные цели: Определить, как способ проведения инструкций по хирургической ошибке влияет:

1. Реакция обучаемого на инструкцию, т. е. исправили ли они, не исправили или чрезмерно исправили ошибку (данные, собранные ICEMS).
2. Общая хирургическая эффективность стажера (средний балл квалификации по практическим сценариям, рассчитанный с помощью ICEMS, балл объективной структурированной оценки технических навыков (OSATS) по реалистичному сценарию, определенный двумя слепыми экспертами-оценщиками).

Вторичная цель: определить, как метод обучения хирургическим ошибкам влияет на аффективно-когнитивные реакции обучающихся (самооценка с помощью анкет по 5-балльной шкале Лайкерта).

Место проведения: Учебный центр нейрохирургического моделирования и искусственного интеллекта Университета Макгилла.

Участники: Студенты, обучающиеся на подготовительном, первом или втором курсе одной из четырех медицинских школ Квебека.

Дизайн: рандомизированное контролируемое исследование с участием трех групп.

Вмешательство: участники пройдут 90-минутную тренировку на NeuroVR (CAE Healthcare), хирургическом симуляторе виртуальной реальности (VR), который имитирует субпиальную резекцию опухоли головного мозга. NeuroVR имеет два возможных сценария: простой практический сценарий и сложный реалистичный сценарий. Участники выполнят шесть повторений тренировочного сценария (по 5 минут каждый), а затем реалистичного сценария (13 минут). ICEMS будет постоянно оценивать эффективность на протяжении всего испытания. Все участники получат устную обратную связь, когда ICEMS обнаружит ошибку в их работе; однако метод предоставления этой вербальной обратной связи будет различаться в зависимости от группы.

• Группа 1 (контрольная) получит устную обратную связь непосредственно от ICMS при обнаружении ошибки.
• Группа 2 (экспериментальная) получит устную обратную связь от опытного инструктора, произнесенную теми же словами, что и ICEMS.
• Группа 3 (экспериментальная) получит устную обратную связь от опытного инструктора, произнесенную своими словами.

Устная обратная связь будет основана на следующих четырех показателях: (1) расстояние между кончиками инструментов, т. е. расстояние между кончиками биполярных щипцов и ультразвуковым аспиратором; (2) низкая биполярная сила; (3) высокая сила аспирации; (4) высокая биполярная сила. Стажеры будут оцениваться по одному показателю за раз, и у них будет возможность посмотреть демонстрационное видео экспертного уровня, прежде чем они перейдут к каждому новому показателю. Как только метрика освоена, обучаемый переходит к следующей метрике. Показатель считается «освоенным», когда обучаемый выполняет все повторения, не получая обратной связи.

Первый практический сценарий будет служить базовым; таким образом, никакой обратной связи не будет. Во втором, третьем, четвертом и пятом повторениях обратная связь будет предоставляться в соответствии с обнаружением ошибок ICMS. В шестом повторении, как и в реалистичном сценарии, обратной связи не будет.

Значение: поскольку подходы к хирургическому образованию начинают смещаться в сторону структур, основанных на компетенциях, внедрение эффективной образовательной обратной связи с искусственным интеллектом в хирургическую подготовку становится решающим фактором для оптимизации хирургического обучения. Результаты этого РКИ позволят провести оценку и реинжиниринг ICEMS и других систем обучения ИИ, что может способствовать разработке не только стандартизированных учебных программ по хирургическому обучению, основанных на компетенциях, но и любой технологии обучения ИИ, зависящей от устного обучения.