Probando la Eficacia de un Sistema de Entrenamiento en Tiempo Real de Inteligencia ArtificialSystemSimulatioFormación de Estudiantes de Medicina

Antecedentes Los avances en los campos de la simulación quirúrgica y la inteligencia artificial han resultado en el desarrollo de sistemas inteligentes de evaluación y tutoría de habilidades técnicas para satisfacer las necesidades del enfoque basado en competencias en la educación médica. Estas novedosas herramientas educativas ofrecen soluciones para la estandarización y objetividad de la evaluación y capacitación de la competencia técnica del alumno, en entornos operativos simulados sin riesgos. Estos sistemas pueden complementar el modelo de aprendizaje estándar de oro en la capacitación en cirugía y otra medicina basada en procedimientos al proporcionar información detallada sobre habilidades técnicas, orientación de procedimientos orientada a la acción y evaluación de riesgos. Tales aplicaciones pueden ayudar a los educadores a desarrollar metodologías de enseñanza y evaluación formativa y sumativa de los estudiantes.

Justificación El Sistema Inteligente de Monitoreo Continuo (ICEMS), una aplicación de aprendizaje profundo de inteligencia artificial (IA) se desarrolló para evaluar el rendimiento quirúrgico continuamente en intervalos de 0,2 segundos con la capacidad de entrenar a los aprendices a nivel experto y detección de riesgos. Este sistema participa en una patente pendiente titulada 'Métodos y sistemas para el monitoreo continuo del desempeño de tareas en simuladores virtuales' (2020; patente No. 05001770-883USPR). Anteriormente, se proporcionó un módulo de validez predictiva para la evaluación; sin embargo, es necesario explorar la efectividad de este sistema en el entrenamiento en tiempo real de los aprendices y la detección de riesgos.

Objetivos de la investigación Comparar la efectividad de un sistema de entrenamiento inteligente en tiempo real con la retroalimentación mediada por expertos estándar de oro. Probar la transferencia del aprendizaje durante las tareas de práctica al escenario realista más complejo.

Hipótesis

1. El grupo de retroalimentación de ICEMS mejorará significativamente en el puntaje compuesto entre el primer intento y el último intento en el escenario de práctica.
2. El grupo de control con retroalimentación de referencia post hoc no mediada por expertos no mejorará estadísticamente en la puntuación compuesta entre el primer intento y el último intento en el escenario de práctica.
3. El grupo de retroalimentación ICEMS tendrá una puntuación compuesta estadísticamente más alta en comparación con el grupo de control, en el quinto intento en el escenario de práctica.
4. El grupo de retroalimentación ICEMS tendrá una puntuación compuesta estadísticamente no inferior en comparación con el grupo de instrucción mediada por expertos en el quinto intento en el escenario de práctica.
5. El puntaje global de OSATS del grupo de retroalimentación ICEMS no será inferior al del grupo de instrucción mediado por expertos en el escenario realista complejo.
6. Esa retroalimentación de ICEMS no elegirá una diferencia en la carga emocional o cognitiva en comparación con el grupo de instrucción mediada por expertos.

Objetivos específicos: 1) Evaluar si la eficacia de la retroalimentación personalizada en tiempo real mediada por IA es estadísticamente no inferior a la retroalimentación en persona mediada por expertos para mejorar las habilidades quirúrgicas bimanuales de los estudiantes de medicina en dos tareas quirúrgicas simuladas virtualmente.

2) Describir si el sistema de retroalimentación ICEMS provoca diferentes emociones y carga cognitiva en comparación con la instrucción humana.

Diseño: un ensayo controlado aleatorio simple ciego de tres brazos de entrenamiento de IA versus entrenamiento mediado por expertos versus entrenamiento no mediado por expertos.

Lugar: Centro de Aprendizaje de Inteligencia Artificial y Simulación Neuroquirúrgica, Instituto Neurológico de Montreal.

Participantes: Estudiantes que están matriculados en su año premédico o primero a cuarto año en facultades de medicina en toda la provincia de Quebec.

Tarea: Extirpación completa de un tumor de práctica simulado cinco veces y un tumor cerebral simulado complejo una vez con sangrado mínimo y daño a las estructuras cerebrales sanas simuladas circundantes utilizando dos instrumentos quirúrgicos (aspirador ultrasónico y pinzas bipolares) utilizando el simulador quirúrgico NeuroVR (CAE Healthcare).

Intervención: una sola sesión de capacitación de 90 minutos, que incluye seis intentos virtuales de resección del tumor subpial (cinco escenarios de práctica simples y un escenario realista complejo) con evaluación y comentarios de:

1. el Sistema Inteligente de Monitoreo Continuo de Experiencia (ICEMS) (Grupo 1)
2. una retroalimentación de instrucción experta en persona (Grupo 2)
3. retroalimentación de referencia post hoc no mediada por expertos (Grupo 3)

Principales resultados y medidas:

El resultado primario es la mejora del rendimiento quirúrgico en la puntuación compuesta evaluada por el módulo de evaluación previamente validado del Sistema Inteligente de Monitoreo Continuo de Experiencia (ICEMS). La mejora del rendimiento se mide como la diferencia de puntuación compuesta entre los intentos de los participantes durante los cinco intentos de práctica. La transferencia del aprendizaje se evaluará mediante la puntuación compuesta obtenida en el escenario realista complejo.

El resultado secundario es la puntuación de desempeño de los participantes en la tarea realista que será calificada por expertos cegados utilizando la escala de calificación global de Evaluación Estructurada Objetiva de Habilidades Técnicas (OSATS). Las diferencias en la intensidad de las emociones suscitadas se medirán mediante la escala emocional médica (MES) de Duffy, antes y después de la intervención, y la diferencia en la carga cognitiva se medirá mediante el índice de carga cognitiva (CLI) de Leppink después de la intervención.

Este estudio, según el conocimiento de los investigadores, es la primera aplicación que compara la efectividad de un sistema de retroalimentación inteligente en tiempo real con la instrucción humana estándar de oro. Este estudio tiene como objetivo identificar metodologías de capacitación eficientes utilizando plataformas de capacitación de simuladores quirúrgicos impulsadas por inteligencia artificial, por lo tanto, los alumnos reciben una evaluación de habilidades técnicas objetivas y personalizadas y capacitación utilizando tecnologías de punta.

Los datos de los Participantes del Plan de Análisis Estadístico serán anonimizados y almacenados. El Sistema Inteligente de Monitoreo Continuo de Experiencia (ICEMS, por sus siglas en inglés) se utilizará para calificar el desempeño quirúrgico utilizando datos de desempeño sin procesar y proporcionar un puntaje de desempeño en intervalos de 0,2 segundos. Se calculará una puntuación compuesta promedio para cada tarea. Se realizarán comparaciones dentro y entre grupos para evaluar el aprendizaje desde el primer intento (rendimiento inicial) hasta el quinto intento y comparar la mejora entre grupos. ICEMS calculará la puntuación compuesta en el escenario realista para evaluar la transferencia del aprendizaje. La mejora de la puntuación de los participantes se examinará mediante ANOVA de medidas repetidas. Teniendo en cuenta un tamaño del efecto potencial del 25 %, un poder estadístico de 0,95 y una significación de 0,05, este estudio necesita reclutar 29 participantes en cada grupo. La puntuación de rendimiento de los participantes en el quinto intento de práctica se comparará entre grupos utilizando ANOVA para comparar el aprendizaje. Se realizará el mismo análisis para el intento realista de comparar la transferencia de aprendizaje entre grupos.

El desempeño en el intento realista será calificado por expertos ciegos utilizando la escala de calificación global OSATS, utilizando el video de desempeño de los participantes. La puntuación global de OSATS se comparará entre grupos para comparar la eficacia en el aprendizaje mediante ANOVA.