Eficiencia de la instrucción verbal inteligente del tutor en simulación neuroquirúrgica

Antecedentes: la habilidad técnica quirúrgica experta está relacionada con mejores resultados para los pacientes; sin embargo, capacitar a los principiantes para que dominen estas habilidades sigue siendo un desafío. El Sistema Inteligente de Monitoreo Continuo de Experiencia (ICEMS) es una aplicación de aprendizaje profundo que se desarrolló en el Centro de Aprendizaje de Inteligencia Artificial y Simulación Neuroquirúrgica para mejorar la educación neuroquirúrgica. El ICEMS evalúa y entrena el desempeño quirúrgico bimanual proporcionando retroalimentación continua a través de instrucciones verbales para mejorar el desempeño de los alumnos y mitigar los errores.

Justificación: Un ensayo controlado aleatorio (ECA) previo realizado en nuestro centro demostró que la tutoría inteligente es más eficaz que la tutoría de expertos en un procedimiento neuroquirúrgico simulado (NCT05168150). Otro ECA reveló que el desempeño de los estudiantes de medicina en respuesta a la instrucción ICEMS para disminuir la aplicación de la fuerza bipolar fue variable (NCT04700384). Un algoritmo de agrupamiento aglomerativo clasificó estas respuestas variables de los estudiantes en 3 grupos: el 53% obedeció con éxito la instrucción para corregir el error, el 36% no obedeció la instrucción y el 11% respondió en exceso a la instrucción. Esta variabilidad de respuesta podría limitar significativamente la utilidad del ICEMS y puede atribuirse a diferentes estilos de aprendizaje, niveles de estrés o mala interpretación de la instrucción de IA. Durante este estudio, los formadores expertos no recibieron datos de errores del ICEMS. La realización de un nuevo ECA en el que los formadores expertos reciban datos de errores del ICEMS aclarará la razón por la que muchos alumnos no respondieron a las instrucciones de la IA.

Este informe sigue los Estándares consolidados de informes de ensayos-Inteligencia artificial (CONSORT-AI), así como la lista de verificación de Aprendizaje automático para evaluar la experiencia quirúrgica (MLASE).

Hipótesis:

1. La retroalimentación verbal de la IA producirá tasas de respuesta de éxito significativamente más bajas entre los alumnos que la retroalimentación de error idéntica proporcionada por instructores humanos.
2. Los puntajes de la evaluación del desempeño de los aprendices serán significativamente más altos en los dos grupos diferentes de instrucción humana evaluados.
3. La instrucción impartida por el tutor de IA dará como resultado mayores niveles de estrés y carga cognitiva en comparación con la retroalimentación de errores verbales proporcionada por instructores humanos.

Objetivos principales: Determinar cómo influye el método de impartición de instrucciones sobre errores quirúrgicos:

1. Respuesta del alumno a la instrucción, es decir, si corrigió, no corrigió o corrigió en exceso el error (datos recopilados por el ICEMS).
2. Desempeño quirúrgico general del aprendiz (puntaje promedio de experiencia en escenarios de práctica calculado por el ICEMS, puntaje de Evaluación Estructurada Objetiva de Habilidades Técnicas (OSATS) en un escenario realista determinado por dos evaluadores expertos ciegos).

Objetivo secundario: Determinar cómo el método de impartición de instrucción sobre errores quirúrgicos influye en las respuestas cognitivas afectivas del alumno (autoinformadas mediante cuestionarios en escalas Likert de 5 puntos).

Ámbito: Centro de aprendizaje de inteligencia artificial y simulación neuroquirúrgica de la Universidad McGill.

Participantes: Estudiantes matriculados en su primer o segundo año preparatorio en una de las cuatro facultades de medicina de Quebec.

Diseño: ensayo controlado aleatorio de tres brazos.

Intervención: Los participantes se someterán a una sesión de capacitación de aproximadamente 90 minutos en NeuroVR (CAE Healthcare), un simulador quirúrgico de realidad virtual (VR) que simula una resección de un tumor cerebral subpial. El NeuroVR tiene dos escenarios posibles: un escenario de práctica simple y un escenario realista complejo. Los participantes realizarán seis repeticiones del escenario de práctica (5 minutos cada una) seguidas del escenario realista (13 minutos). El ICEMS evaluará continuamente el desempeño durante toda la prueba. Todos los participantes recibirán retroalimentación verbal cuando el ICEMS detecte un error en su desempeño; sin embargo, el método de entrega de esta retroalimentación verbal diferirá entre los grupos.

• El grupo 1 (control) recibirá información verbal directamente del ICEMS cuando se detecte un error.
• El grupo 2 (experimental) recibirá comentarios verbales de un instructor experto con las mismas palabras que el ICEMS.
• El grupo 3 (experimental) recibirá comentarios verbales de un instructor experto en sus propias palabras.

La retroalimentación verbal se basará en cuatro métricas de la siguiente manera: (1) distancia de separación de las puntas del instrumento, es decir, la distancia entre las puntas de las pinzas bipolares y el aspirador ultrasónico; (2) fuerza bipolar baja; (3) alta fuerza del aspirador; (4) alta fuerza bipolar. Los alumnos serán evaluados según una métrica a la vez y tendrán la opción de ver un video de demostración a nivel de experto antes de pasar a cada nueva métrica. Una vez que se domina una métrica, el alumno pasará a la siguiente métrica. Se considera que una métrica está "dominada" cuando el alumno realiza una repetición completa sin recibir retroalimentación.

El primer escenario de práctica servirá como punto de partida; por lo tanto, no se dará ninguna respuesta. En la segunda, tercera, cuarta y quinta repeticiones, se dará retroalimentación de acuerdo con la detección de errores de ICEMS. En la sexta repetición, así como en el escenario realista, no se proporcionará ninguna retroalimentación.

Importancia: Dado que los enfoques de educación quirúrgica comienzan a cambiar hacia marcos basados ​​en competencias, la implementación de retroalimentación educativa efectiva de IA en la capacitación quirúrgica se vuelve crucial para optimizar el aprendizaje quirúrgico. Los resultados de este RCT permitirán la evaluación y reingeniería del ICEMS y otros sistemas de tutoría de IA, lo que puede avanzar en el desarrollo no solo de planes de estudios de capacitación en educación quirúrgica estandarizados basados ​​en competencias, sino también de cualquier tecnología de tutoría de IA que dependa de la instrucción verbal.