Efectividad de un Sistema Tutor de Inteligencia Artificial en Entrenamiento con Simulación
Comparación del asistente operativo virtual con la instrucción basada en expertos en educación quirúrgica: un ensayo controlado aleatorio
Breve resumen:
Fondo:
Aunque la experiencia quirúrgica y la habilidad técnica se asocian con mejores resultados para los pacientes, cuantificar la habilidad quirúrgica en el quirófano es un desafío. En la educación quirúrgica, los algoritmos de aprendizaje automático pueden emplear grandes conjuntos de datos generados por simuladores de realidad virtual de alta fidelidad para medir objetivamente el rendimiento y la competencia de los alumnos en puntos de referencia expertos. Esto permite la práctica repetitiva de habilidades quirúrgicas en entornos seguros y sin riesgos con retroalimentación inmediata.
Nuestro grupo desarrolló y tiene una patente pendiente para un sistema de tutoría inteligente llamado Virtual Operative Assistant (VOA). Utilizando un algoritmo de máquina de vector de soporte de inteligencia artificial (AI), el VOA evalúa los datos derivados de la plataforma del simulador NeuroVR (CAE Healthcare) y proporciona comentarios audiovisuales individualizados para mejorar el rendimiento del alumno durante las resecciones simuladas de tumores cerebrales. Queda por dilucidar la efectividad de los sistemas de tutoría inteligente como el VOA para la pedagogía del aprendizaje quirúrgico humano.
El objetivo de este estudio es comparar la efectividad y el impacto educativo de la retroalimentación personalizada de VOA con la instrucción de expertos sobre el aprendizaje de habilidades técnicas de estudiantes de medicina de un procedimiento de resección de tumor de realidad virtual.
Objetivos específicos: 1) Evaluar si los estudiantes de medicina que reciben retroalimentación personalizada de VOA mejoran estadísticamente su desempeño quirúrgico en comparación con aquellos que no tienen (a) retroalimentación de un instructor experto o (b) retroalimentación mediada por un instructor experto. 2) Describir si el sistema de tutoría inteligente VOA provoca diferentes emociones en estudiantes de medicina mientras realizan esta tarea de logro en comparación con la instrucción humana.
Descripción general del estudio
Estado
Condiciones
Descripción detallada
Diseño: un ensayo controlado aleatorio parcialmente ciego de tres brazos de entrenamiento VOA versus instrucción experta basada en control remoto versus control.
Lugar: Centro de Aprendizaje de Inteligencia Artificial y Simulación Neuroquirúrgica, Instituto Neurológico de Montreal.
Participantes: Estudiantes de medicina elegibles de primer y segundo año de toda la provincia de Quebec.
Tarea: Extirpación completa de un tumor simulado, distinguible por el color y las propiedades hápticas, con un sangrado mínimo y daño al cerebro sano circundante utilizando dos instrumentos quirúrgicos (aspirador ultrasónico Cavitron y pinzas bipolares) del simulador quirúrgico NeuroVR (CAE Healthcare).
Intervención: una sola sesión de capacitación de 75 minutos, que incluye seis intentos virtuales de resección del tumor subpial (cinco escenarios de práctica simples y un escenario realista complejo) con evaluación y comentarios de:
- el sistema de tutoría inteligente VOA (Grupo 2) o
un instructor experto a distancia (Grupo 3)
Ambos comparados con:
- grupo de control (Grupo 1) que no recibe evaluación ni retroalimentación sobre el desempeño.
Hasta donde sabemos, este será el primer estudio en comparar la efectividad de un sistema de tutoría inteligente alimentado por IA con la instrucción de expertos en el contexto de la simulación de realidad virtual médica y quirúrgica y evaluar la respuesta emocional a dicha instrucción. Este estudio tiene como objetivo comenzar a identificar enfoques exitosos para usar esta tecnología innovadora en el plan de estudios de educación médica y mejorar los resultados de los pacientes al aumentar la seguridad, la eficiencia y la competencia de los cirujanos y otros proveedores de atención médica.
Tipo de estudio
Inscripción (Actual)
Fase
- No aplica
Contactos y Ubicaciones
Ubicaciones de estudio
-
-
Quebec
-
Montreal, Quebec, Canadá, H3A 2B4
- Neurosurgical Simulation and Artificial Intelligence Learning Centre
-
-
Criterios de participación
Criterio de elegibilidad
Edades elegibles para estudiar
- Niño
- Adulto
- Adulto Mayor
Acepta Voluntarios Saludables
Géneros elegibles para el estudio
Descripción
Criterios de inclusión: • Estudiantes de medicina de primer y segundo año de cualquier institución canadiense que no cumplan con los criterios de exclusión.
-
Criterios de exclusión: • Participación en cualquiera de los ensayos previos de nuestro grupo que involucren el simulador NeuroVR (CAE Healthcare).
-
Plan de estudios
¿Cómo está diseñado el estudio?
Detalles de diseño
- Propósito principal: Investigación de servicios de salud
- Asignación: Aleatorizado
- Modelo Intervencionista: Asignación paralela
- Enmascaramiento: Doble
Armas e Intervenciones
Grupo de participantes/brazo |
Intervención / Tratamiento |
|---|---|
|
Sin intervención: Grupo de control
Grupo de control - Entrenamiento de referencia 25 Participantes asignados. Las personas reciben información introductoria sobre el uso del simulador y el escenario. Realizan 5 resecciones de tumores subpiales simples para la práctica y tienen 5 minutos por ensayo. Después de cada intento, el estudiante toma un descanso de 5 minutos sin evaluación ni retroalimentación sobre su desempeño. En su sexto intento, tienen 13 minutos para realizar un escenario realista diferente. |
|
|
Experimental: Grupo Experimental - Formación en Asistencia Operativa Virtual
Grupo Experimental - Formación en Asistencia Operativa Virtual 25 participantes asignados. Los individuos reciben la misma información, tienen la misma cantidad de tiempo y realizan los mismos escenarios que el grupo de control. En los 5 minutos entre intentos, los participantes reciben la evaluación de su desempeño en la capacitación de asistencia operativa virtual y comentarios audiovisuales. |
Los individuos reciben la misma información básica, tienen la misma cantidad de tiempo y realizan los mismos escenarios que el grupo de control.
En los 5 minutos entre intentos, el participante recibe la evaluación del asistente operativo virtual de su desempeño y comentarios audiovisuales.
|
|
Experimental: Grupo Experimental - Capacitación de instructores expertos a distancia
25 participantes asignados.
Los individuos reciben la misma información, tienen la misma cantidad de tiempo y realizan los mismos escenarios que el grupo de control.
Mientras tanto, un instructor capacitado observa el desempeño en pantalla del participante, que se transmite en vivo, de forma remota.
Los instructores son residentes senior de neurocirugía con amplia experiencia en la realización y evaluación de este escenario.
Durante la sesión de retroalimentación de 5 minutos, conversan con el estudiante, analizan el desempeño y ayudan a establecer metas para la próxima prueba.
|
Los individuos reciben la misma información, tienen la misma cantidad de tiempo y realizan los mismos escenarios que el grupo de control.
Mientras tanto, un instructor capacitado observa el desempeño en pantalla del participante, que se transmite en vivo, de forma remota.
Los instructores son residentes senior de neurocirugía con amplia experiencia en la realización y evaluación de este escenario.
Durante la sesión de retroalimentación de 5 minutos, conversan con el estudiante, analizan el desempeño y ayudan a establecer metas para la próxima prueba.
|
¿Qué mide el estudio?
Medidas de resultado primarias
Medida de resultado |
Medida Descripción |
Periodo de tiempo |
|---|---|---|
|
Cambio en la actuación procesal.
Periodo de tiempo: Dia de estudio
|
El rendimiento en cada intento de práctica se mide utilizando datos sin procesar del simulador que se utiliza para la evaluación mediante algoritmos de IA previamente establecidos en métricas validadas.
|
Dia de estudio
|
|
Cambio en el aprendizaje
Periodo de tiempo: Dia de estudio
|
Instructores expertos evalúan el rendimiento en el escenario realista complejo utilizando la escala de calificación visual de evaluaciones estructuradas objetivas de habilidades técnicas (OSATS) (ponderada al 50 %) y los algoritmos de evaluación de IA (ponderados al 50 %) creando una puntuación de rendimiento compuesta.
|
Dia de estudio
|
Medidas de resultado secundarias
Medida de resultado |
Medida Descripción |
Periodo de tiempo |
|---|---|---|
|
Diferencia en la fuerza de las emociones provocadas.
Periodo de tiempo: Dia de estudio
|
Medido mediante la Escala de Emociones Médicas (MES) de Duffy, antes, durante y después de la intervención.
|
Dia de estudio
|
|
Diferencia en la carga cognitiva
Periodo de tiempo: Dia de estudio
|
Medido mediante el índice de carga cognitiva (CLI) de Leppink después de la intervención.
|
Dia de estudio
|
Colaboradores e Investigadores
Patrocinador
Publicaciones y enlaces útiles
Publicaciones Generales
- Stulberg JJ, Huang R, Kreutzer L, Ban K, Champagne BJ, Steele SR, Johnson JK, Holl JL, Greenberg CC, Bilimoria KY. Association Between Surgeon Technical Skills and Patient Outcomes. JAMA Surg. 2020 Oct 1;155(10):960-968. doi: 10.1001/jamasurg.2020.3007. Erratum In: JAMA Surg. 2020 Oct 1;155(10):1002. JAMA Surg. 2021 Jul 1;156(7):694.
- Birkmeyer JD, Finks JF, O'Reilly A, Oerline M, Carlin AM, Nunn AR, Dimick J, Banerjee M, Birkmeyer NJ; Michigan Bariatric Surgery Collaborative. Surgical skill and complication rates after bariatric surgery. N Engl J Med. 2013 Oct 10;369(15):1434-42. doi: 10.1056/NEJMsa1300625.
- Birkmeyer JD, Stukel TA, Siewers AE, Goodney PP, Wennberg DE, Lucas FL. Surgeon volume and operative mortality in the United States. N Engl J Med. 2003 Nov 27;349(22):2117-27. doi: 10.1056/NEJMsa035205.
- Winkler-Schwartz A, Yilmaz R, Mirchi N, Bissonnette V, Ledwos N, Siyar S, Azarnoush H, Karlik B, Del Maestro R. Machine Learning Identification of Surgical and Operative Factors Associated With Surgical Expertise in Virtual Reality Simulation. JAMA Netw Open. 2019 Aug 2;2(8):e198363. doi: 10.1001/jamanetworkopen.2019.8363.
- Mirchi N, Bissonnette V, Yilmaz R, Ledwos N, Winkler-Schwartz A, Del Maestro RF. The Virtual Operative Assistant: An explainable artificial intelligence tool for simulation-based training in surgery and medicine. PLoS One. 2020 Feb 27;15(2):e0229596. doi: 10.1371/journal.pone.0229596. eCollection 2020.
- Winkler-Schwartz A, Marwa I, Bajunaid K, Mullah M, Alotaibi FE, Bugdadi A, Sawaya R, Sabbagh AJ, Del Maestro R. A Comparison of Visual Rating Scales and Simulated Virtual Reality Metrics in Neurosurgical Training: A Generalizability Theory Study. World Neurosurg. 2019 Jul;127:e230-e235. doi: 10.1016/j.wneu.2019.03.059. Epub 2019 Mar 15.
- Duffy, M.C., et al., Emotions in medical education: Examining the validity of the Medical Emotion Scale (MES) across authentic medical learning environments. Learning and Instruction, 2020. 70: p. 101150.
- Leppink J, Paas F, Van der Vleuten CP, Van Gog T, Van Merrienboer JJ. Development of an instrument for measuring different types of cognitive load. Behav Res Methods. 2013 Dec;45(4):1058-72. doi: 10.3758/s13428-013-0334-1.
- Fazlollahi AM, Bakhaidar M, Alsayegh A, Yilmaz R, Winkler-Schwartz A, Mirchi N, Langleben I, Ledwos N, Sabbagh AJ, Bajunaid K, Harley JM, Del Maestro RF. Effect of Artificial Intelligence Tutoring vs Expert Instruction on Learning Simulated Surgical Skills Among Medical Students: A Randomized Clinical Trial. JAMA Netw Open. 2022 Feb 1;5(2):e2149008. doi: 10.1001/jamanetworkopen.2021.49008.
Fechas de registro del estudio
Fechas importantes del estudio
Inicio del estudio (Actual)
Finalización primaria (Actual)
Finalización del estudio (Actual)
Fechas de registro del estudio
Enviado por primera vez
Primero enviado que cumplió con los criterios de control de calidad
Publicado por primera vez (Actual)
Actualizaciones de registros de estudio
Última actualización publicada (Actual)
Última actualización enviada que cumplió con los criterios de control de calidad
Última verificación
Más información
Términos relacionados con este estudio
Palabras clave
Otros números de identificación del estudio
- 2010-270, NEU-09-042
Plan de datos de participantes individuales (IPD)
¿Planea compartir datos de participantes individuales (IPD)?
Descripción del plan IPD
Marco de tiempo para compartir IPD
Criterios de acceso compartido de IPD
Tipo de información de apoyo para compartir IPD
- PROTOCOLO DE ESTUDIO
- SAVIA
- CIF
- CÓDIGO_ANALÍTICO
- RSC
Información sobre medicamentos y dispositivos, documentos del estudio
Estudia un producto farmacéutico regulado por la FDA de EE. UU.
Estudia un producto de dispositivo regulado por la FDA de EE. UU.
Esta información se obtuvo directamente del sitio web clinicaltrials.gov sin cambios. Si tiene alguna solicitud para cambiar, eliminar o actualizar los detalles de su estudio, comuníquese con register@clinicaltrials.gov. Tan pronto como se implemente un cambio en clinicaltrials.gov, también se actualizará automáticamente en nuestro sitio web. .
Ensayos clínicos sobre Capacitación de asistente operativo virtual
-
Diakonhjemmet HospitalThe Dam Foundation; The Norwegian Council for Musculoskeletal HealthActivo, no reclutando