Efficacité d'un système de tutorat intelligent artificiel dans la formation par simulation
Comparaison de l'assistant opératoire virtuel à l'enseignement basé sur des experts en formation chirurgicale : un essai contrôlé randomisé
Bref résumé:
Arrière-plan:
Bien que l'expérience chirurgicale et les compétences techniques soient associées à de meilleurs résultats pour les patients, il est difficile de quantifier la capacité chirurgicale en salle d'opération. Dans la formation chirurgicale, de grands ensembles de données générés par des simulateurs de réalité virtuelle haute fidélité peuvent être utilisés par des algorithmes d'apprentissage automatique pour mesurer objectivement les performances et les compétences des stagiaires sur des références d'experts. Cela permet une pratique répétitive des compétences chirurgicales dans des environnements sûrs et sans risque avec une rétroaction immédiate.
Notre groupe a développé et a déposé un brevet pour un système de tutorat intelligent appelé Virtual Operative Assistant (VOA). Utilisant un algorithme de machine vectorielle de support d'intelligence artificielle (IA), le VOA évalue les données dérivées de la plate-forme de simulation NeuroVR (CAE Healthcare) et fournit une rétroaction audiovisuelle individualisée pour améliorer les performances de l'apprenant lors de résections simulées de tumeurs cérébrales. L'efficacité des systèmes intelligents de tutorat tels que le VOA à la pédagogie d'apprentissage de la chirurgie humaine reste à élucider.
Le but de cette étude est de comparer l'efficacité et l'impact pédagogique de la rétroaction VOA personnalisée à l'instruction d'experts sur l'apprentissage des compétences techniques des étudiants en médecine d'une procédure de résection tumorale en réalité virtuelle.
Objectifs spécifiques : 1) Évaluer si les étudiants en médecine qui reçoivent des commentaires personnalisés de la VOA améliorent statistiquement leurs performances chirurgicales par rapport à ceux qui n'ont (a) aucun commentaire d'instructeur expert ou (b) des commentaires médiés par un instructeur expert. 2) Indiquer si différentes émotions sont suscitées par le système de tutorat intelligent VOA chez les étudiants en médecine lors de l'exécution de cette tâche de réalisation par rapport à l'instruction humaine
Aperçu de l'étude
Statut
Les conditions
Description détaillée
Conception : Un essai contrôlé randomisé à trois bras partiellement en aveugle de la formation VOA par rapport à l'instruction d'experts à distance par rapport au contrôle.
Milieu : Centre d'apprentissage en simulation neurochirurgicale et en intelligence artificielle, Institut neurologique de Montréal.
Participants : Étudiants en médecine admissibles de première et de deuxième année de partout au Québec.
Tâche : Retrait complet d'une tumeur simulée - distinguable par sa couleur et ses propriétés haptiques - avec un minimum de saignements et de dommages au cerveau sain environnant à l'aide de deux instruments chirurgicaux (aspirateur ultrasonique Cavitron et pinces bipolaires) du simulateur chirurgical NeuroVR (CAE Healthcare).
Intervention : Une session de formation unique de 75 minutes, comprenant six tentatives de résection tumorale sous-piale virtuelles (cinq scénarios pratiques simples et un scénario réaliste complexe) avec évaluation et commentaires de l'un ou l'autre :
- le système de tutorat intelligent VOA (Groupe 2) ou
un instructeur expert à distance (Groupe 3)
Les deux par rapport à :
- groupe de contrôle (groupe 1) qui ne reçoit aucune évaluation ou rétroaction sur les performances.
À notre connaissance, ce sera la première étude à comparer l'efficacité d'un système de tutorat intelligent alimenté par l'IA à l'instruction d'experts dans le contexte de la simulation de réalité virtuelle médicale et chirurgicale et à évaluer la réponse émotionnelle à une telle instruction. Cette étude vise à commencer à identifier des approches réussies pour utiliser cette technologie innovante dans le programme de formation médicale et à améliorer les résultats pour les patients en augmentant la sécurité, l'efficacité et la compétence des chirurgiens et d'autres prestataires de soins de santé.
Type d'étude
Inscription (Réel)
Phase
- N'est pas applicable
Contacts et emplacements
Lieux d'étude
-
-
Quebec
-
Montreal, Quebec, Canada, H3A 2B4
- Neurosurgical Simulation and Artificial Intelligence Learning Centre
-
-
Critères de participation
Critère d'éligibilité
Âges éligibles pour étudier
- Enfant
- Adulte
- Adulte plus âgé
Accepte les volontaires sains
Sexes éligibles pour l'étude
La description
Critères d'inclusion :• Étudiants en médecine de première et de deuxième année de tout établissement canadien qui ne répondent pas aux critères d'exclusion.
-
Critères d'exclusion : • Participation à l'un des essais antérieurs de notre groupe impliquant le simulateur NeuroVR (CAE Santé).
-
Plan d'étude
Comment l'étude est-elle conçue ?
Détails de conception
- Objectif principal: Recherche sur les services de santé
- Répartition: Randomisé
- Modèle interventionnel: Affectation parallèle
- Masquage: Double
Armes et Interventions
Groupe de participants / Bras |
Intervention / Traitement |
|---|---|
|
Aucune intervention: Groupe de contrôle
Groupe de contrôle - Formation de base 25 Participants attribués. Les individus reçoivent des informations d'introduction sur l'utilisation du simulateur et du scénario. Ils effectuent 5 résections tumorales sous-piales simples pour s'entraîner et disposent de 5 minutes par essai. Après chaque tentative, l'élève fait une pause de 5 minutes sans évaluation ni retour sur sa performance. Lors de leur 6e tentative, ils ont 13 minutes pour effectuer un scénario réaliste différent. |
|
|
Expérimental: Groupe Expérimental - Formation d'Assistance Opérationnelle Virtuelle
Groupe Expérimental - Formation d'Assistance Opérationnelle Virtuelle 25 participants attribués. Les individus reçoivent les mêmes informations, disposent du même temps et réalisent les mêmes scénarios que le groupe témoin. Dans les 5 minutes entre les tentatives, les participants reçoivent l'évaluation de leur performance et des commentaires audiovisuels. |
Les individus reçoivent les mêmes informations de base, disposent du même temps et réalisent les mêmes scénarios que le groupe témoin.
Dans les 5 minutes entre les tentatives, les participants reçoivent l'évaluation de l'assistant opératoire virtuel de leur performance et des commentaires audiovisuels.
|
|
Expérimental: Groupe expérimental - Formation d'instructeurs experts à distance
25 participants attribués.
Les individus reçoivent les mêmes informations, disposent du même temps et réalisent les mêmes scénarios que le groupe témoin.
Pendant ce temps, un instructeur qualifié observe la performance à l'écran du participant, qui est diffusée en direct, à distance.
Les instructeurs sont des résidents seniors en neurochirurgie possédant une vaste expérience dans la réalisation et l'évaluation de ce scénario.
Au cours de la séance de rétroaction de 5 minutes, ils discutent avec l'élève, discutent de la performance et aident à fixer des objectifs pour le prochain essai.
|
Les individus reçoivent les mêmes informations, disposent du même temps et réalisent les mêmes scénarios que le groupe témoin.
Pendant ce temps, un instructeur qualifié observe la performance à l'écran du participant, qui est diffusée en direct, à distance.
Les instructeurs sont des résidents seniors en neurochirurgie possédant une vaste expérience dans la réalisation et l'évaluation de ce scénario.
Au cours de la séance de rétroaction de 5 minutes, ils discutent avec l'élève, discutent de la performance et aident à fixer des objectifs pour le prochain essai.
|
Que mesure l'étude ?
Principaux critères de jugement
Mesure des résultats |
Description de la mesure |
Délai |
|---|---|---|
|
Modification des performances procédurales .
Délai: Journée d'étude
|
Les performances de chaque tentative d'entraînement sont mesurées à l'aide des données brutes du simulateur qui sont utilisées pour l'évaluation par des algorithmes d'IA précédemment établis sur des mesures validées.
|
Journée d'étude
|
|
Changement dans l'apprentissage
Délai: Journée d'étude
|
Les performances sur le scénario réaliste complexe sont évaluées par des instructeurs experts à l'aide de l'échelle d'évaluation visuelle des évaluations structurées objectives des compétences techniques (OSATS) (pondérée à 50 %) et des algorithmes d'évaluation de l'IA (pondérés à 50 %) créant un score de performance composite.
|
Journée d'étude
|
Mesures de résultats secondaires
Mesure des résultats |
Description de la mesure |
Délai |
|---|---|---|
|
Différence dans la force des émotions suscitées
Délai: Journée d'étude
|
Mesuré à l'aide de l'échelle des émotions médicales de Duffy (MES), avant, pendant et après l'intervention.
|
Journée d'étude
|
|
Différence de charge cognitive
Délai: Journée d'étude
|
Mesuré à l'aide de l'indice de charge cognitive (CLI) de Leppink après l'intervention.
|
Journée d'étude
|
Collaborateurs et enquêteurs
Parrainer
Publications et liens utiles
Publications générales
- Stulberg JJ, Huang R, Kreutzer L, Ban K, Champagne BJ, Steele SR, Johnson JK, Holl JL, Greenberg CC, Bilimoria KY. Association Between Surgeon Technical Skills and Patient Outcomes. JAMA Surg. 2020 Oct 1;155(10):960-968. doi: 10.1001/jamasurg.2020.3007. Erratum In: JAMA Surg. 2020 Oct 1;155(10):1002. JAMA Surg. 2021 Jul 1;156(7):694.
- Birkmeyer JD, Finks JF, O'Reilly A, Oerline M, Carlin AM, Nunn AR, Dimick J, Banerjee M, Birkmeyer NJ; Michigan Bariatric Surgery Collaborative. Surgical skill and complication rates after bariatric surgery. N Engl J Med. 2013 Oct 10;369(15):1434-42. doi: 10.1056/NEJMsa1300625.
- Birkmeyer JD, Stukel TA, Siewers AE, Goodney PP, Wennberg DE, Lucas FL. Surgeon volume and operative mortality in the United States. N Engl J Med. 2003 Nov 27;349(22):2117-27. doi: 10.1056/NEJMsa035205.
- Winkler-Schwartz A, Yilmaz R, Mirchi N, Bissonnette V, Ledwos N, Siyar S, Azarnoush H, Karlik B, Del Maestro R. Machine Learning Identification of Surgical and Operative Factors Associated With Surgical Expertise in Virtual Reality Simulation. JAMA Netw Open. 2019 Aug 2;2(8):e198363. doi: 10.1001/jamanetworkopen.2019.8363.
- Mirchi N, Bissonnette V, Yilmaz R, Ledwos N, Winkler-Schwartz A, Del Maestro RF. The Virtual Operative Assistant: An explainable artificial intelligence tool for simulation-based training in surgery and medicine. PLoS One. 2020 Feb 27;15(2):e0229596. doi: 10.1371/journal.pone.0229596. eCollection 2020.
- Winkler-Schwartz A, Marwa I, Bajunaid K, Mullah M, Alotaibi FE, Bugdadi A, Sawaya R, Sabbagh AJ, Del Maestro R. A Comparison of Visual Rating Scales and Simulated Virtual Reality Metrics in Neurosurgical Training: A Generalizability Theory Study. World Neurosurg. 2019 Jul;127:e230-e235. doi: 10.1016/j.wneu.2019.03.059. Epub 2019 Mar 15.
- Duffy, M.C., et al., Emotions in medical education: Examining the validity of the Medical Emotion Scale (MES) across authentic medical learning environments. Learning and Instruction, 2020. 70: p. 101150.
- Leppink J, Paas F, Van der Vleuten CP, Van Gog T, Van Merrienboer JJ. Development of an instrument for measuring different types of cognitive load. Behav Res Methods. 2013 Dec;45(4):1058-72. doi: 10.3758/s13428-013-0334-1.
- Fazlollahi AM, Bakhaidar M, Alsayegh A, Yilmaz R, Winkler-Schwartz A, Mirchi N, Langleben I, Ledwos N, Sabbagh AJ, Bajunaid K, Harley JM, Del Maestro RF. Effect of Artificial Intelligence Tutoring vs Expert Instruction on Learning Simulated Surgical Skills Among Medical Students: A Randomized Clinical Trial. JAMA Netw Open. 2022 Feb 1;5(2):e2149008. doi: 10.1001/jamanetworkopen.2021.49008.
Dates d'enregistrement des études
Dates principales de l'étude
Début de l'étude (Réel)
Achèvement primaire (Réel)
Achèvement de l'étude (Réel)
Dates d'inscription aux études
Première soumission
Première soumission répondant aux critères de contrôle qualité
Première publication (Réel)
Mises à jour des dossiers d'étude
Dernière mise à jour publiée (Réel)
Dernière mise à jour soumise répondant aux critères de contrôle qualité
Dernière vérification
Plus d'information
Termes liés à cette étude
Mots clés
Autres numéros d'identification d'étude
- 2010-270, NEU-09-042
Plan pour les données individuelles des participants (IPD)
Prévoyez-vous de partager les données individuelles des participants (DPI) ?
Description du régime IPD
Délai de partage IPD
Critères d'accès au partage IPD
Type d'informations de prise en charge du partage d'IPD
- PROTOCOLE D'ÉTUDE
- SÈVE
- CIF
- ANALYTIC_CODE
- RSE
Informations sur les médicaments et les dispositifs, documents d'étude
Étudie un produit pharmaceutique réglementé par la FDA américaine
Étudie un produit d'appareil réglementé par la FDA américaine
Ces informations ont été extraites directement du site Web clinicaltrials.gov sans aucune modification. Si vous avez des demandes de modification, de suppression ou de mise à jour des détails de votre étude, veuillez contacter register@clinicaltrials.gov. Dès qu'un changement est mis en œuvre sur clinicaltrials.gov, il sera également mis à jour automatiquement sur notre site Web .