Efficacité de l'enseignement verbal intelligent du tuteur en simulation neurochirurgicale

Contexte : Les compétences techniques chirurgicales expertes sont liées à de meilleurs résultats pour les patients ; cependant, former les novices à maîtriser ces compétences reste un défi. Le système intelligent de surveillance continue de l'expertise (ICEMS) est une application d'apprentissage en profondeur qui a été développée au Centre d'apprentissage de simulation neurochirurgicale et d'intelligence artificielle pour améliorer l'enseignement en neurochirurgie. L'ICEMS évalue et entraîne les performances chirurgicales bimanuelles en fournissant une rétroaction continue via des instructions verbales afin d'améliorer les performances des stagiaires et d'atténuer les erreurs.

Justification : Un précédent essai contrôlé randomisé (ECR) réalisé dans notre centre a démontré que le tutorat intelligent est plus efficace que le tutorat expert dans une procédure neurochirurgicale simulée (NCT05168150). Un autre ECR a révélé que les performances des étudiants en médecine en réponse aux instructions de l'ICEMS visant à réduire l'application de la force bipolaire étaient variables (NCT04700384). Un algorithme de regroupement agglomératif a classé ces réponses variables des élèves en 3 groupes : 53 % ont obéi avec succès à l'instruction de corriger l'erreur, 36 % n'ont pas obéi à l'instruction et 11 % ont répondu de manière excessive à l'instruction. Cette variabilité des réponses pourrait limiter considérablement l’utilité de l’ICEMS et peut être attribuée à différents styles d’apprentissage, niveaux de stress ou à une mauvaise interprétation de l’enseignement de l’IA. Au cours de cette étude, les formateurs experts n’ont pas reçu de données sur les erreurs du ICEMS. La réalisation d'un nouvel ECR dans lequel les formateurs experts reçoivent des données d'erreur ICEMS clarifiera la raison pour laquelle de nombreux stagiaires n'ont pas répondu aux instructions de l'IA.

Ce rapport suit les normes consolidées de reporting des essais-intelligence artificielle (CONSORT-AI) ainsi que la liste de contrôle d'apprentissage automatique pour évaluer l'expertise chirurgicale (MLASE).

Hypothèses:

1. Les retours verbaux de l'IA donneront des taux de réponse de réussite nettement inférieurs parmi les stagiaires que les retours d'erreurs identiques fournis par des instructeurs humains.
2. Les scores d'évaluation des performances des stagiaires seront significativement plus élevés dans les deux différents groupes d'instruction humaine évalués.
3. Les instructions dispensées par le tuteur en IA entraîneront une augmentation des niveaux de stress et de la charge cognitive par rapport aux commentaires verbaux sur les erreurs délivrés par des instructeurs humains.

Objectifs principaux : Déterminer comment la méthode de délivrance de l'instruction sur les erreurs chirurgicales influence :

1. Réponse du stagiaire à l'instruction, c'est-à-dire s'il a corrigé, non corrigé ou surcorrigé l'erreur (données collectées par l'ICEMS).
2. Performance chirurgicale globale du stagiaire (score d'expertise moyen sur des scénarios de pratique calculé par l'ICEMS, score d'évaluation objective structurée des compétences techniques (OSATS) sur un scénario réaliste déterminé par deux évaluateurs experts en aveugle).

Objectif secondaire : Déterminer comment la méthode de délivrance de l'instruction sur les erreurs chirurgicales influence les réponses cognitives affectives des stagiaires (autodéclarées via des questionnaires sur des échelles de Likert à 5 points).

Contexte : Centre d'apprentissage en simulation neurochirurgicale et en intelligence artificielle de l'Université McGill.

Participants : Étudiants inscrits en année préparatoire, première ou deuxième année dans l'une des quatre facultés de médecine du Québec.

Conception : Un essai contrôlé randomisé à trois bras.

Intervention : Les participants suivront une séance de formation d'environ 90 minutes sur le NeuroVR (CAE Healthcare), un simulateur chirurgical de réalité virtuelle (VR) qui simule une résection d'une tumeur cérébrale sous-piale. Le NeuroVR propose deux scénarios possibles : un scénario pratique simple et un scénario réaliste complexe. Les participants effectueront six répétitions du scénario pratique (5 minutes chacune) suivies du scénario réaliste (13 minutes). L'ICEMS évaluera en permanence les performances tout au long de l'essai. Tous les participants recevront un retour verbal lorsque l'ICEMS détectera une erreur dans leur performance ; cependant, la méthode de transmission de cette rétroaction verbale différera d'un groupe à l'autre.

• Le groupe 1 (contrôle) recevra un retour verbal directement de l'ICEMS lorsqu'une erreur est détectée.
• Le groupe 2 (expérimental) recevra un retour verbal d'un instructeur expert prononcé dans les mêmes mots que l'ICEMS.
• Le groupe 3 (expérimental) recevra les commentaires verbaux d'un instructeur expert prononcé dans ses propres mots.

La rétroaction verbale sera basée sur quatre mesures comme suit : (1) distance de séparation des pointes de l'instrument, c'est-à-dire la distance entre les pointes de la pince bipolaire et l'aspirateur à ultrasons ; (2) faible force bipolaire ; (3) force d'aspiration élevée ; (4) force bipolaire élevée. Les stagiaires seront évalués sur une mesure à la fois et auront la possibilité de regarder une vidéo de démonstration de niveau expert avant de passer à chaque nouvelle mesure. Une fois une métrique maîtrisée, le stagiaire passera à la métrique suivante. Une métrique est considérée comme « maîtrisée » lorsque le stagiaire effectue une répétition complète sans recevoir de feedback.

Le premier scénario pratique servira de référence ; ainsi, aucun retour ne sera donné. Dans les deuxième, troisième, quatrième et cinquième répétitions, un retour sera donné en fonction de la détection des erreurs ICEMS. Dans la sixième répétition ainsi que dans le scénario réaliste, aucun feedback ne sera fourni.

Importance : Alors que les approches de formation chirurgicale commencent à évoluer vers des cadres basés sur les compétences, la mise en œuvre d'un retour pédagogique efficace sur l'IA dans la formation chirurgicale devient cruciale pour optimiser l'apprentissage chirurgical. Les résultats de cet ECR permettront l'évaluation et la réingénierie de l'ICEMS et d'autres systèmes de tutorat d'IA, ce qui pourrait faire progresser le développement non seulement de programmes de formation chirurgicale standardisés basés sur les compétences, mais aussi de toute technologie de tuteur d'IA dépendant de l'instruction verbale.