Tester l'efficacité d'un système de coaching en temps réel d'intelligence artificielleSystèmeSimulationFormation d'étudiants en médecine

Contexte Les avancées dans les domaines de la simulation chirurgicale et de l'intelligence artificielle ont entraîné le développement de systèmes intelligents d'évaluation et de tutorat des compétences techniques pour répondre aux besoins de l'approche par compétences en éducation médicale. Ces nouveaux outils pédagogiques offrent des solutions pour la standardisation et l'objectivité de l'évaluation et de la formation des compétences techniques de l'apprenant, dans des environnements opérationnels simulés sans risque. Ces systèmes peuvent compléter le modèle d'apprentissage de référence en matière de formation en chirurgie et autres médecines procédurales en fournissant des informations détaillées sur les compétences techniques, des conseils procéduraux orientés vers l'action et l'évaluation des risques. De telles applications peuvent aider les éducateurs à développer des méthodologies objectives d'évaluation formative et sommative des élèves et d'enseignement.

Justification Le système intelligent de surveillance continue (ICEMS), une application d'apprentissage en profondeur basée sur l'intelligence artificielle (IA), a été développée pour évaluer les performances chirurgicales en continu à des intervalles de 0,2 seconde avec la capacité d'entraîner les stagiaires au niveau expert et à la détection des risques. Ce système fait l'objet d'un brevet en instance intitulé "Méthodes et systèmes de surveillance continue de l'exécution des tâches sur des simulateurs virtuels" (2020 ; brevet n° 05001770-883USPR). Auparavant, un module de validité prédictive pour l'évaluation était fourni, mais l'efficacité de ce système dans l'encadrement en temps réel des stagiaires et la détection des risques doit être explorée.

Objectifs de la recherche Comparer l'efficacité d'un système de coaching intelligent en temps réel à la rétroaction médiatisée par des experts de référence. Tester le transfert des apprentissages pendant les tâches pratiques vers le scénario réaliste plus complexe.

Hypothèses

1. Le groupe de rétroaction ICEMS améliorera considérablement le score composite entre la première tentative et la dernière tentative dans le scénario d'entraînement.
2. Le groupe de contrôle avec un retour d'information post-hoc de référence non médié par un expert ne s'améliorera pas statistiquement dans le score composite entre la première tentative et la dernière tentative dans le scénario de pratique.
3. Le groupe de rétroaction ICEMS aura un score composite statistiquement plus élevé par rapport au groupe témoin, lors de la cinquième tentative du scénario d'entraînement.
4. Le groupe de rétroaction ICEMS aura un score composite statistiquement non inférieur par rapport au groupe d'instruction assistée par un expert lors de la cinquième tentative sur le scénario d'entraînement.
5. Le score OSATS global du groupe de rétroaction ICEMS ne sera pas inférieur à celui du groupe d'instruction assistée par un expert dans le scénario réaliste complexe.
6. Ce retour d'information ICEMS n'élira pas une différence d'émotion ou de charge cognitive par rapport au groupe d'instruction médiatisé par des experts.

Objectifs spécifiques : 1) Évaluer si l'efficacité de la rétroaction personnalisée en temps réel médiée par l'IA est statistiquement non inférieure à la rétroaction en personne médiée par un expert pour améliorer les compétences chirurgicales bimanuelles des étudiants en médecine sur deux tâches chirurgicales virtuellement simulées.

2) Pour indiquer si différentes émotions et charges cognitives sont suscitées par le système de rétroaction ICEMS par rapport à l'instruction humaine

Conception : Un essai contrôlé randomisé en simple aveugle à trois bras de la formation à l'IA par rapport à la formation médiatisée par un expert par rapport à la formation médiatisée par aucun expert.

Milieu : Centre d'apprentissage en simulation neurochirurgicale et en intelligence artificielle, Institut neurologique de Montréal.

Participants : Étudiants inscrits en première année de médecine ou de la première à la quatrième année dans les facultés de médecine de la province de Québec.

Tâche : Retrait complet d'une tumeur de pratique simulée cinq fois et d'une tumeur cérébrale simulée complexe une fois avec un minimum de saignement et de dommages aux structures cérébrales saines simulées environnantes à l'aide de deux instruments chirurgicaux (aspirateur à ultrasons et pinces bipolaires) à l'aide du simulateur chirurgical NeuroVR (CAE Healthcare).

Intervention : Une session de formation unique de 90 minutes, comprenant six tentatives de résection tumorale sous-piale virtuelles (cinq scénarios pratiques simples et un scénario réaliste complexe) avec évaluation et commentaires de l'un ou l'autre :

1. le Système Intelligent de Suivi d'Expertise en Continu (ICEMS) (Groupe 1)
2. une rétroaction d'instruction d'expert en personne (groupe 2)
3. retour d'information post-hoc de référence non médié par un expert (groupe 3)

Principaux résultats et mesures :

Le résultat principal est l'amélioration des performances chirurgicales dans le score composite évalué par le module d'évaluation précédemment validé du système intelligent de surveillance continue des compétences (ICEMS). L'amélioration des performances est mesurée par la différence de score composite entre les tentatives des participants au cours des cinq tentatives d'entraînement. Le transfert d'apprentissage sera évalué par le score composite obtenu dans le scénario réaliste complexe.

Le résultat secondaire est le score de performance des participants sur la tâche réaliste qui sera noté par des experts en aveugle à l'aide de l'échelle de notation globale Objective Structured Assessment of Technical Skills (OSATS). Les différences de force des émotions suscitées seront mesurées par l'échelle émotionnelle médicale (MES) de Duffy, avant et après l'intervention et la différence de charge cognitive sera mesurée à l'aide de l'indice de charge cognitive (CLI) de Leppink après l'intervention

Cette étude, à la connaissance des enquêteurs, est la première application comparant l'efficacité d'un système de rétroaction intelligent en temps réel à l'instruction humaine de référence. Cette étude vise à identifier des méthodologies de formation efficaces à l'aide de plates-formes de formation sur simulateur chirurgical alimentées par l'intelligence artificielle.

Plan d'analyse statistique Les données des participants seront rendues anonymes et stockées. Le système intelligent de surveillance continue de l'expertise (ICEMS) sera utilisé pour évaluer les performances chirurgicales à l'aide de données de performances brutes et fournir un score de performance à des intervalles de 0,2 seconde. Un score composite moyen sera calculé pour chaque tâche. Des comparaisons au sein et entre les groupes seront effectuées pour évaluer l'apprentissage de la première tentative (performance de base) à la cinquième tentative et comparer l'amélioration entre les groupes. Le score composite du scénario réaliste sera calculé par l'ICEMS pour évaluer le transfert d'apprentissage. L'amélioration du score des participants sera examinée par des mesures répétées ANOVA. Compte tenu d'une taille d'effet potentielle de 25 %, d'une puissance statistique de 0,95 et d'une signification de 0,05, cette étude doit recruter 29 participants dans chaque groupe. Le score de performance des participants lors de la cinquième tentative d'entraînement sera comparé entre les groupes à l'aide de l'ANOVA pour comparer l'apprentissage. La même analyse sera effectuée pour la tentative réaliste de comparer le transfert d'apprentissage entre les groupes.

Les performances dans la tentative réaliste seront évaluées par des experts aveugles à l'aide de l'échelle de notation globale OSATS, à l'aide d'une vidéo de performance des participants. Le score OSATS global sera comparé entre les groupes pour comparer l'efficacité de l'apprentissage à l'aide de l'ANOVA.