Testare l'efficacia di un sistema di coaching in tempo reale con intelligenza artificialeSistemaSimulazioneFormazione di studenti di medicina

Contesto I progressi nei campi della simulazione chirurgica e dell'intelligenza artificiale hanno portato allo sviluppo di sistemi intelligenti di valutazione delle abilità tecniche e di tutoraggio per soddisfare le esigenze dell'approccio basato sulle competenze nell'educazione medica. Questi nuovi strumenti educativi offrono soluzioni per la standardizzazione e l'obiettività della valutazione e della formazione delle competenze tecniche dello studente, in ambienti operativi simulati privi di rischi. Questi sistemi possono integrare il modello di apprendistato gold standard nella formazione in chirurgia e altra medicina procedurale fornendo informazioni dettagliate sulle competenze tecniche, guida procedurale orientata all'azione e valutazione del rischio. Tali applicazioni possono aiutare gli educatori a sviluppare metodologie di valutazione e insegnamento formative e sommative degli studenti.

Motivazione L'Intelligent Continuous Monitoring System (ICEMS), un'applicazione di deep learning di intelligenza artificiale (AI), è stata sviluppata per valutare continuamente le prestazioni chirurgiche a intervalli di 0,2 secondi con la capacità di istruire i tirocinanti a livello di esperti e rilevare i rischi. Questo sistema è coinvolto in un brevetto in attesa di brevetto intitolato "Metodi e sistemi per il monitoraggio continuo delle prestazioni delle attività su simulatori virtuali" (2020; brevetto n. 05001770-883USPR). In precedenza, veniva fornita una validità predittiva per il modulo di valutazione, tuttavia, è necessario esplorare l'efficacia di questo sistema nel coaching in tempo reale dei tirocinanti e nel rilevamento dei rischi.

Obiettivi della ricerca Confrontare l'efficacia di un sistema di coaching intelligente in tempo reale con il feedback mediato da esperti di riferimento. Testare il trasferimento dell'apprendimento durante le attività pratiche allo scenario realistico più complesso.

Ipotesi

1. Il gruppo di feedback ICEMS migliorerà in modo significativo il punteggio composito tra il primo tentativo e l'ultimo tentativo nello scenario pratico.
2. Il gruppo di controllo con feedback di benchmark post hoc mediato da nessun esperto non migliorerà statisticamente nel punteggio composito tra il primo tentativo e l'ultimo tentativo nello scenario pratico.
3. Il gruppo di feedback ICEMS avrà un punteggio composito statisticamente più alto rispetto al gruppo di controllo, nel quinto tentativo nello scenario pratico.
4. Il gruppo di feedback ICEMS avrà un punteggio composito statisticamente non inferiore rispetto al gruppo di istruzioni mediate da esperti nel quinto tentativo sullo scenario pratico.
5. Il punteggio OSATS globale del gruppo di feedback ICEMS non sarà inferiore a quello del gruppo di istruzione mediato da esperti nello scenario realistico complesso.
6. Che il feedback ICEMS non eleggerà una differenza di emozione o carico cognitivo rispetto al gruppo di istruzione mediato da esperti.

Obiettivi specifici: 1) Valutare se l'efficacia del feedback su misura in tempo reale mediato dall'IA è statisticamente non inferiore al feedback di persona mediato da esperti nel migliorare le abilità chirurgiche bimanuali degli studenti di medicina su due compiti chirurgici virtualmente simulati.

2)Delineare se emozioni e carichi cognitivi diversi sono suscitati dal sistema di feedback ICEMS rispetto all'istruzione umana

Design: uno studio controllato randomizzato in singolo cieco a tre bracci di formazione AI rispetto a formazione mediata da esperti rispetto a formazione mediata da non esperti.

Ambiente: Simulazione Neurochirurgica e Centro di Apprendimento di Intelligenza Artificiale, Istituto Neurologico di Montreal.

Partecipanti: Studenti iscritti al loro primo anno o dal primo al quarto anno nelle scuole di medicina in tutta la provincia del Quebec.

Compito: rimozione completa di un tumore simulato in pratica cinque volte e di un tumore cerebrale simulato complesso una volta con sanguinamento minimo e danni alle strutture cerebrali sane simulate circostanti utilizzando due strumenti chirurgici (aspiratore a ultrasuoni e pinze bipolari) utilizzando il simulatore chirurgico NeuroVR (CAE Healthcare).

Intervento: una singola sessione di formazione di 90 minuti, inclusi sei tentativi virtuali di resezione del tumore subpiale (cinque scenari pratici semplici e uno scenario realistico complesso) con valutazione e feedback da:

1. l'Intelligent Continuous Expertise Monitoring System (ICEMS) (Gruppo 1)
2. un feedback di istruzioni da parte di un esperto di persona (Gruppo 2)
3. feedback di benchmark post hoc mediato da nessun esperto (Gruppo 3)

Principali risultati e misure:

L'esito primario è il miglioramento delle prestazioni chirurgiche nel punteggio composito valutato dal modulo di valutazione precedentemente convalidato dell'Intelligent Continuous Expertise Monitoring System (ICEMS). Il miglioramento delle prestazioni viene misurato come differenza di punteggio composito tra i tentativi dei partecipanti durante i cinque tentativi di pratica. Il trasferimento dell'apprendimento sarà valutato dal punteggio composito ottenuto nello scenario realistico complesso.

L'esito secondario è il punteggio delle prestazioni dei partecipanti sul compito realistico che sarà valutato da esperti in cieco utilizzando la scala di valutazione globale OSATS (Obiettive Structured Assessment of Technical Skills). Le differenze nella forza delle emozioni suscitate saranno misurate dalla Medical Emotional Scale (MES) di Duffy, prima e dopo l'intervento e la differenza nel carico cognitivo sarà misurata utilizzando il Cognitive Load Index (CLI) di Leppink dopo l'intervento

Questo studio, a conoscenza dei ricercatori, è la prima applicazione che confronta l'efficacia di un sistema di feedback intelligente in tempo reale con l'istruzione umana standard di riferimento. Questo studio mira a identificare metodologie di formazione efficienti utilizzando piattaforme di formazione con simulatore chirurgico alimentate da intelligenza artificiale, quindi ai tirocinanti viene fornita una valutazione delle competenze tecniche obiettive e su misura e coaching utilizzando tecnologie all'avanguardia.

Piano di analisi statistica I dati dei partecipanti saranno resi anonimi e archiviati. L'Intelligent Continuous Expertise Monitoring System (ICEMS) verrà utilizzato per valutare le prestazioni chirurgiche utilizzando dati grezzi sulle prestazioni e fornire un punteggio delle prestazioni a intervalli di 0,2 secondi. Per ogni attività verrà calcolato un punteggio composito medio. Verranno effettuati confronti all'interno e tra i gruppi per valutare l'apprendimento dal primo tentativo (prestazione di base) al quinto tentativo e confrontare il miglioramento tra i gruppi. Il punteggio composito sullo scenario realistico sarà calcolato dall'ICEMS per valutare il trasferimento dell'apprendimento. Il miglioramento del punteggio dei partecipanti sarà esaminato mediante misure ripetute ANOVA. Considerando una potenziale dimensione dell'effetto del 25%, una potenza statistica di 0,95 e una significatività di 0,05, questo studio deve reclutare 29 partecipanti in ciascun gruppo. Il punteggio delle prestazioni dei partecipanti nel quinto tentativo di pratica verrà confrontato tra i gruppi utilizzando ANOVA per confrontare l'apprendimento. La stessa analisi sarà fatta per il tentativo realistico di confrontare il trasferimento di apprendimento tra i gruppi.

Le prestazioni nel tentativo realistico saranno valutate da esperti ciechi utilizzando la scala di valutazione globale OSATS, utilizzando il video delle prestazioni dei partecipanti. Il punteggio OSATS globale verrà confrontato tra i gruppi per confrontare l'efficacia nell'apprendimento utilizzando ANOVA.