Effetto della pausa indotta dal tutor intelligente sull'apprendimento delle abilità chirurgiche simulate

Background: la valutazione delle competenze chirurgiche si sta spostando da un approccio quantitativo e basato sul tempo verso una valutazione qualitativa della competenza del tirocinante. Durante le procedure chirurgiche, gli istruttori monitorano continuamente le prestazioni dei tirocinanti e utilizzano vari metodi di insegnamento incentrati sul miglioramento dell'acquisizione delle competenze chirurgiche. Uno di questi metodi prevede la sospensione dell'operazione, sia per delineare i rischi associati alle prestazioni del tirocinante sia per dimostrare personalmente le migliori tecniche pratiche. È stato dimostrato che fare una pausa in tali situazioni consente agli studenti di rivalutare le migliori pratiche, interrompere lo slancio negativo e consentire l’apprendimento. Nello specifico, fare una pausa dopo un errore può impedire l'introduzione di nuove informazioni che potrebbero influenzare la capacità di riflettere sull'errore e ridurre lo stress prima di continuare.

Motivazione: L'ICEMS, un sistema di tutoraggio basato sull'intelligenza artificiale, è stato sviluppato dal nostro gruppo utilizzando un algoritmo di apprendimento profondo con memoria a breve termine per valutare le prestazioni chirurgiche e fornire indicazioni. Questo è stato poi integrato con la piattaforma di simulazione NeuroVR. Utilizzando questo sistema di intelligenza artificiale, la fornitura di feedback verbale sull'identificazione degli errori ha dimostrato il potenziale del tutoraggio intelligente per migliorare l'apprendimento in due precedenti studi di controllo randomizzato (RCT). Tuttavia, questi studi randomizzati non incorporavano la metodologia di pausa per l’identificazione post-errore. Per emulare ulteriormente il tutoraggio di un chirurgo esperto in un contesto clinico, la piattaforma ICEMS è stata modificata per avviare la pausa quando viene identificato un errore dello studente e fornire un video che dimostra le prestazioni dell'esperto.

Obiettivi della ricerca: confrontare l'effetto dell'incorporazione di una pausa dopo l'istruzione del tutor intelligente con la sola istruzione del tutor intelligente sull'acquisizione di abilità chirurgiche e sul trasferimento di abilità da parte di studenti di medicina e pre-medicina.

Ipotesi:

1. La pausa con il gruppo video migliorerà significativamente il punteggio composito tra la prima e la sesta ripetizione dello scenario pratico.
2. La pausa con il gruppo video avrà un punteggio composito statisticamente superiore rispetto al gruppo di controllo nella sesta ripetizione dello scenario pratico.
3. La pausa con il gruppo video avrà un punteggio composito statisticamente non inferiore alla pausa senza gruppo video nella sesta ripetizione dello scenario pratico.
4. La pausa con il gruppo video avrà un punteggio OSATS globale statisticamente superiore rispetto al gruppo di controllo nello scenario realistico.
5. La pausa con il gruppo video avrà un punteggio OSATS globale statisticamente non inferiore alla pausa senza gruppo video nello scenario realistico.
6. La pausa con il gruppo video non determinerà una differenza nello stress emotivo o nel carico cognitivo rispetto al gruppo di controllo.

Obiettivi specifici:

1. Valutare se l'efficacia del feedback personalizzato in tempo reale mediato dall'intelligenza artificiale combinato con la metodologia di pausa è statisticamente superiore al feedback personalizzato in tempo reale mediato dall'intelligenza artificiale da solo nel migliorare le capacità chirurgiche degli studenti di medicina su due compiti di chirurgia della realtà virtuale.
2. Determinare se emozioni e carico cognitivo diversi vengono suscitati dalla metodologia della pausa rispetto al solo ascolto del feedback mediato dall'intelligenza artificiale.

Progettazione: uno studio controllato randomizzato in cieco a tre bracci sul feedback dell'IA con metodologia di pausa e un video dimostrativo di esperti rispetto al feedback dell'AI con la sola metodologia di pausa rispetto al solo feedback dell'AI.

Ambiente: Centro didattico per la simulazione neurochirurgica e l'intelligenza artificiale.

Partecipanti: Studenti iscritti ad una scuola di medicina del Quebec in un anno preparatorio, primo e secondo anno.

Compito: Utilizzando il simulatore chirurgico NeuroVR di CAE Healthcare, resecare un tumore simulato sei volte e un tumore cerebrale realistico simulato complesso una volta utilizzando un aspiratore a ultrasuoni e una pinza bipolare riducendo al minimo il sanguinamento e preservando le strutture cerebrali sane circostanti simulate.

Intervento: una sessione di formazione di 90 minuti in cui i partecipanti avranno sette tentativi simulati di resezione del tumore subpiale (sei ripetizioni di uno scenario pratico semplice e un tentativo di uno scenario realistico complesso). Tutti i partecipanti riceveranno un feedback uditivo dall'ICEMS ma differiranno in quanto segue:

1. Eseguire la procedura in modo continuo (ovvero senza pause) (Gruppo 1);
2. Una pausa seguita da un periodo di riflessione (Gruppo 2);
3. Una pausa seguita da un video dimostrativo a livello di esperti e da un periodo di riflessione (Gruppo 3).

Il feedback uditivo si baserà su 4 parametri:

1. Distanza di separazione della punta dello strumento;
2. Bassa forza bipolare;
3. Elevata forza di aspirazione;
4. Elevata forza bipolare. Inizialmente, il feedback verrà fornito solo in base alla prima metrica (separazione delle punte dello strumento), ma una volta completata una ripetizione senza ricevere feedback, la ripetizione successiva valuterà la metrica successiva nell'elenco sopra e così via.

Principali risultati e misure:

I due risultati co-primari sono:

1. Il miglioramento della performance chirurgica, come dettato dal punteggio composito calcolato dal modulo di valutazione precedentemente validato dell'ICEMS. Il miglioramento delle prestazioni è misurato dalla differenza nel punteggio composito tra ciascuna delle 6 ripetizioni dello scenario pratico. Il trasferimento dell'apprendimento sarà misurato dal punteggio composito del partecipante per il complesso scenario realistico.
2. Il punteggio delle prestazioni dei partecipanti nello scenario realistico complesso, valutato da due esperti in cieco utilizzando la scala di valutazione globale Objective Structured Assessment of Technical Skills (OSATS).

Il risultato secondario sono le differenze nella forza delle emozioni suscitate, misurate prima dello scenario pratico, immediatamente prima dello scenario realistico e dopo il completamento di tutti i tentativi utilizzando la scala emotiva medica di Duffy (MES). Il carico cognitivo verrà misurato anche dopo il completamento di tutte le attività utilizzando l'indice di carico cognitivo (CLI) di Leppink. Entrambi i risultati sono misurati utilizzando autovalutazioni.

Piano di analisi statistica: i dati dei partecipanti saranno anonimizzati e archiviati. L'ICEMS valuterà le prestazioni chirurgiche del partecipante e fornirà un punteggio di prestazione a intervalli di 0,2 secondi durante ogni ripetizione dell'attività chirurgica simulata. Verrà poi calcolato un punteggio medio composito per ogni ripetizione. Utilizzando ANCOVA, il miglioramento delle prestazioni e dell'apprendimento dei partecipanti sarà valutato confrontando il punteggio composito della prima ripetizione dello scenario pratico (baseline) e il punteggio composito della sesta ripetizione (sommativa). Nel frattempo, il punteggio composito dello scenario realistico complesso verrà utilizzato per valutare il trasferimento dell'apprendimento utilizzando un'ANOVA unidirezionale. Con una dimensione dell'effetto di 0,25 e una significatività di 0,05, una dimensione totale del campione di 129 fornisce l'80% della potenza per rilevare un'interazione significativa.

I video delle prestazioni dei partecipanti nel complesso scenario realistico saranno valutati da due valutatori esperti in cieco utilizzando la scala di valutazione globale OSATS. Il punteggio OSATS sarà analizzato tra i gruppi utilizzando un'ANOVA unidirezionale per confrontare l'efficienza dell'apprendimento e il mantenimento delle competenze.

I cambiamenti emotivi prima, durante e dopo l'apprendimento negli scenari simulati verranno valutati utilizzando un'ANOVA mista a due vie, mentre l'ANOVA unidirezionale verrà utilizzata per valutare il carico cognitivo dopo l'apprendimento.