Efficienza dell'istruzione verbale del tutor intelligente nella simulazione neurochirurgica

Background: l'abilità tecnica chirurgica esperta è collegata a risultati migliori per i pazienti; tuttavia, addestrare i principianti a padroneggiare queste abilità rimane una sfida. L'Intelligent Continuous Expertise Monitoring System (ICEMS) è un'applicazione di deep learning sviluppata presso il Centro di apprendimento per la simulazione neurochirurgica e l'intelligenza artificiale per migliorare la formazione neurochirurgica. L'ICEMS valuta e forma le prestazioni chirurgiche bimanuali fornendo feedback continuo tramite istruzioni verbali al fine di migliorare le prestazioni dei tirocinanti e mitigare gli errori.

Motivazione: Un precedente studio randomizzato e controllato (RCT) eseguito presso il nostro centro ha dimostrato che il tutoraggio intelligente è più efficace del tutoraggio esperto in una procedura neurochirurgica simulata (NCT05168150). Un altro studio randomizzato ha rivelato che le prestazioni degli studenti di medicina in risposta alle istruzioni dell'ICEMS per ridurre l'applicazione della forza bipolare erano variabili (NCT04700384). Un algoritmo di clustering agglomerativo ha classificato queste risposte variabili degli studenti in 3 gruppi: il 53% ha obbedito con successo all'istruzione di correggere l'errore, il 36% non ha obbedito all'istruzione e l'11% ha risposto in modo eccessivo all'istruzione. Questa variabilità della risposta potrebbe limitare in modo significativo l’utilità dell’ICEMS e potrebbe essere attribuita a diversi stili di apprendimento, livelli di stress o interpretazione errata delle istruzioni dell’IA. Durante questo studio, ai formatori esperti non sono stati forniti i dati sugli errori ICEMS. Condurre un nuovo RCT in cui ai formatori esperti vengono forniti i dati sugli errori ICEMS chiarirà il motivo per cui molti tirocinanti non hanno risposto alle istruzioni dell'IA.

Questo rapporto segue i Consolidated Standards of Reporting Trials-Artificial Intelligence (CONSORT-AI) e la lista di controllo Machine Learning to Assess Surgical Expertise (MLASE).

Ipotesi:

1. Il feedback verbale dell'intelligenza artificiale produrrà tassi di risposta di successo significativamente inferiori tra i tirocinanti rispetto al feedback identico sugli errori fornito da istruttori umani.
2. I punteggi di valutazione delle prestazioni dei tirocinanti saranno significativamente più alti nei due diversi gruppi di istruzione umana valutati.
3. L'istruzione fornita dal tutor AI comporterà un aumento dei livelli di stress e del carico cognitivo rispetto al feedback sugli errori verbali fornito da istruttori umani.

Obiettivi primari: determinare in che modo il metodo di erogazione delle istruzioni sull'errore chirurgico influenza:

1. Risposta del tirocinante alle istruzioni, ovvero se ha corretto, non ha corretto o ha corretto eccessivamente l'errore (dati raccolti dall'ICEMS).
2. Prestazioni chirurgiche complessive del tirocinante (punteggio medio di competenza su scenari pratici calcolato dall'ICEMS, punteggio di valutazione oggettiva strutturata delle competenze tecniche (OSATS) su scenario realistico determinato da due valutatori esperti in cieco).

Obiettivo secondario: determinare in che modo il metodo di erogazione delle istruzioni sull'errore chirurgico influenza le risposte affettive cognitive del tirocinante (auto-riferite tramite questionari su scale Likert a 5 punti).

Ambiente: Centro di simulazione neurochirurgica e intelligenza artificiale della McGill University.

Partecipanti: studenti iscritti al primo o al secondo anno preparatorio in una delle quattro scuole di medicina del Quebec.

DISEGNO: Uno studio randomizzato e controllato a tre bracci.

Intervento: i partecipanti saranno sottoposti a una sessione di formazione di circa 90 minuti sul NeuroVR (CAE Healthcare), un simulatore chirurgico di realtà virtuale (VR) che simula una resezione di tumore cerebrale subpiale. Il NeuroVR ha due possibili scenari: uno scenario pratico semplice e uno scenario realistico complesso. I partecipanti eseguiranno sei ripetizioni dello scenario pratico (5 minuti ciascuna) seguite dallo scenario realistico (13 minuti). L'ICEMS valuterà continuamente le prestazioni durante tutta la sperimentazione. Tutti i partecipanti riceveranno un feedback verbale quando l'ICEMS rileva un errore nella loro prestazione; tuttavia, il metodo di consegna di questo feedback verbale differirà tra i gruppi.

• Il Gruppo 1 (controllo) riceverà un feedback verbale direttamente dall'ICEMS quando viene rilevato un errore.
• Il gruppo 2 (sperimentale) riceverà un feedback verbale da un istruttore esperto pronunciato con le stesse parole dell'ICEMS.
• Il gruppo 3 (sperimentale) riceverà un feedback verbale da un istruttore esperto espresso con parole proprie.

Il feedback verbale si baserà su quattro parametri come segue: (1) distanza di separazione della punta dello strumento, ovvero la distanza tra le punte della pinza bipolare e l'aspiratore ad ultrasuoni; (2) bassa forza bipolare; (3) elevata forza di aspirazione; (4) elevata forza bipolare. I tirocinanti verranno valutati su una metrica alla volta e avranno la possibilità di guardare un video dimostrativo a livello di esperto prima di passare a ciascuna nuova metrica. Una volta padroneggiata una metrica, il tirocinante passerà alla metrica successiva. Una metrica è considerata "padroneggiata" quando l'allievo esegue un'intera ripetizione senza ricevere feedback.

Il primo scenario pratico servirà da riferimento; pertanto, non verrà fornito alcun feedback. Nella seconda, terza, quarta e quinta ripetizione verrà fornito il feedback in base al rilevamento degli errori ICEMS. Nella sesta ripetizione, così come nello scenario realistico, non verrà fornito alcun feedback.

Importanza: con gli approcci educativi chirurgici che iniziano a spostarsi verso quadri basati sulle competenze, l'implementazione di un feedback educativo efficace sull'intelligenza artificiale nella formazione chirurgica diventa cruciale per ottimizzare l'apprendimento chirurgico. I risultati di questo RCT consentiranno la valutazione e la riprogettazione dell’ICEMS e di altri sistemi di tutoraggio dell’IA, che potrebbero promuovere lo sviluppo non solo di programmi di formazione di educazione chirurgica standardizzati basati sulle competenze, ma di qualsiasi tecnologia di tutoraggio dell’IA dipendente dall’istruzione verbale.