Efficacia di un sistema di tutoraggio intelligente artificiale nella formazione di simulazione
Confronto tra l'assistente operativo virtuale e l'istruzione basata su esperti nell'educazione chirurgica: uno studio controllato randomizzato
Breve riassunto:
Sfondo:
Sebbene l'esperienza chirurgica e l'abilità tecnica siano associate a migliori risultati per il paziente, la quantificazione dell'abilità chirurgica in sala operatoria è impegnativa. Nella formazione chirurgica, grandi set di dati generati da simulatori di realtà virtuale ad alta fedeltà possono essere utilizzati da algoritmi di apprendimento automatico per misurare oggettivamente le prestazioni e le competenze del tirocinante su benchmark di esperti. Ciò consente la pratica ripetitiva delle abilità chirurgiche in ambienti sicuri e privi di rischi con feedback immediato.
Il nostro gruppo ha sviluppato e ha un brevetto in attesa di brevetto per un sistema di tutoring intelligente chiamato Virtual Operative Assistant (VOA). Utilizzando un algoritmo di macchina vettoriale di supporto dell'Intelligenza Artificiale (AI), il VOA valuta i dati derivati dalla piattaforma del simulatore NeuroVR (CAE Healthcare) e fornisce un feedback audiovisivo personalizzato per migliorare le prestazioni dello studente durante le resezioni simulate del tumore al cervello. Resta da chiarire l'efficacia di sistemi di tutoraggio intelligenti come il VOA per la pedagogia dell'apprendistato chirurgico umano.
Lo scopo di questo studio è confrontare l'efficacia e l'impatto educativo del feedback VOA personalizzato con l'istruzione di esperti sull'apprendimento delle abilità tecniche degli studenti di medicina di una procedura di resezione tumorale in realtà virtuale.
Obiettivi specifici: 1) Valutare se gli studenti di medicina che ricevono feedback VOA personalizzati migliorano statisticamente le loro prestazioni chirurgiche rispetto a quelli che non hanno (a) feedback da istruttore esperto o (b) feedback mediato da istruttore esperto. 2) Delineare se diverse emozioni sono suscitate dal sistema di tutoraggio intelligente VOA negli studenti di medicina durante l'esecuzione di questo compito di realizzazione rispetto all'istruzione umana
Panoramica dello studio
Stato
Condizioni
Descrizione dettagliata
Design: uno studio controllato randomizzato parzialmente in cieco a tre bracci di formazione VOA rispetto a istruzione esperta a distanza rispetto al controllo.
Ambiente: Simulazione Neurochirurgica e Centro di Apprendimento di Intelligenza Artificiale, Istituto Neurologico di Montreal.
Partecipanti: studenti di medicina idonei del primo e del secondo anno provenienti da tutta la provincia del Quebec.
Compito: Rimozione completa di un tumore simulato - distinguibile per colore e proprietà tattili - con sanguinamento minimo e danni al cervello sano circostante utilizzando due strumenti chirurgici (Cavitron Ultrasonic Aspirator e pinze bipolari) del simulatore chirurgico NeuroVR (CAE Healthcare).
Intervento: una singola sessione di formazione di 75 minuti, inclusi sei tentativi virtuali di resezione del tumore subpiale (cinque scenari pratici semplici e uno scenario realistico complesso) con valutazione e feedback da:
- il sistema di tutoraggio intelligente VOA (Gruppo 2) o
un istruttore esperto da remoto (Gruppo 3)
Entrambi rispetto a:
- gruppo di controllo (Gruppo 1) che non riceve alcuna valutazione o feedback sulle prestazioni.
A nostra conoscenza, questo sarà il primo studio a confrontare l'efficacia di un sistema di tutoraggio intelligente basato sull'intelligenza artificiale con l'istruzione di esperti nel contesto della simulazione della realtà virtuale medica e chirurgica e valutare la risposta emotiva a tale istruzione. Questo studio mira a iniziare a identificare approcci di successo per utilizzare questa tecnologia innovativa nel curriculum educativo medico e migliorare i risultati dei pazienti aumentando la sicurezza, l'efficienza e la competenza dei chirurghi e di altri operatori sanitari.
Tipo di studio
Iscrizione (Effettivo)
Fase
- Non applicabile
Contatti e Sedi
Luoghi di studio
-
-
Quebec
-
Montreal, Quebec, Canada, H3A 2B4
- Neurosurgical Simulation and Artificial Intelligence Learning Centre
-
-
Criteri di partecipazione
Criteri di ammissibilità
Età idonea allo studio
- Bambino
- Adulto
- Adulto più anziano
Accetta volontari sani
Sessi ammissibili allo studio
Descrizione
Criteri di inclusione: • Studenti di medicina del primo e del secondo anno di qualsiasi istituto canadese che non soddisfano i criteri di esclusione.
-
Criteri di esclusione: • Partecipazione a uno qualsiasi dei precedenti studi del nostro gruppo che coinvolgono il simulatore NeuroVR (CAE Healthcare).
-
Piano di studio
Come è strutturato lo studio?
Dettagli di progettazione
- Scopo principale: Ricerca sui servizi sanitari
- Assegnazione: Randomizzato
- Modello interventistico: Assegnazione parallela
- Mascheramento: Doppio
Armi e interventi
Gruppo di partecipanti / Arm |
Intervento / Trattamento |
|---|---|
|
Nessun intervento: Gruppo di controllo
Gruppo di controllo - Formazione di base 25 partecipanti assegnati. Gli individui ricevono informazioni introduttive sull'utilizzo del simulatore e dello scenario. Eseguono 5 semplici resezioni del tumore subpiale per esercitarsi e hanno 5 minuti per prova. Dopo ogni tentativo, lo studente fa una pausa di 5 minuti senza valutazione o feedback sulla propria performance. Al loro sesto tentativo hanno 13 minuti per eseguire uno scenario realistico diverso. |
|
|
Sperimentale: Gruppo Sperimentale - Addestramento all'Assistenza Operativa Virtuale
Gruppo Sperimentale - Addestramento all'Assistenza Operativa Virtuale 25 partecipanti assegnati. Gli individui ricevono le stesse informazioni, hanno la stessa quantità di tempo ed eseguono gli stessi scenari del gruppo di controllo. Nei 5 minuti tra i tentativi, i partecipanti ricevono la valutazione della formazione di assistenza operativa virtuale delle loro prestazioni e un feedback audiovisivo. |
Gli individui ricevono le stesse informazioni di base, hanno la stessa quantità di tempo ed eseguono gli stessi scenari del gruppo di controllo.
Nei 5 minuti tra i tentativi, i partecipanti ricevono la valutazione dell'Assistente Operativo Virtuale delle loro prestazioni e il feedback audiovisivo.
|
|
Sperimentale: Gruppo Sperimentale - Formazione istruttori esperti a distanza
25 partecipanti assegnati.
Gli individui ricevono le stesse informazioni, hanno la stessa quantità di tempo ed eseguono gli stessi scenari del gruppo di controllo.
Nel frattempo, un istruttore qualificato osserva la performance sullo schermo del partecipante, che viene trasmessa in live streaming, da remoto.
Gli istruttori sono residenti in neurochirurgia senior con una vasta esperienza nell'esecuzione e nella valutazione di questo scenario.
Durante la sessione di feedback di 5 minuti, chattano con lo studente, discutono della performance e aiutano a stabilire gli obiettivi per la prova successiva.
|
Gli individui ricevono le stesse informazioni, hanno la stessa quantità di tempo ed eseguono gli stessi scenari del gruppo di controllo.
Nel frattempo, un istruttore qualificato osserva la performance sullo schermo del partecipante, che viene trasmessa in live streaming, da remoto.
Gli istruttori sono residenti in neurochirurgia senior con una vasta esperienza nell'esecuzione e nella valutazione di questo scenario.
Durante la sessione di feedback di 5 minuti, chattano con lo studente, discutono della performance e aiutano a stabilire gli obiettivi per la prova successiva.
|
Cosa sta misurando lo studio?
Misure di risultato primarie
Misura del risultato |
Misura Descrizione |
Lasso di tempo |
|---|---|---|
|
Modifica delle prestazioni procedurali .
Lasso di tempo: Giornata di studio
|
Le prestazioni in ogni tentativo di esercitazione vengono misurate utilizzando i dati grezzi del simulatore che viene utilizzato per la valutazione da algoritmi AI precedentemente stabiliti su metriche convalidate.
|
Giornata di studio
|
|
Cambiamento nell'apprendimento
Lasso di tempo: Giornata di studio
|
Le prestazioni sullo scenario realistico complesso vengono valutate da istruttori esperti utilizzando la scala di valutazione visiva delle valutazioni strutturate oggettive delle abilità tecniche (OSATS) (ponderata al 50%) e gli algoritmi di valutazione AI (ponderati al 50%) creando un punteggio di prestazione composito.
|
Giornata di studio
|
Misure di risultato secondarie
Misura del risultato |
Misura Descrizione |
Lasso di tempo |
|---|---|---|
|
Differenza nella forza delle emozioni suscitate
Lasso di tempo: Giornata di studio
|
Misurato utilizzando la Medical Emotions Scale (MES) di Duffy, prima, durante e dopo l'intervento.
|
Giornata di studio
|
|
Differenza nel carico cognitivo
Lasso di tempo: Giornata di studio
|
Misurato utilizzando il Cognitive Load Index (CLI) di Leppink dopo l'intervento.
|
Giornata di studio
|
Collaboratori e investigatori
Sponsor
Pubblicazioni e link utili
Pubblicazioni generali
- Stulberg JJ, Huang R, Kreutzer L, Ban K, Champagne BJ, Steele SR, Johnson JK, Holl JL, Greenberg CC, Bilimoria KY. Association Between Surgeon Technical Skills and Patient Outcomes. JAMA Surg. 2020 Oct 1;155(10):960-968. doi: 10.1001/jamasurg.2020.3007. Erratum In: JAMA Surg. 2020 Oct 1;155(10):1002. JAMA Surg. 2021 Jul 1;156(7):694.
- Birkmeyer JD, Finks JF, O'Reilly A, Oerline M, Carlin AM, Nunn AR, Dimick J, Banerjee M, Birkmeyer NJ; Michigan Bariatric Surgery Collaborative. Surgical skill and complication rates after bariatric surgery. N Engl J Med. 2013 Oct 10;369(15):1434-42. doi: 10.1056/NEJMsa1300625.
- Birkmeyer JD, Stukel TA, Siewers AE, Goodney PP, Wennberg DE, Lucas FL. Surgeon volume and operative mortality in the United States. N Engl J Med. 2003 Nov 27;349(22):2117-27. doi: 10.1056/NEJMsa035205.
- Winkler-Schwartz A, Yilmaz R, Mirchi N, Bissonnette V, Ledwos N, Siyar S, Azarnoush H, Karlik B, Del Maestro R. Machine Learning Identification of Surgical and Operative Factors Associated With Surgical Expertise in Virtual Reality Simulation. JAMA Netw Open. 2019 Aug 2;2(8):e198363. doi: 10.1001/jamanetworkopen.2019.8363.
- Mirchi N, Bissonnette V, Yilmaz R, Ledwos N, Winkler-Schwartz A, Del Maestro RF. The Virtual Operative Assistant: An explainable artificial intelligence tool for simulation-based training in surgery and medicine. PLoS One. 2020 Feb 27;15(2):e0229596. doi: 10.1371/journal.pone.0229596. eCollection 2020.
- Winkler-Schwartz A, Marwa I, Bajunaid K, Mullah M, Alotaibi FE, Bugdadi A, Sawaya R, Sabbagh AJ, Del Maestro R. A Comparison of Visual Rating Scales and Simulated Virtual Reality Metrics in Neurosurgical Training: A Generalizability Theory Study. World Neurosurg. 2019 Jul;127:e230-e235. doi: 10.1016/j.wneu.2019.03.059. Epub 2019 Mar 15.
- Duffy, M.C., et al., Emotions in medical education: Examining the validity of the Medical Emotion Scale (MES) across authentic medical learning environments. Learning and Instruction, 2020. 70: p. 101150.
- Leppink J, Paas F, Van der Vleuten CP, Van Gog T, Van Merrienboer JJ. Development of an instrument for measuring different types of cognitive load. Behav Res Methods. 2013 Dec;45(4):1058-72. doi: 10.3758/s13428-013-0334-1.
- Fazlollahi AM, Bakhaidar M, Alsayegh A, Yilmaz R, Winkler-Schwartz A, Mirchi N, Langleben I, Ledwos N, Sabbagh AJ, Bajunaid K, Harley JM, Del Maestro RF. Effect of Artificial Intelligence Tutoring vs Expert Instruction on Learning Simulated Surgical Skills Among Medical Students: A Randomized Clinical Trial. JAMA Netw Open. 2022 Feb 1;5(2):e2149008. doi: 10.1001/jamanetworkopen.2021.49008.
Studiare le date dei record
Studia le date principali
Inizio studio (Effettivo)
Completamento primario (Effettivo)
Completamento dello studio (Effettivo)
Date di iscrizione allo studio
Primo inviato
Primo inviato che soddisfa i criteri di controllo qualità
Primo Inserito (Effettivo)
Aggiornamenti dei record di studio
Ultimo aggiornamento pubblicato (Effettivo)
Ultimo aggiornamento inviato che soddisfa i criteri QC
Ultimo verificato
Maggiori informazioni
Termini relativi a questo studio
Parole chiave
Altri numeri di identificazione dello studio
- 2010-270, NEU-09-042
Piano per i dati dei singoli partecipanti (IPD)
Hai intenzione di condividere i dati dei singoli partecipanti (IPD)?
Descrizione del piano IPD
Periodo di condivisione IPD
Criteri di accesso alla condivisione IPD
Tipo di informazioni di supporto alla condivisione IPD
- STUDIO_PROTOCOLLO
- LINFA
- ICF
- CODICE_ANALITICO
- RSI
Informazioni su farmaci e dispositivi, documenti di studio
Studia un prodotto farmaceutico regolamentato dalla FDA degli Stati Uniti
Studia un dispositivo regolamentato dalla FDA degli Stati Uniti
Queste informazioni sono state recuperate direttamente dal sito web clinicaltrials.gov senza alcuna modifica. In caso di richieste di modifica, rimozione o aggiornamento dei dettagli dello studio, contattare register@clinicaltrials.gov. Non appena verrà implementata una modifica su clinicaltrials.gov, questa verrà aggiornata automaticamente anche sul nostro sito web .
Prove cliniche su Formazione Assistente Operativo Virtuale
-
University of Colorado, DenverBinghamton UniversityAttivo, non reclutanteCommozione cerebraleStati Uniti
-
Beirut Arab UniversityCompletato
-
University of WashingtonNational Institute of Mental Health (NIMH)ReclutamentoBias implicitoStati Uniti