- ICH GCP
- Amerikanska kliniska prövningsregistret
- Klinisk prövning NCT04700384
Effektiviteten hos ett artificiellt intelligent handledningssystem i simuleringsträning
Jämföra den virtuella operativa assistenten med expertbaserad undervisning i kirurgisk utbildning: en randomiserad kontrollerad studie
Kort sammanfattning:
Bakgrund:
Även om kirurgisk erfarenhet och teknisk skicklighet är förknippad med bättre patientresultat, är det en utmaning att kvantifiera kirurgisk förmåga i operationssalen. Inom kirurgisk utbildning kan stora datamängder genererade av virtuell verklighetssimulatorer med hög kvalitet användas av maskininlärningsalgoritmer för att objektivt mäta praktikantens prestanda och kompetens på expertriktmärken. Detta möjliggör upprepad träning av kirurgiska färdigheter i säkra och riskfria miljöer med omedelbar feedback.
Vår grupp utvecklade och har patentsökt för ett intelligent handledningssystem som kallas Virtual Operative Assistant (VOA). Med hjälp av en artificiell intelligens (AI) stödvektormaskinalgoritm, bedömer VOA data som härrör från NeuroVR (CAE Healthcare) simulatorplattformen och ger individualiserad audiovisuell feedback för att förbättra elevens prestanda under simulerade hjärntumörresektioner. Effektiviteten av intelligenta handledningssystem som VOA till den mänskliga kirurgiska lärlingspedagogiken återstår att klarlägga.
Syftet med denna studie är att jämföra effektiviteten och den pedagogiska effekten av personlig VOA-feedback med expertinstruktioner om medicinska studenters tekniska färdigheter som lär sig av en virtuell verklighets-tumörresektion.
Specifika mål: 1) Att bedöma om läkarstudenter som får personlig VOA-feedback statistiskt förbättrar sin kirurgiska prestation jämfört med de som har (a) ingen expertinstruktörsfeedback eller (b) expertinstruktörsförmedlad feedback. 2) Att beskriva om olika känslor framkallas av VOA:s intelligenta handledningssystem hos läkarstudenter när de utför denna prestationsuppgift jämfört med mänsklig undervisning
Studieöversikt
Status
Betingelser
Intervention / Behandling
Detaljerad beskrivning
Design: En trearmad delvis blindad randomiserad kontrollerad studie av VOA-träning kontra fjärrbaserad expertinstruktion kontra kontroll.
Inställning: Neurokirurgisk simulering och lärcentrum för artificiell intelligens, Montreal Neurological Institute.
Deltagare: Berättigade första- och andraårsläkarstudenter från hela provinsen Quebec.
Uppgift: Fullständigt avlägsnande av en simulerad tumör - särskiljbar genom färg och haptiska egenskaper - med minimal blödning och skada på omgivande frisk hjärna med hjälp av två kirurgiska instrument (Cavitron Ultrasonic Aspirator och bipolär tång) från NeuroVR (CAE Healthcare) kirurgiska simulatorn.
Intervention: En enda 75-minuters träningssession, inklusive sex virtuella subpiala tumörresektionsförsök (fem enkla övningsscenarier och ett komplext realistiskt scenario) med bedömning och feedback från antingen:
- VOA intelligenta handledningssystem (Grupp 2) eller
en fjärrbaserad expertinstruktör (Grupp 3)
Båda jämfört med:
- kontrollgrupp (Grupp 1) som inte får någon bedömning eller prestationsfeedback.
Såvitt vi vet kommer detta att vara den första studien för att jämföra effektiviteten hos ett AI-drivet intelligent handledningssystem med expertinstruktioner i samband med medicinsk och kirurgisk virtuell verklighetssimulering och bedöma det känslomässiga svaret på sådan instruktion. Denna studie syftar till att börja identifiera framgångsrika tillvägagångssätt för att använda denna innovativa teknik i den medicinska pedagogiska läroplanen och förbättra patientresultaten genom att öka säkerheten, effektiviteten och kompetensen hos kirurger och andra vårdgivare.
Studietyp
Inskrivning (Faktisk)
Fas
- Inte tillämpbar
Kontakter och platser
Studieorter
-
-
Quebec
-
Montreal, Quebec, Kanada, H3A 2B4
- Neurosurgical Simulation and Artificial Intelligence Learning Centre
-
-
Deltagandekriterier
Urvalskriterier
Åldrar som är berättigade till studier
- Barn
- Vuxen
- Äldre vuxen
Tar emot friska volontärer
Kön som är behöriga för studier
Beskrivning
Inklusionskriterier:• Läkarstudenter på första och andra året från någon kanadensisk institution som inte uppfyller uteslutningskriterierna.
-
Uteslutningskriterier: • Deltagande i någon av vår grupps tidigare försök med simulatorn NeuroVR (CAE Healthcare).
-
Studieplan
Hur är studien utformad?
Designdetaljer
- Primärt syfte: Hälsovårdsforskning
- Tilldelning: Randomiserad
- Interventionsmodell: Parallellt uppdrag
- Maskning: Dubbel
Vapen och interventioner
Deltagargrupp / Arm |
Intervention / Behandling |
|---|---|
|
Inget ingripande: Kontrollgrupp
Kontrollgrupp - Baslinjeutbildning 25 deltagare tilldelas. Individer får introduktionsinformation om hur simulatorn och scenariot används. De utför 5 enkla subpiala tumörresektioner för övning och har 5 minuter per försök. Efter varje försök tar eleven en 5-minuters paus utan bedömning eller feedback på sin prestation. På sitt sjätte försök har de 13 minuter på sig att utföra ett annat realistiskt scenario. |
|
|
Experimentell: Experimentell grupp - Virtual Operative Assistance Training
Experimentell grupp - Virtual Operative Assistance Training 25 deltagare tilldelas. Individer får samma information, har samma tid och utför samma scenarier som kontrollgruppen. Under 5 minuter mellan försöken får deltagarna utvärderingen av Virtual Operative Assistance Training av sin prestation och audiovisuell feedback. |
Individer får samma grundläggande information, har samma tid och utför samma scenarier som kontrollgruppen.
Under 5 minuter mellan försöken får deltagarna den virtuella operativa assistentens utvärdering av sin prestation och audiovisuell feedback.
|
|
Experimentell: Experimentell grupp - fjärrbaserad expertinstruktörsutbildning
25 deltagare tilldelas.
Individer får samma information, har samma tid och utför samma scenarier som kontrollgruppen.
Under tiden observerar en utbildad instruktör deltagarens prestanda på skärmen, som livestreamas, på distans.
Instruktörer är äldre patienter inom neurokirurgi med lång erfarenhet av att utföra och bedöma detta scenario.
Under den 5 minuter långa feedbacksessionen chattar de med eleven, diskuterar prestandan och hjälper till att sätta upp mål för nästa försök.
|
Individer får samma information, har samma tid och utför samma scenarier som kontrollgruppen.
Under tiden observerar en utbildad instruktör deltagarens prestanda på skärmen, som livestreamas, på distans.
Instruktörer är äldre patienter inom neurokirurgi med lång erfarenhet av att utföra och bedöma detta scenario.
Under den 5 minuter långa feedbacksessionen chattar de med eleven, diskuterar prestandan och hjälper till att sätta upp mål för nästa försök.
|
Vad mäter studien?
Primära resultatmått
Resultatmått |
Åtgärdsbeskrivning |
Tidsram |
|---|---|---|
|
Förändring i procedurprestanda .
Tidsram: Studiedag
|
Prestanda i varje övningsförsök mäts med hjälp av rådata från simulatorn som används för bedömning av tidigare etablerade AI-algoritmer på validerade mätvärden.
|
Studiedag
|
|
Förändring i lärande
Tidsram: Studiedag
|
Prestandan på det komplexa realistiska scenariot utvärderas av expertinstruktörer med hjälp av objektiva strukturerade bedömningar av tekniska färdigheter (OSATS) Visual Rating Scale (viktad till 50 %) och AI-bedömningsalgoritmerna (vägda till 50 %) som skapar ett sammansatt prestationspoäng.
|
Studiedag
|
Sekundära resultatmått
Resultatmått |
Åtgärdsbeskrivning |
Tidsram |
|---|---|---|
|
Skillnad i styrkan hos framkallade känslor
Tidsram: Studiedag
|
Mäts med hjälp av Duffys Medical Emotions Scale (MES), före, under och efter interventionen.
|
Studiedag
|
|
Skillnad i kognitiv belastning
Tidsram: Studiedag
|
Mäts med Leppinks Cognitive Load Index (CLI) efter interventionen.
|
Studiedag
|
Samarbetspartners och utredare
Sponsor
Publikationer och användbara länkar
Allmänna publikationer
- Stulberg JJ, Huang R, Kreutzer L, Ban K, Champagne BJ, Steele SR, Johnson JK, Holl JL, Greenberg CC, Bilimoria KY. Association Between Surgeon Technical Skills and Patient Outcomes. JAMA Surg. 2020 Oct 1;155(10):960-968. doi: 10.1001/jamasurg.2020.3007. Erratum In: JAMA Surg. 2020 Oct 1;155(10):1002. JAMA Surg. 2021 Jul 1;156(7):694.
- Birkmeyer JD, Finks JF, O'Reilly A, Oerline M, Carlin AM, Nunn AR, Dimick J, Banerjee M, Birkmeyer NJ; Michigan Bariatric Surgery Collaborative. Surgical skill and complication rates after bariatric surgery. N Engl J Med. 2013 Oct 10;369(15):1434-42. doi: 10.1056/NEJMsa1300625.
- Birkmeyer JD, Stukel TA, Siewers AE, Goodney PP, Wennberg DE, Lucas FL. Surgeon volume and operative mortality in the United States. N Engl J Med. 2003 Nov 27;349(22):2117-27. doi: 10.1056/NEJMsa035205.
- Winkler-Schwartz A, Yilmaz R, Mirchi N, Bissonnette V, Ledwos N, Siyar S, Azarnoush H, Karlik B, Del Maestro R. Machine Learning Identification of Surgical and Operative Factors Associated With Surgical Expertise in Virtual Reality Simulation. JAMA Netw Open. 2019 Aug 2;2(8):e198363. doi: 10.1001/jamanetworkopen.2019.8363.
- Mirchi N, Bissonnette V, Yilmaz R, Ledwos N, Winkler-Schwartz A, Del Maestro RF. The Virtual Operative Assistant: An explainable artificial intelligence tool for simulation-based training in surgery and medicine. PLoS One. 2020 Feb 27;15(2):e0229596. doi: 10.1371/journal.pone.0229596. eCollection 2020.
- Winkler-Schwartz A, Marwa I, Bajunaid K, Mullah M, Alotaibi FE, Bugdadi A, Sawaya R, Sabbagh AJ, Del Maestro R. A Comparison of Visual Rating Scales and Simulated Virtual Reality Metrics in Neurosurgical Training: A Generalizability Theory Study. World Neurosurg. 2019 Jul;127:e230-e235. doi: 10.1016/j.wneu.2019.03.059. Epub 2019 Mar 15.
- Duffy, M.C., et al., Emotions in medical education: Examining the validity of the Medical Emotion Scale (MES) across authentic medical learning environments. Learning and Instruction, 2020. 70: p. 101150.
- Leppink J, Paas F, Van der Vleuten CP, Van Gog T, Van Merrienboer JJ. Development of an instrument for measuring different types of cognitive load. Behav Res Methods. 2013 Dec;45(4):1058-72. doi: 10.3758/s13428-013-0334-1.
- Fazlollahi AM, Bakhaidar M, Alsayegh A, Yilmaz R, Winkler-Schwartz A, Mirchi N, Langleben I, Ledwos N, Sabbagh AJ, Bajunaid K, Harley JM, Del Maestro RF. Effect of Artificial Intelligence Tutoring vs Expert Instruction on Learning Simulated Surgical Skills Among Medical Students: A Randomized Clinical Trial. JAMA Netw Open. 2022 Feb 1;5(2):e2149008. doi: 10.1001/jamanetworkopen.2021.49008.
Studieavstämningsdatum
Studera stora datum
Studiestart (Faktisk)
Primärt slutförande (Faktisk)
Avslutad studie (Faktisk)
Studieregistreringsdatum
Först inskickad
Först inskickad som uppfyllde QC-kriterierna
Första postat (Faktisk)
Uppdateringar av studier
Senaste uppdatering publicerad (Faktisk)
Senaste inskickade uppdateringen som uppfyllde QC-kriterierna
Senast verifierad
Mer information
Termer relaterade till denna studie
Nyckelord
Andra studie-ID-nummer
- 2010-270, NEU-09-042
Plan för individuella deltagardata (IPD)
Planerar du att dela individuella deltagardata (IPD)?
IPD-planbeskrivning
Tidsram för IPD-delning
Kriterier för IPD Sharing Access
IPD-delning som stöder informationstyp
- STUDY_PROTOCOL
- SAV
- ICF
- ANALYTIC_CODE
- CSR
Läkemedels- och apparatinformation, studiedokument
Studerar en amerikansk FDA-reglerad läkemedelsprodukt
Studerar en amerikansk FDA-reglerad produktprodukt
Denna information hämtades direkt från webbplatsen clinicaltrials.gov utan några ändringar. Om du har några önskemål om att ändra, ta bort eller uppdatera dina studieuppgifter, vänligen kontakta register@clinicaltrials.gov. Så snart en ändring har implementerats på clinicaltrials.gov, kommer denna att uppdateras automatiskt även på vår webbplats .