- ICH GCP
- US Clinical Trials Registry
- Klinisk utprøving NCT04700384
Effektiviteten til et kunstig intelligent veiledningssystem i simuleringstrening
Sammenligning av den virtuelle operative assistenten med ekspertbasert instruksjon i kirurgisk utdanning: En randomisert kontrollert prøvelse
Kort oppsummering:
Bakgrunn:
Selv om kirurgisk erfaring og teknisk dyktighet er assosiert med bedre pasientresultater, er det utfordrende å kvantifisere kirurgisk evne i operasjonssalen. I kirurgisk utdanning kan store datasett generert av virtuelle virkelighetssimulatorer med høy kvalitet brukes av maskinlæringsalgoritmer for objektivt å måle trainees ytelse og kompetanse på ekspertreferanser. Dette tillater gjentatt utøvelse av kirurgiske ferdigheter i trygge og risikofrie miljøer med umiddelbar tilbakemelding.
Vår gruppe utviklet og har patentsøkt for et intelligent veiledningssystem kalt Virtual Operative Assistant (VOA). Ved å bruke en Artificial Intelligence (AI) støtte vektormaskinalgoritme, vurderer VOA data hentet fra NeuroVR (CAE Healthcare) simulatorplattformen og gir individualisert audiovisuell tilbakemelding for å forbedre elevens ytelse under simulerte hjernesvulstreseksjoner. Effektiviteten til intelligente veiledningssystemer som VOA til den menneskelige kirurgiske lærlingepedagogikken gjenstår å belyse.
Målet med denne studien er å sammenligne effektiviteten og den pedagogiske virkningen av personlig VOA-tilbakemelding med ekspertinstruksjoner om medisinske studenters tekniske ferdigheter å lære av en virtual reality-tumorreseksjonsprosedyre.
Spesifikke mål: 1) Å vurdere om medisinstudenter som mottar personlig VOA-tilbakemelding statistisk forbedrer deres kirurgiske ytelse sammenlignet med de som har (a) ingen tilbakemelding fra ekspertinstruktører eller (b) ekspertinstruktørmediert tilbakemelding. 2) Å skissere om forskjellige følelser fremkalles av VOA intelligent veiledningssystem hos medisinstudenter mens de utfører denne prestasjonsoppgaven sammenlignet med menneskelig instruksjon
Studieoversikt
Status
Forhold
Intervensjon / Behandling
Detaljert beskrivelse
Design: En tre-arms delvis blindet randomisert kontrollert studie av VOA-trening versus fjernbasert ekspertinstruksjon versus kontroll.
Innstilling: Nevrokirurgisk simulering og læringssenter for kunstig intelligens, Montreal Neurological Institute.
Deltakere: Kvalifiserte første- og andreårs medisinstudenter fra hele provinsen Quebec.
Oppgave: Fullstendig fjerning av en simulert svulst – kjennetegnes ved farge og haptiske egenskaper – med minimal blødning og skade på omkringliggende sunn hjerne ved hjelp av to kirurgiske instrumenter (Cavitron Ultrasonic Aspirator og Bipolar tang) fra NeuroVR (CAE Healthcare) kirurgisk simulator.
Intervensjon: En enkelt 75-minutters treningsøkt, inkludert seks virtuelle subpiale tumorreseksjonsforsøk (fem enkle praksisscenarier og ett komplekst realistisk scenario) med vurdering og tilbakemelding fra enten:
- VOA intelligent veiledningssystem (gruppe 2) eller
en fjernbasert ekspertinstruktør (gruppe 3)
Begge sammenlignet med:
- kontrollgruppe (gruppe 1) som ikke mottar noen vurdering eller tilbakemelding på ytelse.
Så vidt vi vet vil dette være den første studien som sammenligner effektiviteten til et AI-drevet intelligent veiledningssystem med ekspertinstruksjon i sammenheng med medisinsk og kirurgisk virtuell virkelighetssimulering og vurderer den emosjonelle responsen på slik instruksjon. Denne studien har som mål å begynne å identifisere vellykkede tilnærminger for å bruke denne innovative teknologien i den medisinske pedagogiske læreplanen og forbedre pasientresultatene ved å øke sikkerheten, effektiviteten og kompetansen til kirurger og andre helsepersonell.
Studietype
Registrering (Faktiske)
Fase
- Ikke aktuelt
Kontakter og plasseringer
Studiesteder
-
-
Quebec
-
Montreal, Quebec, Canada, H3A 2B4
- Neurosurgical Simulation and Artificial Intelligence Learning Centre
-
-
Deltakelseskriterier
Kvalifikasjonskriterier
Alder som er kvalifisert for studier
- Barn
- Voksen
- Eldre voksen
Tar imot friske frivillige
Kjønn som er kvalifisert for studier
Beskrivelse
Inkluderingskriterier:• Første- og andreårs medisinstudenter fra enhver kanadisk institusjon som ikke oppfyller eksklusjonskriteriene.
-
Eksklusjonskriterier: • Deltakelse i noen av vår gruppes tidligere forsøk som involverer NeuroVR (CAE Healthcare)-simulatoren.
-
Studieplan
Hvordan er studiet utformet?
Designdetaljer
- Primært formål: Helsetjenesteforskning
- Tildeling: Randomisert
- Intervensjonsmodell: Parallell tildeling
- Masking: Dobbelt
Våpen og intervensjoner
Deltakergruppe / Arm |
Intervensjon / Behandling |
|---|---|
|
Ingen inngripen: Kontrollgruppe
Kontrollgruppe - Baseline Training 25 deltakere tildelt. Enkeltpersoner får introduksjonsinformasjon om bruk av simulatoren og scenariet. De utfører 5 enkle subpiale tumorreseksjoner for praksis og har 5 minutter per forsøk. Etter hvert forsøk tar studenten en 5-minutters pause uten vurdering eller tilbakemelding på prestasjoner. På sitt sjette forsøk har de 13 minutter til å utføre et annerledes realistisk scenario. |
|
|
Eksperimentell: Eksperimentell gruppe - opplæring i virtuell operativ assistanse
Eksperimentell gruppe - opplæring i virtuell operativ assistanse 25 deltakere fordelt. Enkeltpersoner mottar samme informasjon, har like mye tid og utfører de samme scenariene som kontrollgruppen. I løpet av 5 minutter mellom forsøkene, mottar deltakeren Virtual Operative Assistance Training-vurderingen av deres ytelse og audiovisuelle tilbakemeldinger. |
Enkeltpersoner får samme grunnleggende informasjon, har like mye tid og utfører de samme scenariene som kontrollgruppen.
I løpet av 5 minutter mellom forsøkene, mottar deltakeren Virtual Operative Assistant-vurderingen av ytelsen og audiovisuell tilbakemelding.
|
|
Eksperimentell: Eksperimentell gruppe - fjernbasert ekspertinstruktøropplæring
25 deltakere fordelt.
Enkeltpersoner mottar samme informasjon, har like mye tid og utfører de samme scenariene som kontrollgruppen.
I mellomtiden observerer en utdannet instruktør deltakerens ytelse på skjermen, som livestreames, eksternt.
Instruktører er seniorbeboere i nevrokirurgi med lang erfaring i å utføre og vurdere dette scenariet.
I løpet av den 5-minutters tilbakemeldingsøkten chatter de med studenten, diskuterer prestasjonen og hjelper til med å sette mål for neste prøveperiode.
|
Enkeltpersoner mottar samme informasjon, har like mye tid og utfører de samme scenariene som kontrollgruppen.
I mellomtiden observerer en utdannet instruktør deltakerens ytelse på skjermen, som livestreames, eksternt.
Instruktører er seniorbeboere i nevrokirurgi med lang erfaring i å utføre og vurdere dette scenariet.
I løpet av den 5-minutters tilbakemeldingsøkten chatter de med studenten, diskuterer prestasjonen og hjelper til med å sette mål for neste prøveperiode.
|
Hva måler studien?
Primære resultatmål
Resultatmål |
Tiltaksbeskrivelse |
Tidsramme |
|---|---|---|
|
Endring i prosedyreytelse.
Tidsramme: Studiedag
|
Ytelsen i hvert øvelsesforsøk måles ved å bruke rådata fra simulatoren som brukes til vurdering av tidligere etablerte AI-algoritmer på validerte beregninger.
|
Studiedag
|
|
Endring i læring
Tidsramme: Studiedag
|
Ytelsen på det komplekse realistiske scenariet blir evaluert av ekspertinstruktører ved å bruke den objektive strukturerte vurderingen av tekniske ferdigheter (OSATS) visuell vurderingsskala (vektet til 50 %) og AI-vurderingsalgoritmene (vektet til 50 %) og skaper en sammensatt ytelsespoeng.
|
Studiedag
|
Sekundære resultatmål
Resultatmål |
Tiltaksbeskrivelse |
Tidsramme |
|---|---|---|
|
Forskjell i styrken til de fremkalte følelsene
Tidsramme: Studiedag
|
Målt ved hjelp av Duffys Medical Emotions Scale (MES), før, under og etter intervensjonen.
|
Studiedag
|
|
Forskjell i kognitiv belastning
Tidsramme: Studiedag
|
Målt ved hjelp av Leppinks Cognitive Load Index (CLI) etter intervensjonen.
|
Studiedag
|
Samarbeidspartnere og etterforskere
Sponsor
Publikasjoner og nyttige lenker
Generelle publikasjoner
- Stulberg JJ, Huang R, Kreutzer L, Ban K, Champagne BJ, Steele SR, Johnson JK, Holl JL, Greenberg CC, Bilimoria KY. Association Between Surgeon Technical Skills and Patient Outcomes. JAMA Surg. 2020 Oct 1;155(10):960-968. doi: 10.1001/jamasurg.2020.3007. Erratum In: JAMA Surg. 2020 Oct 1;155(10):1002. JAMA Surg. 2021 Jul 1;156(7):694.
- Birkmeyer JD, Finks JF, O'Reilly A, Oerline M, Carlin AM, Nunn AR, Dimick J, Banerjee M, Birkmeyer NJ; Michigan Bariatric Surgery Collaborative. Surgical skill and complication rates after bariatric surgery. N Engl J Med. 2013 Oct 10;369(15):1434-42. doi: 10.1056/NEJMsa1300625.
- Birkmeyer JD, Stukel TA, Siewers AE, Goodney PP, Wennberg DE, Lucas FL. Surgeon volume and operative mortality in the United States. N Engl J Med. 2003 Nov 27;349(22):2117-27. doi: 10.1056/NEJMsa035205.
- Winkler-Schwartz A, Yilmaz R, Mirchi N, Bissonnette V, Ledwos N, Siyar S, Azarnoush H, Karlik B, Del Maestro R. Machine Learning Identification of Surgical and Operative Factors Associated With Surgical Expertise in Virtual Reality Simulation. JAMA Netw Open. 2019 Aug 2;2(8):e198363. doi: 10.1001/jamanetworkopen.2019.8363.
- Mirchi N, Bissonnette V, Yilmaz R, Ledwos N, Winkler-Schwartz A, Del Maestro RF. The Virtual Operative Assistant: An explainable artificial intelligence tool for simulation-based training in surgery and medicine. PLoS One. 2020 Feb 27;15(2):e0229596. doi: 10.1371/journal.pone.0229596. eCollection 2020.
- Winkler-Schwartz A, Marwa I, Bajunaid K, Mullah M, Alotaibi FE, Bugdadi A, Sawaya R, Sabbagh AJ, Del Maestro R. A Comparison of Visual Rating Scales and Simulated Virtual Reality Metrics in Neurosurgical Training: A Generalizability Theory Study. World Neurosurg. 2019 Jul;127:e230-e235. doi: 10.1016/j.wneu.2019.03.059. Epub 2019 Mar 15.
- Duffy, M.C., et al., Emotions in medical education: Examining the validity of the Medical Emotion Scale (MES) across authentic medical learning environments. Learning and Instruction, 2020. 70: p. 101150.
- Leppink J, Paas F, Van der Vleuten CP, Van Gog T, Van Merrienboer JJ. Development of an instrument for measuring different types of cognitive load. Behav Res Methods. 2013 Dec;45(4):1058-72. doi: 10.3758/s13428-013-0334-1.
- Fazlollahi AM, Bakhaidar M, Alsayegh A, Yilmaz R, Winkler-Schwartz A, Mirchi N, Langleben I, Ledwos N, Sabbagh AJ, Bajunaid K, Harley JM, Del Maestro RF. Effect of Artificial Intelligence Tutoring vs Expert Instruction on Learning Simulated Surgical Skills Among Medical Students: A Randomized Clinical Trial. JAMA Netw Open. 2022 Feb 1;5(2):e2149008. doi: 10.1001/jamanetworkopen.2021.49008.
Studierekorddatoer
Studer hoveddatoer
Studiestart (Faktiske)
Primær fullføring (Faktiske)
Studiet fullført (Faktiske)
Datoer for studieregistrering
Først innsendt
Først innsendt som oppfylte QC-kriteriene
Først lagt ut (Faktiske)
Oppdateringer av studieposter
Sist oppdatering lagt ut (Faktiske)
Siste oppdatering sendt inn som oppfylte QC-kriteriene
Sist bekreftet
Mer informasjon
Begreper knyttet til denne studien
Nøkkelord
Andre studie-ID-numre
- 2010-270, NEU-09-042
Plan for individuelle deltakerdata (IPD)
Planlegger du å dele individuelle deltakerdata (IPD)?
IPD-planbeskrivelse
IPD-delingstidsramme
Tilgangskriterier for IPD-deling
IPD-deling Støtteinformasjonstype
- STUDY_PROTOCOL
- SEVJE
- ICF
- ANALYTIC_CODE
- CSR
Legemiddel- og utstyrsinformasjon, studiedokumenter
Studerer et amerikansk FDA-regulert medikamentprodukt
Studerer et amerikansk FDA-regulert enhetsprodukt
Denne informasjonen ble hentet direkte fra nettstedet clinicaltrials.gov uten noen endringer. Hvis du har noen forespørsler om å endre, fjerne eller oppdatere studiedetaljene dine, vennligst kontakt register@clinicaltrials.gov. Så snart en endring er implementert på clinicaltrials.gov, vil denne også bli oppdatert automatisk på nettstedet vårt. .