- ICH GCP
- US Clinical Trials Registry
- Klinisk forsøg NCT04700384
Effektiviteten af et kunstigt intelligent vejledningssystem i simuleringstræning
Sammenligning af den virtuelle operative assistent med ekspertbaseret undervisning i kirurgisk uddannelse: et randomiseret kontrolleret forsøg
Kort opsummering:
Baggrund:
Selvom kirurgisk erfaring og tekniske færdigheder er forbundet med bedre patientresultater, er det udfordrende at kvantificere kirurgiske evner på operationsstuen. I kirurgisk uddannelse kan store datasæt genereret af high-fidelity virtual reality-simulatorer anvendes af maskinlæringsalgoritmer til objektivt at måle praktikantens ydeevne og kompetence på ekspertbenchmarks. Dette tillader gentagen øvelse af kirurgiske færdigheder i sikre og risikofrie miljøer med øjeblikkelig feedback.
Vores gruppe udviklede og har patentanmeldt et intelligent vejledningssystem kaldet Virtual Operative Assistant (VOA). Ved at bruge en Artificial Intelligence (AI) støtte vektor maskine algoritme, vurderer VOA data afledt af NeuroVR (CAE Healthcare) simulator platformen og giver individualiseret audiovisuel feedback for at forbedre elevens ydeevne under simulerede hjernetumor resektioner. Effektiviteten af intelligente vejledningssystemer, såsom VOA til den menneskelige kirurgiske lærlingeuddannelse, mangler at blive belyst.
Formålet med denne undersøgelse er at sammenligne effektiviteten og den pædagogiske effekt af personlig VOA-feedback med ekspertinstruktion om medicinstuderendes tekniske færdigheder, indlæring af en virtual reality-tumorresektionsprocedure.
Specifikke mål: 1) At vurdere, om medicinstuderende, der modtager personlig VOA-feedback, statistisk forbedrer deres kirurgiske ydeevne sammenlignet med dem, der har (a) ingen ekspertinstruktørfeedback eller (b) ekspertinstruktør-medieret feedback. 2) At skitsere, om forskellige følelser fremkaldes af VOA intelligente vejledningssystem hos medicinstuderende, mens de udfører denne præstationsopgave sammenlignet med menneskelig instruktion
Studieoversigt
Status
Betingelser
Detaljeret beskrivelse
Design: Et tre-arms delvist blindet randomiseret kontrolleret forsøg med VOA-træning versus fjernbaseret ekspertinstruktion versus kontrol.
Indstilling: Neurokirurgisk simulering og læringscenter for kunstig intelligens, Montreal Neurological Institute.
Deltagere: Støtteberettigede første- og andetårs medicinstuderende fra hele Quebec-provinsen.
Opgave: Fuldstændig fjernelse af en simuleret tumor - kendelig ved farve og haptiske egenskaber - med minimal blødning og skade på omgivende sund hjerne ved hjælp af to kirurgiske instrumenter (Cavitron Ultrasonic Aspirator og Bipolar tang) i NeuroVR (CAE Healthcare) kirurgiske simulator.
Intervention: En enkelt 75-minutters træningssession, inklusive seks virtuelle subpiale tumorresektionsforsøg (fem simple praksisscenarier og et komplekst realistisk scenarie) med vurdering og feedback fra enten:
- VOA intelligente vejledningssystem (Gruppe 2) eller
en fjernbaseret ekspertinstruktør (Gruppe 3)
Begge i forhold til:
- kontrolgruppe (Gruppe 1), der ikke modtager vurdering eller præstationsfeedback.
Så vidt vi ved, vil dette være den første undersøgelse, der sammenligner effektiviteten af et AI-drevet intelligent vejledningssystem med ekspertinstruktion i forbindelse med medicinsk og kirurgisk virtual reality-simulering og vurderer den følelsesmæssige reaktion på en sådan instruktion. Denne undersøgelse har til formål at begynde at identificere succesfulde tilgange til at bruge denne innovative teknologi i det medicinske uddannelsespensum og forbedre patientresultater ved at øge sikkerheden, effektiviteten og kompetencen hos kirurger og andre sundhedsudbydere.
Undersøgelsestype
Tilmelding (Faktiske)
Fase
- Ikke anvendelig
Kontakter og lokationer
Studiesteder
-
-
Quebec
-
Montreal, Quebec, Canada, H3A 2B4
- Neurosurgical Simulation and Artificial Intelligence Learning Centre
-
-
Deltagelseskriterier
Berettigelseskriterier
Aldre berettiget til at studere
- Barn
- Voksen
- Ældre voksen
Tager imod sunde frivillige
Køn, der er berettiget til at studere
Beskrivelse
Inklusionskriterier:• Første- og andetårs medicinstuderende fra enhver canadisk institution, som ikke opfylder eksklusionskriterierne.
-
Eksklusionskriterier: • Deltagelse i enhver af vores gruppes tidligere forsøg, der involverer NeuroVR (CAE Healthcare) simulatoren.
-
Studieplan
Hvordan er undersøgelsen tilrettelagt?
Design detaljer
- Primært formål: Sundhedstjenesteforskning
- Tildeling: Randomiseret
- Interventionel model: Parallel tildeling
- Maskning: Dobbelt
Våben og indgreb
Deltagergruppe / Arm |
Intervention / Behandling |
|---|---|
|
Ingen indgriben: Kontrolgruppe
Kontrolgruppe - Basistræning 25 deltagere tildelt. Enkeltpersoner modtager introduktionsinformation om brugen af simulatoren og scenariet. De udfører 5 simple subpiale tumorresektioner til praksis og har 5 minutter pr. forsøg. Efter hvert forsøg holder eleven en 5-minutters pause uden vurdering eller feedback på deres præstation. På deres 6. forsøg har de 13 minutter til at udføre et anderledes realistisk scenarie. |
|
|
Eksperimentel: Eksperimentel gruppe - Virtual Operative Assistance Training
Eksperimentel gruppe - Virtual Operative Assistance Training 25 deltagere fordelt. Individer modtager den samme information, har den samme tid og udfører de samme scenarier som kontrolgruppen. I løbet af 5 minutter mellem forsøgene modtager deltageren vurderingen af deres præstationer og audiovisuel feedback i Virtual Operative Assistance Training. |
Individer modtager den samme grundlæggende information, har den samme tid og udfører de samme scenarier som kontrolgruppen.
I løbet af 5 minutter mellem forsøgene modtager deltageren den virtuelle operative assistent-vurdering af deres præstation og audiovisuelle feedback.
|
|
Eksperimentel: Eksperimentel gruppe - fjernbaseret ekspertinstruktøruddannelse
25 deltagere fordelt.
Individer modtager den samme information, har den samme tid og udfører de samme scenarier som kontrolgruppen.
I mellemtiden observerer en trænet instruktør deltagerens præstation på skærmen, som livestreames, på afstand.
Instruktører er senior neurokirurgiske beboere med stor erfaring i at udføre og vurdere dette scenarie.
I løbet af den 5-minutters feedback-session chatter de med eleven, diskuterer præstationen og hjælper med at sætte mål for det næste forsøg.
|
Individer modtager den samme information, har den samme tid og udfører de samme scenarier som kontrolgruppen.
I mellemtiden observerer en trænet instruktør deltagerens præstation på skærmen, som livestreames, på afstand.
Instruktører er senior neurokirurgiske beboere med stor erfaring i at udføre og vurdere dette scenarie.
I løbet af den 5-minutters feedback-session chatter de med eleven, diskuterer præstationen og hjælper med at sætte mål for det næste forsøg.
|
Hvad måler undersøgelsen?
Primære resultatmål
Resultatmål |
Foranstaltningsbeskrivelse |
Tidsramme |
|---|---|---|
|
Ændring i proceduremæssig udførelse.
Tidsramme: Studiedag
|
Ydeevne i hvert øvelsesforsøg måles ved hjælp af rådata fra simulatoren, der bruges til vurdering af tidligere etablerede AI-algoritmer på validerede metrikker.
|
Studiedag
|
|
Ændring i læring
Tidsramme: Studiedag
|
Ydeevnen på det komplekse realistiske scenarie evalueres af ekspertinstruktører ved hjælp af objektive strukturerede vurderinger af tekniske færdigheder (OSATS) Visual Rating Scale (vægtet med 50%) og AI-vurderingsalgoritmerne (vægtet til 50%), hvilket skaber en sammensat præstationsscore.
|
Studiedag
|
Sekundære resultatmål
Resultatmål |
Foranstaltningsbeskrivelse |
Tidsramme |
|---|---|---|
|
Forskel i styrken af de fremkaldte følelser
Tidsramme: Studiedag
|
Målt ved hjælp af Duffy's Medical Emotions Scale (MES), før, under og efter interventionen.
|
Studiedag
|
|
Forskel i kognitiv belastning
Tidsramme: Studiedag
|
Målt ved hjælp af Leppinks Cognitive Load Index (CLI) efter interventionen.
|
Studiedag
|
Samarbejdspartnere og efterforskere
Sponsor
Publikationer og nyttige links
Generelle publikationer
- Stulberg JJ, Huang R, Kreutzer L, Ban K, Champagne BJ, Steele SR, Johnson JK, Holl JL, Greenberg CC, Bilimoria KY. Association Between Surgeon Technical Skills and Patient Outcomes. JAMA Surg. 2020 Oct 1;155(10):960-968. doi: 10.1001/jamasurg.2020.3007. Erratum In: JAMA Surg. 2020 Oct 1;155(10):1002. JAMA Surg. 2021 Jul 1;156(7):694.
- Birkmeyer JD, Finks JF, O'Reilly A, Oerline M, Carlin AM, Nunn AR, Dimick J, Banerjee M, Birkmeyer NJ; Michigan Bariatric Surgery Collaborative. Surgical skill and complication rates after bariatric surgery. N Engl J Med. 2013 Oct 10;369(15):1434-42. doi: 10.1056/NEJMsa1300625.
- Birkmeyer JD, Stukel TA, Siewers AE, Goodney PP, Wennberg DE, Lucas FL. Surgeon volume and operative mortality in the United States. N Engl J Med. 2003 Nov 27;349(22):2117-27. doi: 10.1056/NEJMsa035205.
- Winkler-Schwartz A, Yilmaz R, Mirchi N, Bissonnette V, Ledwos N, Siyar S, Azarnoush H, Karlik B, Del Maestro R. Machine Learning Identification of Surgical and Operative Factors Associated With Surgical Expertise in Virtual Reality Simulation. JAMA Netw Open. 2019 Aug 2;2(8):e198363. doi: 10.1001/jamanetworkopen.2019.8363.
- Mirchi N, Bissonnette V, Yilmaz R, Ledwos N, Winkler-Schwartz A, Del Maestro RF. The Virtual Operative Assistant: An explainable artificial intelligence tool for simulation-based training in surgery and medicine. PLoS One. 2020 Feb 27;15(2):e0229596. doi: 10.1371/journal.pone.0229596. eCollection 2020.
- Winkler-Schwartz A, Marwa I, Bajunaid K, Mullah M, Alotaibi FE, Bugdadi A, Sawaya R, Sabbagh AJ, Del Maestro R. A Comparison of Visual Rating Scales and Simulated Virtual Reality Metrics in Neurosurgical Training: A Generalizability Theory Study. World Neurosurg. 2019 Jul;127:e230-e235. doi: 10.1016/j.wneu.2019.03.059. Epub 2019 Mar 15.
- Duffy, M.C., et al., Emotions in medical education: Examining the validity of the Medical Emotion Scale (MES) across authentic medical learning environments. Learning and Instruction, 2020. 70: p. 101150.
- Leppink J, Paas F, Van der Vleuten CP, Van Gog T, Van Merrienboer JJ. Development of an instrument for measuring different types of cognitive load. Behav Res Methods. 2013 Dec;45(4):1058-72. doi: 10.3758/s13428-013-0334-1.
- Fazlollahi AM, Bakhaidar M, Alsayegh A, Yilmaz R, Winkler-Schwartz A, Mirchi N, Langleben I, Ledwos N, Sabbagh AJ, Bajunaid K, Harley JM, Del Maestro RF. Effect of Artificial Intelligence Tutoring vs Expert Instruction on Learning Simulated Surgical Skills Among Medical Students: A Randomized Clinical Trial. JAMA Netw Open. 2022 Feb 1;5(2):e2149008. doi: 10.1001/jamanetworkopen.2021.49008.
Datoer for undersøgelser
Studer store datoer
Studiestart (Faktiske)
Primær færdiggørelse (Faktiske)
Studieafslutning (Faktiske)
Datoer for studieregistrering
Først indsendt
Først indsendt, der opfyldte QC-kriterier
Først opslået (Faktiske)
Opdateringer af undersøgelsesjournaler
Sidste opdatering sendt (Faktiske)
Sidste opdatering indsendt, der opfyldte kvalitetskontrolkriterier
Sidst verificeret
Mere information
Begreber relateret til denne undersøgelse
Nøgleord
Andre undersøgelses-id-numre
- 2010-270, NEU-09-042
Plan for individuelle deltagerdata (IPD)
Planlægger du at dele individuelle deltagerdata (IPD)?
IPD-planbeskrivelse
IPD-delingstidsramme
IPD-delingsadgangskriterier
IPD-deling Understøttende informationstype
- STUDY_PROTOCOL
- SAP
- ICF
- ANALYTIC_CODE
- CSR
Lægemiddel- og udstyrsoplysninger, undersøgelsesdokumenter
Studerer et amerikansk FDA-reguleret lægemiddelprodukt
Studerer et amerikansk FDA-reguleret enhedsprodukt
Disse oplysninger blev hentet direkte fra webstedet clinicaltrials.gov uden ændringer. Hvis du har nogen anmodninger om at ændre, fjerne eller opdatere dine undersøgelsesoplysninger, bedes du kontakte register@clinicaltrials.gov. Så snart en ændring er implementeret på clinicaltrials.gov, vil denne også blive opdateret automatisk på vores hjemmeside .
Kliniske forsøg med Kirurgisk Uddannelse
-
Foundation University IslamabadAfsluttetGamification in Health EducationPakistan
-
Namik Kemal UniversityTilmelding efter invitationUddannelse | Sygeplejestuderende | Flipped Education ModelTyrkiet (Türkiye)
-
Istanbul University - CerrahpasaAfsluttetEvidensbaseret praksis | Flipped Education ModelKalkun
-
Antalya Bilim UniversityAktiv, ikke rekrutterendeAkademisk præstation | Uddannelsesforstærkning | Jordemoderuddannelse | Studerendes motivation | Gamification in Health EducationKalkun
-
The Hospital for Sick ChildrenAfsluttetEvaluering af HomeCare RN Respiratory EducationCanada
-
Istanbul University - CerrahpasaAktiv, ikke rekrutterendeMetakognition | Flipped Education Model | Web Baseret Uddannelse | Selvstyret læringKalkun
-
Eastern Mediterranean UniversityAfsluttetSygeplejestuderende | Flipped Education ModelCypern
-
National Taiwan University HospitalAfsluttetEffektiviteten af Application Education InterventionTaiwan
-
Akdeniz UniversityAfsluttetSygeplejerskers opfattelse af intentionalitet | Intentionalitetens Facilitatorer | hindringerne for intentionalitet | Effektiviteten af Mindful Caring Education ProgramKalkun
-
Suleyman Demirel UniversityAfsluttetGamification | Sygeplejestuderende | Akademisk præstation | Spilbaseret læring | Gamification in Health Education | Spilbaseret læring | Gimkit | Respiratoriske System Færdigheder | PræstationsmotivationTyrkiet (Türkiye)
Kliniske forsøg med Virtuel operativ assistent uddannelse
-
University of California, Los AngelesAfsluttetDepression | Positiv påvirkningForenede Stater
-
University of California, Los AngelesRekruttering
-
McGill UniversityJewish Rehabilitation HospitalRekruttering
-
VA Office of Research and DevelopmentRekruttering
-
Riphah International UniversityAfsluttet
-
Ohio State UniversityVirginia Commonwealth University; The University of Kansas Medical CenterRekrutteringLæringForenede Stater
-
University Hospital, Basel, SwitzerlandUniversity Psychiatric Clinics BaselRekrutteringRetspsykiatrienSchweiz
-
I-Shou UniversityAfsluttetLivskvalitet | Kognitiv svækkelse | Virtual realityTaiwan
-
McGill UniversityLaval University; Jewish Rehabilitation Hospital; Integrated University Health...Rekruttering