Effektiviteten af ​​verbal intelligent vejlederinstruktion i neurokirurgisk simulering

Baggrund: Ekspert kirurgisk teknisk færdighed er forbundet med forbedrede patientresultater; Det er dog stadig en udfordring at træne nybegyndere til at mestre disse færdigheder. Intelligent Continuous Expertise Monitoring System (ICEMS) er en deep learning-applikation, der blev udviklet på Neurokirurgisk Simulation og Artificial Intelligence Learning Center for at forbedre neurokirurgisk uddannelse. ICEMS vurderer og træner bimanuel kirurgisk ydeevne ved at give kontinuerlig feedback via mundtlige instruktioner for at forbedre praktikantens ydeevne og afbøde fejl.

Begrundelse: Et tidligere randomiseret kontrolleret forsøg (RCT) udført på vores center viste, at intelligent vejledning er mere effektiv end ekspertvejledning i en simuleret neurokirurgisk procedure (NCT05168150). En anden RCT afslørede, at medicinstuderendes præstation som svar på ICEMS-instruktion om at reducere bipolær kraftpåføring var variabel (NCT04700384). En agglomerativ klyngealgoritme klassificerede disse variable elevsvar i 3 grupper: 53 % adlød med succes instruktionen for at rette fejlen, 36 % adlød ikke instruktionen, og 11 % oversvarede instruktionen. Denne responsvariabilitet kan i væsentlig grad begrænse anvendeligheden af ​​ICEMS og kan tilskrives forskellige læringsstile, stressniveauer eller fejlfortolkning af AI-instruktion. Under denne undersøgelse fik eksperttrænere ikke ICEMS-fejldata. Gennemførelse af en ny RCT, hvor eksperttrænere forsynes med ICEMS-fejldata, vil afklare årsagen til, at mange praktikanter ikke reagerede på AI-instruktionen.

Denne rapport følger Consolidated Standards of Reporting Trials-Artificial Intelligence (CONSORT-AI) samt tjeklisten Machine Learning to Assess Surgical Expertise (MLASE).

Hypoteser:

1. Verbal AI-feedback vil give betydeligt lavere succes-responsrater blandt praktikanter end identisk fejlfeedback leveret af menneskelige instruktører.
2. Elevernes præstationsvurderingsscore vil være væsentligt højere i de to forskellige vurderede menneskelige instruktionsgrupper.
3. Instruktion leveret af AI-vejlederen vil resultere i øgede stressniveauer og kognitiv belastning sammenlignet med verbal fejlfeedback leveret af menneskelige instruktører.

Primære mål: At bestemme, hvordan metoden til levering af kirurgiske fejlinstruktioner påvirker:

1. Elevens svar på instruktion, dvs. om de rettede, ikke rettede eller overkorrigerede fejlen (data indsamlet af ICEMS).
2. Elevens samlede kirurgiske præstation (gennemsnitlig ekspertisescore på praksisscenarier beregnet af ICEMS, objektiv struktureret vurdering af tekniske færdigheder (OSATS) score på realistisk scenarie bestemt af to blindede ekspertbedømmere).

Sekundært mål: At bestemme, hvordan metoden til levering af kirurgiske fejlinstruktioner påvirker elevens affektive kognitive responser (selvrapporteret via spørgeskemaer på 5-punkts Likert-skalaer).

Indstilling: McGill Universitys læringscenter for neurokirurgisk simulering og kunstig intelligens.

Deltagere: Studerende tilmeldte sig deres forberedende, første eller andet år på en af ​​fire Quebec medicinske skoler.

Design: Et tre-armet randomiseret kontrolleret forsøg.

Intervention: Deltagerne vil gennemgå en træningssession på cirka 90 minutter på NeuroVR (CAE Healthcare), en virtual reality (VR) kirurgisk simulator, der simulerer en subpial hjernetumorresektion. NeuroVR har to mulige scenarier: et simpelt praksisscenarie og et komplekst realistisk scenarie. Deltagerne udfører seks gentagelser af øvelsesscenariet (5 minutter hver) efterfulgt af det realistiske scenarie (13 minutter). ICEMS vil løbende vurdere præstation under hele forsøget. Alle deltagere vil modtage mundtlig feedback, når ICEMS opdager en fejl i deres præstation; metoden til levering af denne verbale feedback vil dog variere mellem grupperne.

• Gruppe 1 (kontrol) vil modtage verbal feedback direkte fra ICEMS, når der opdages en fejl.
• Gruppe 2 (eksperimentel) vil modtage mundtlig feedback fra en ekspertinstruktør leveret med de samme ord som ICEMS.
• Gruppe 3 (eksperimentel) vil modtage mundtlig feedback fra en ekspert instruktør leveret med deres egne ord.

Verbal feedback vil være baseret på fire målinger som følger: (1) instrumentspidsseparationsafstand, dvs. afstanden mellem spidserne af den bipolære pincet og ultralydsaspiratoren; (2) lav bipolær kraft; (3) høj aspiratorkraft; (4) høj bipolær kraft. Praktikanter vil blive vurderet på én metrik ad gangen og vil have mulighed for at se en demonstrationsvideo på ekspertniveau, før de går videre til hver ny metrik. Når en metrik er mestret, vil praktikanten gå videre til følgende metrik. En metrik anses for at være "mestreret", når eleven gennemgår en hel gentagelse uden at modtage feedback.

Det første praksisscenarie vil fungere som en baseline; der vil således ikke blive givet feedback. I den anden, tredje, fjerde og femte gentagelse vil der blive givet feedback i henhold til ICEMS fejldetektion. I den sjette gentagelse såvel som i det realistiske scenarie vil der ikke blive givet feedback.

Betydning: Med kirurgiske uddannelsestilgange, der begynder at skifte mod kompetencebaserede rammer, bliver implementeringen af ​​effektiv AI-undervisningsfeedback i kirurgisk træning afgørende for at optimere kirurgisk læring. Resultaterne af denne RCT vil give mulighed for evaluering og omstrukturering af ICEMS og andre AI-vejledningssystemer, som kan fremme udviklingen af ​​ikke kun standardiserede kompetencebaserede kirurgiske uddannelsesuddannelsespensum, men enhver AI-tutorteknologi, der er afhængig af verbal instruktion.