Effektiviteten av verbal intelligent veilederinstruksjon i nevrokirurgisk simulering

Bakgrunn: Ekspert kirurgisk teknisk ferdighet er knyttet til forbedrede pasientresultater; Det er imidlertid fortsatt utfordrende å trene nybegynnere for å mestre disse ferdighetene. Intelligent Continuous Expertise Monitoring System (ICEMS) er en dyp læringsapplikasjon som ble utviklet ved Neurosurgical Simulation and Artificial Intelligence Learning Center for å forbedre nevrokirurgisk utdanning. ICEMS vurderer og trener bimanuell kirurgisk ytelse ved å gi kontinuerlig tilbakemelding via verbale instruksjoner for å forbedre elevens ytelse og redusere feil.

Begrunnelse: En tidligere randomisert kontrollert studie (RCT) utført ved vårt senter viste at intelligent veiledning er mer effektiv enn ekspertveiledning i en simulert nevrokirurgisk prosedyre (NCT05168150). En annen RCT avslørte at medisinstudenters ytelse som svar på ICEMS-instruksjoner om å redusere bipolar kraftpåføring var variabel (NCT04700384). En agglomerativ klyngealgoritme klassifiserte disse variable elevsvarene i 3 grupper: 53 % overholdt instruksjonene for å rette feilen, 36 % fulgte ikke instruksjonen, og 11 % svarte for mye på instruksjonen. Denne responsvariasjonen kan begrense nytten av ICEMS betydelig og kan tilskrives ulike læringsstiler, stressnivåer eller feiltolkning av AI-instruksjoner. Under denne studien fikk ikke eksperttrenere ICEMS-feildata. Gjennomføring av en ny RCT der eksperttrenere får ICEMS-feildata vil avklare årsaken til at mange traineer ikke svarte på AI-instruksjonen.

Denne rapporten følger Consolidated Standards of Reporting Trials-Artificial Intelligence (CONSORT-AI) samt sjekklisten Machine Learning to Assess Surgical Expertise (MLASE).

Hypoteser:

1. Verbal AI-tilbakemelding vil gi betydelig lavere suksessresponsrater blant traineer enn identiske feiltilbakemeldinger gitt av menneskelige instruktører.
2. Resultatvurderinger for trainee vil være betydelig høyere i de to ulike menneskelige instruksjonsgruppene som vurderes.
3. Instruksjon levert av AI-veilederen vil resultere i økt stressnivå og kognitiv belastning sammenlignet med verbal feiltilbakemelding levert av menneskelige instruktører.

Primære mål: Å bestemme hvordan metoden for levering av kirurgiske feilinstruksjoner påvirker:

1. Traineens svar på instruksjonen, dvs. om de korrigerte, ikke korrigerte eller overkorrigerte feilen (data samlet inn av ICEMS).
2. Traineens generelle kirurgiske ytelse (gjennomsnittlig ekspertisescore på praksisscenarier beregnet av ICEMS, Objective Structured Assessment of Technical Skills (OSATS) poengsum på realistisk scenario bestemt av to blindede ekspertbedømmere).

Sekundært mål: Å bestemme hvordan metoden for levering av kirurgisk feilinstruksjon påvirker elevens affektive kognitive responser (selvrapportert via spørreskjemaer på 5-punkts Likert-skalaer).

Innstilling: McGill Universitys læringssenter for nevrokirurgisk simulering og kunstig intelligens.

Deltakere: Studenter meldte seg på sitt forberedende, første eller andre år ved en av fire medisinskoler i Quebec.

Design: En tre-arms randomisert kontrollert studie.

Intervensjon: Deltakerne vil gjennomgå en treningsøkt på omtrent 90 minutter på NeuroVR (CAE Healthcare), en virtuell virkelighet (VR) kirurgisk simulator som simulerer en subpial hjernesvulstreseksjon. NeuroVR har to mulige scenarier: et enkelt praksisscenario og et komplekst realistisk scenario. Deltakerne vil utføre seks repetisjoner av praksisscenariet (5 minutter hver) etterfulgt av det realistiske scenariet (13 minutter). ICEMS vil kontinuerlig vurdere ytelsen gjennom hele forsøket. Alle deltakere vil motta muntlig tilbakemelding når ICEMS oppdager en feil i ytelsen deres; Metoden for levering av denne verbale tilbakemeldingen vil imidlertid variere mellom grupper.

• Gruppe 1 (kontroll) vil motta verbal tilbakemelding direkte fra ICEMS når en feil oppdages.
• Gruppe 2 (eksperimentell) vil motta muntlig tilbakemelding fra en ekspertinstruktør levert med samme ord som ICEMS.
• Gruppe 3 (eksperimentell) vil motta muntlig tilbakemelding fra en ekspert instruktør levert med egne ord.

Verbal tilbakemelding vil være basert på fire beregninger som følger: (1) instrumentspiss-separasjonsavstand, dvs. avstanden mellom spissene til den bipolare tangen og ultralydsugeren; (2) lav bipolar kraft; (3) høy aspiratorkraft; (4) høy bipolar kraft. Traineer vil bli vurdert på én beregning om gangen og vil ha muligheten til å se en demonstrasjonsvideo på ekspertnivå før de går videre til hver nye beregning. Når en beregning er mestret, vil eleven gå videre til følgende metrikk. En metrikk anses å være "mestret" når eleven går gjennom en hel repetisjon uten å motta tilbakemelding.

Det første praksisscenarioet vil fungere som en baseline; det vil derfor ikke bli gitt tilbakemelding. I den andre, tredje, fjerde og femte repetisjonen vil tilbakemelding bli gitt i henhold til ICEMS feildeteksjon. I den sjette repetisjonen så vel som i det realistiske scenariet vil ingen tilbakemelding bli gitt.

Betydning: Når kirurgiske utdanningstilnærminger begynner å skifte mot kompetansebaserte rammer, blir implementeringen av effektiv AI-pedagogisk tilbakemelding i kirurgisk opplæring avgjørende for å optimalisere kirurgisk læring. Resultatene av denne RCT vil tillate evaluering og omstrukturering av ICEMS og andre AI-veiledningssystemer, noe som kan fremme utviklingen av ikke bare standardiserte kompetansebaserte opplæringsplaner for kirurgisk utdanning, men enhver AI-veilederteknologi avhengig av verbal instruksjon.