Effektiviteten av Verbal Intelligent Tutor Instruktion i neurokirurgisk simulering

Bakgrund: Expert kirurgisk teknisk skicklighet är kopplad till förbättrade patientresultat; Det är dock fortfarande en utmaning att utbilda nybörjare för att bemästra dessa färdigheter. Intelligent Continuous Expertise Monitoring System (ICEMS) är en applikation för djupinlärning som utvecklades vid Neurosurgical Simulation and Artificiell Intelligence Learning Center för att förbättra neurokirurgisk utbildning. ICEMS utvärderar och tränar bimanuell kirurgisk prestation genom att ge kontinuerlig feedback via verbala instruktioner för att förbättra praktikantens prestanda och mildra fel.

Motivering: En tidigare randomiserad kontrollerad studie (RCT) utförd vid vårt center visade att intelligent handledning är effektivare än experthandledning i ett simulerat neurokirurgiskt ingrepp (NCT05168150). En annan RCT avslöjade att läkarstudenters prestation som svar på ICEMS-instruktioner för att minska bipolär krafttillämpning var variabel (NCT04700384). En agglomerativ klustringsalgoritm klassificerade dessa variabla elevsvar i 3 grupper: 53 % lydde framgångsrikt instruktionen för att korrigera felet, 36 % följde inte instruktionen och 11 % översvarade instruktionen. Denna responsvariabilitet kan avsevärt begränsa användbarheten av ICEMS och kan tillskrivas olika inlärningsstilar, stressnivåer eller feltolkningar av AI-instruktioner. Under denna studie försågs expertutbildare inte med ICEMS-feldata. Genom att genomföra en ny RCT där expertutbildare förses med ICEMS-feldata kommer att klargöra anledningen till att många praktikanter inte svarade på AI-instruktionen.

Denna rapport följer Consolidated Standards of Reporting Trials-Artificial Intelligence (CONSORT-AI) samt checklistan Machine Learning to Assess Surgical Expertise (MLASE).

Hypoteser:

1. Verbal AI-feedback kommer att ge betydligt lägre framgångssvar bland praktikanter än identisk felfeedback från mänskliga instruktörer.
2. Resultatbedömningar för praktikanter kommer att vara betydligt högre i de två olika mänskliga instruktionsgrupperna som bedöms.
3. Instruktioner som levereras av AI-handledaren kommer att resultera i ökade stressnivåer och kognitiv belastning jämfört med verbal felfeedback från mänskliga instruktörer.

Primära mål: Att bestämma hur metoden för leverans av kirurgiska felinstruktioner påverkar:

1. Elevens svar på instruktionen, det vill säga om de korrigerade, inte korrigerade eller överkorrigerade felet (data som samlats in av ICEMS).
2. Praktikantens övergripande kirurgiska prestation (genomsnittligt expertpoäng på praktikscenarier beräknat av ICEMS, objektiv strukturerad bedömning av tekniska färdigheter (OSATS) poäng på realistiskt scenario fastställt av två blindade expertbedömare).

Sekundärt mål: Att bestämma hur metoden för leverans av kirurgiska felinstruktioner påverkar praktikantens affektiva kognitiva svar (självrapporterad via frågeformulär på 5-punkts Likert-skalor).

Inställning: McGill Universitys utbildningscenter för neurokirurgisk simulering och artificiell intelligens.

Deltagare: Studenter skrevs in i sitt förberedande, första eller andra år vid en av fyra medicinska skolor i Quebec.

Design: En trearmad randomiserad kontrollerad studie.

Intervention: Deltagarna kommer att genomgå ett träningspass på cirka 90 minuter på NeuroVR (CAE Healthcare), en virtuell verklighet (VR) kirurgisk simulator som simulerar en subpial hjärntumörresektion. NeuroVR har två möjliga scenarier: ett enkelt övningsscenario och ett komplext realistiskt scenario. Deltagarna kommer att utföra sex repetitioner av övningsscenariot (5 minuter vardera) följt av det realistiska scenariot (13 minuter). ICEMS kommer kontinuerligt att utvärdera prestandan under hela försöket. Alla deltagare kommer att få verbal feedback när ICEMS upptäcker ett fel i deras prestation; Metoden för leverans av denna verbala feedback kommer dock att skilja sig åt mellan grupperna.

• Grupp 1 (kontroll) kommer att få verbal feedback direkt från ICEMS när ett fel upptäcks.
• Grupp 2 (experimentell) kommer att få verbal feedback från en expertinstruktör som levereras i samma ord som ICEMS.
• Grupp 3 (experimentell) kommer att få verbal feedback från en expertinstruktör som levereras med deras egna ord.

Verbal återkoppling kommer att baseras på fyra mått enligt följande: (1) instrumentspetsseparationsavstånd, d.v.s. avståndet mellan spetsarna på den bipolära pincetten och ultraljudssugaren; (2) låg bipolär kraft; (3) hög aspiratorkraft; (4) hög bipolär kraft. Praktikanter kommer att bedömas på ett mätvärde i taget och kommer att ha möjlighet att titta på en demonstrationsvideo på expertnivå innan de går vidare till varje nytt mätvärde. När ett mått har bemästrats kommer praktikanten att gå vidare till följande mått. Ett mått anses vara "bemästrat" ​​när praktikanten går igenom en hel repetition utan att få feedback.

Det första övningsscenariot kommer att fungera som en baslinje; därför kommer ingen feedback att ges. I den andra, tredje, fjärde och femte repetitionen kommer återkoppling att ges enligt ICEMS feldetektering. I den sjätte repetitionen och det realistiska scenariot kommer ingen feedback att ges.

Betydelse: Med kirurgiska utbildningsmetoder som börjar skifta mot kompetensbaserade ramar, blir implementeringen av effektiv AI-pedagogisk feedback i kirurgisk träning avgörande för att optimera kirurgisk inlärning. Resultaten av denna RCT kommer att möjliggöra utvärdering och omarbetning av ICEMS och andra AI-handledningssystem, vilket kan främja utvecklingen av inte bara standardiserade kompetensbaserade kursplaner för kirurgisk utbildning, utan all AI-tutorteknik som är beroende av verbal undervisning.