Efficiëntie van verbale intelligente docenteninstructie in neurochirurgische simulatie

Achtergrond: Deskundige chirurgische technische vaardigheden zijn gekoppeld aan verbeterde patiëntresultaten; Het opleiden van nieuwelingen om deze vaardigheden onder de knie te krijgen blijft echter een uitdaging. Het Intelligent Continuous Expertise Monitoring System (ICEMS) is een deep learning-applicatie die is ontwikkeld door het Neurosurgical Simulation and Artificial Intelligence Learning Center om het neurochirurgische onderwijs te verbeteren. Het ICEMS beoordeelt en traint de bimanuele chirurgische prestaties door continue feedback te geven via mondelinge instructies om de prestaties van de stagiair te verbeteren en fouten te verminderen.

Achtergrond: Een eerdere gerandomiseerde gecontroleerde studie (RCT), uitgevoerd in ons centrum, heeft aangetoond dat intelligente begeleiding effectiever is dan deskundige begeleiding in een gesimuleerde neurochirurgische procedure (NCT05168150). Uit een andere RCT bleek dat de prestaties van medische studenten als reactie op de ICEMS-instructie om de toepassing van bipolaire kracht te verminderen variabel waren (NCT04700384). Een agglomeratief clusteralgoritme classificeerde deze variabele antwoorden van leerlingen in 3 groepen: 53% volgde met succes de instructie op om de fout te corrigeren, 36% gehoorzaamde de instructie niet en 11% reageerde te veel op de instructie. Deze responsvariabiliteit zou het nut van het ICEMS aanzienlijk kunnen beperken en kan worden toegeschreven aan verschillende leerstijlen, stressniveaus of een verkeerde interpretatie van AI-instructie. Tijdens dit onderzoek kregen deskundige trainers geen ICEMS-foutgegevens. Het uitvoeren van een nieuwe RCT waarin deskundige trainers worden voorzien van ICEMS-foutgegevens zal duidelijk maken waarom veel cursisten niet reageerden op de AI-instructie.

Dit rapport volgt de Consolidated Standards of Reporting Trials-Artificial Intelligence (CONSORT-AI) en de checklist Machine Learning to Assess Surgical Expertise (MLASE).

Hypotheses:

1. Verbale AI-feedback zal aanzienlijk lagere succesresponspercentages opleveren onder cursisten dan identieke foutfeedback van menselijke instructeurs.
2. De prestatiebeoordelingsscores van stagiairs zullen aanzienlijk hoger zijn in de twee verschillende beoordeelde menselijke instructiegroepen.
3. Instructie gegeven door de AI-tutor zal resulteren in verhoogde stressniveaus en cognitieve belasting in vergelijking met verbale foutfeedback geleverd door menselijke instructeurs.

Primaire doelstellingen: Bepalen hoe de wijze waarop instructies voor chirurgische fouten worden gegeven, invloed heeft op:

1. Reactie van de leerling op de instructie, d.w.z. of hij/zij de fout heeft gecorrigeerd, niet of te veel gecorrigeerd (gegevens verzameld door het ICEMS).
2. Algemene chirurgische prestaties van de stagiair (gemiddelde expertisescore op praktijkscenario's berekend door de ICEMS, Objective Structured Assessment of Technical Skills (OSATS)-score op realistisch scenario bepaald door twee geblindeerde deskundige beoordelaars).

Secundair doel: Bepalen hoe de methode van het geven van instructie over chirurgische fouten de affectieve cognitieve reacties van de leerling beïnvloedt (zelf gerapporteerd via vragenlijsten op 5-punts Likert-schalen).

Omgeving: Leercentrum voor neurochirurgische simulatie en kunstmatige intelligentie van McGill University.

Deelnemers: studenten die deelnamen aan hun voorbereidende, eerste of tweede jaar aan een van de vier medische scholen in Quebec.

Opzet: Een gerandomiseerde, gecontroleerde studie met drie armen.

Interventie: Deelnemers ondergaan een trainingssessie van ongeveer 90 minuten op de NeuroVR (CAE Healthcare), een virtual reality (VR) chirurgische simulator die een subpiale hersentumorresectie simuleert. De NeuroVR heeft twee mogelijke scenario's: een eenvoudig oefenscenario en een complex realistisch scenario. Deelnemers voeren zes herhalingen van het oefenscenario uit (elk 5 minuten), gevolgd door het realistische scenario (13 minuten). Het ICEMS zal de prestaties tijdens de proef voortdurend beoordelen. Alle deelnemers krijgen mondelinge feedback wanneer het ICEMS een fout in hun prestatie constateert; de wijze waarop deze verbale feedback wordt gegeven, zal echter per groep verschillen.

• Groep 1 (controle) krijgt rechtstreeks mondelinge feedback van het ICEMS wanneer er een fout wordt gedetecteerd.
• Groep 2 (experimenteel) krijgt mondelinge feedback van een deskundige instructeur, in dezelfde bewoordingen als de ICEMS.
• Groep 3 (experimenteel) krijgt mondelinge feedback van een deskundige instructeur, in eigen woorden.

Verbale feedback zal als volgt gebaseerd zijn op vier meetgegevens: (1) de afstand tussen de punt van het instrument, dat wil zeggen de afstand tussen de punten van de bipolaire forceps en de ultrasone aspirator; (2) lage bipolaire kracht; (3) hoge zuigkracht; (4) hoge bipolaire kracht. Stagiairs worden op één statistiek tegelijk beoordeeld en hebben de mogelijkheid om een ​​demonstratievideo op expertniveau te bekijken voordat ze verder gaan met elke nieuwe statistiek. Zodra een metriek onder de knie is, gaat de cursist verder met de volgende metriek. Een metriek wordt als ‘beheersend’ beschouwd wanneer de cursist een volledige herhaling doorloopt zonder feedback te ontvangen.

Het eerste praktijkscenario zal als basis dienen; Er wordt dus geen feedback gegeven. Bij de tweede, derde, vierde en vijfde herhaling wordt feedback gegeven op basis van ICEMS-foutdetectie. Zowel bij de zesde herhaling als bij het realistische scenario wordt geen feedback gegeven.

Betekenis: Nu de chirurgische onderwijsbenaderingen beginnen te verschuiven naar op competentie gebaseerde raamwerken, wordt de implementatie van effectieve AI-educatieve feedback in chirurgische training cruciaal voor het optimaliseren van chirurgisch leren. De resultaten van deze RCT zullen de evaluatie en herinrichting van de ICEMS en andere AI-begeleidingssystemen mogelijk maken, wat de ontwikkeling kan bevorderen van niet alleen gestandaardiseerde, op competentie gebaseerde chirurgische opleidingscurricula, maar ook van elke AI-tutortechnologie die afhankelijk is van verbale instructie.