Effekt af Intelligent Tutor-induceret pause på indlæring af simulerede kirurgiske færdigheder

Baggrund: Kirurgisk færdighedsvurdering skifter fra en kvantitativ, tidsbaseret tilgang til en kvalitativ evaluering af en elevs kompetence. Under kirurgiske procedurer overvåger instruktører løbende praktikantens præstation og anvender forskellige undervisningsmetoder, der fokuserer på at forbedre tilegnelsen af ​​kirurgiske færdigheder. En sådan metode inkluderer at sætte operationen på pause, enten for at skitsere de risici, der er forbundet med praktikantens præstation eller for personligt at demonstrere den eller de bedste praksis-teknikker. Pause i sådanne situationer har vist sig at give eleverne mulighed for at revurdere bedste praksis, afbryde negativt momentum og give mulighed for læring. Specifikt kan pauser efter en fejl forhindre introduktion af ny information, der kan påvirke ens evne til at reflektere over deres fejl og reducere stress, før du fortsætter.

Begrundelse: ICEMS, et AI-undervisningssystem, blev udviklet af vores gruppe ved hjælp af en langtidshukommelse dyb læringsalgoritme til at vurdere kirurgisk ydeevne og give vejledning. Dette blev derefter integreret med NeuroVR-simuleringsplatformen. Ved at bruge dette AI-system viste levering af verbal feedback om fejlidentifikation potentialet ved intelligent vejledning til at forbedre læring i to tidligere randomiserede kontrolforsøg (RCT'er). Disse RCT'er inkorporerede imidlertid ikke pausemetodologi efter fejlidentifikation. For yderligere at efterligne mentorskabet for en erfaren kirurg i et klinisk miljø er ICEMS-platformen blevet ændret til både at starte pause, når elevfejl er identificeret, og give en video, der demonstrerer ekspertpræstation.

Forskningsformål: At sammenligne effekten af ​​at inkorporere en pause efter intelligent tutorinstruktion med intelligent tutorinstruktion alene på medicinske og præmedicinske studerendes kirurgiske færdighedserhvervelse og overførsel af færdigheder.

Hypoteser:

1. Pausen med videogruppen vil forbedre den sammensatte score betydeligt mellem første og sjette gentagelse af øvelsesscenariet.
2. Pausen med videogruppen vil have en sammensat score statistisk højere end kontrolgruppen i den sjette gentagelse af øvelsesscenariet.
3. Pausen med videogruppen vil have en sammensat score, statistisk set ikke ringere end pausen uden videogruppen i den sjette gentagelse af øvelsesscenariet.
4. Pausen med videogruppe vil have en global OSATS-score statistisk højere end kontrolgruppen i det realistiske scenarie.
5. Pause med videogruppe vil have en global OSATS-score, der statistisk ikke er ringere end pausen uden videogruppe i det realistiske scenarie.
6. Pausen med videogruppen vil ikke udvælge en forskel i følelsesmæssig stress eller kognitiv belastning sammenlignet med kontrolgruppen.

Specifikke mål:

1. At vurdere, om effektiviteten af ​​AI-medieret skræddersyet feedback i realtid kombineret med pausemetodologi er statistisk overlegen i forhold til AI-medieret skræddersyet feedback i realtid alene til at forbedre medicinstuderendes kirurgiske færdigheder på to virtual reality-kirurgiske opgaver.
2. For at afgøre, om forskellige følelser og kognitiv belastning fremkaldes af pausemetoden sammenlignet med kun at høre den AI-medierede feedback.

Design: Et tre-arms enkelt blindet randomiseret kontrolleret forsøg med AI-feedback med pausemetode og en ekspertdemonstrationsvideo versus AI-feedback med kun pausemetode versus AI-feedback alene.

Indstilling: Neurokirurgisk simulering og læringscenter for kunstig intelligens.

Deltagere: Studerende, der er indskrevet på en medicinsk skole i Quebec i et forberedende år og første og andet år.

Opgave: Brug den kirurgiske NeuroVR-simulator fra CAE Healthcare til at fjerne en simuleret praksistumor seks gange og en kompleks simuleret realistisk hjernetumor én gang ved hjælp af en ultralydsaspirator og en bipolær tang, mens du minimerer blødning og bevarer de omgivende, simulerede sunde hjernestrukturer.

Intervention: En 90-minutters træningssession, hvor deltagerne vil have syv simulerede subpiale tumorresektionsforsøg (seks gentagelser af et simpelt praksisscenarie og et forsøg på et komplekst realistisk scenarie). Alle deltagere vil modtage auditiv feedback fra ICEMS, men vil adskille sig i det følgende:

1. Udfør kontinuerligt proceduren (dvs. ingen pause) (Gruppe 1);
2. En pause efterfulgt af en refleksionsperiode (Gruppe 2);
3. En pause efterfulgt af en demonstrationsvideo på ekspertniveau og en refleksionsperiode (Gruppe 3).

Auditiv feedback vil være baseret på 4 metrics:

1. Instrumentspids-adskillelsesafstand;
2. Lav bipolær kraft;
3. Høj aspiratorkraft;
4. Høj bipolær kraft. Til at begynde med vil feedback kun blive givet baseret på den første metrik (instrumentspidsadskillelse), men når en gentagelse er gennemført uden at modtage feedback, vil den efterfølgende gentagelse vurdere den næste metrik i listen ovenfor, og så videre og så videre.

Vigtigste resultater og foranstaltninger:

De to co-primære resultater er:

1. Forbedringen i kirurgisk ydeevne, som dikteret af den sammensatte score beregnet af det tidligere validerede evalueringsmodul af ICEMS. Præstationsforbedring måles ved forskellen i sammensat score mellem hver af de 6 gentagelser af praksisscenariet. Overførsel af læring vil blive målt ved deltagerens sammensatte score for det komplekse realistiske scenarie.
2. Deltagernes præstationsscore i det komplekse realistiske scenarie, vurderet af to blindede eksperter ved hjælp af den globale vurderingsskala for objektiv struktureret vurdering af tekniske færdigheder (OSATS).

Det sekundære resultat er forskellene i styrken af ​​de fremkaldte følelser, målt før praksisscenariet, umiddelbart før det realistiske scenarie og efter fuldførelse af alle forsøg med Duffy's Medical Emotional Scale (MES). Kognitiv belastning vil også blive målt efter fuldførelse af alle opgaver ved hjælp af Leppinks Cognitive Load Index (CLI). Begge resultater måles ved hjælp af selvrapportering.

Statistisk analyseplan: Deltagerdata vil blive anonymiseret og gemt. ICEMS vil vurdere deltagerens kirurgiske præstation og give en præstationsscore med 0,2 sekunders intervaller gennem hver gentagelse af den simulerede kirurgiske opgave. En gennemsnitlig sammensat score vil derefter blive beregnet for hver gentagelse. Ved hjælp af ANCOVA vil forbedring i præstation og deltagerlæring blive vurderet ved at sammenligne den sammensatte score for det første praksisscenarie-gentagelse (baseline) og den sammensatte score for den sjette gentagelse (summativ). I mellemtiden vil den sammensatte score af det komplekse realistiske scenarie blive brugt til at vurdere overførslen af ​​læring ved hjælp af en envejs ANOVA. Med en effektstørrelse på 0,25 og en signifikans på 0,05 giver en samlet prøvestørrelse på 129 80 % kraft til at detektere en signifikant interaktion.

Videoer af deltagernes præstationer i det komplekse realistiske scenarie vil blive evalueret af to blindede ekspertbedømmere ved hjælp af OSATS globale vurderingsskala. OSATS-scoren vil blive analyseret mellem grupper ved hjælp af en envejs ANOVA for at sammenligne effektiviteten af ​​læring og fastholdelse af færdigheder.

Følelsesmæssige ændringer før, under og efter læring i de simulerede scenarier vil blive evalueret ved hjælp af en tovejs blandet ANOVA, mens envejs ANOVA vil blive brugt til at vurdere kognitiv belastning efter læring.