Afprøvning af effektiviteten af ​​et kunstig intelligens-realtidscoachingsystemSystemsimuleringstræning af medicinstuderende

Baggrund Fremskridt inden for kirurgisk simulering og kunstig intelligens har resulteret i udviklingen af ​​intelligente tekniske færdighedsvurderinger og vejledningssystemer for at imødekomme behovene for den kompetencebaserede tilgang i medicinsk uddannelse. Disse nye uddannelsesværktøjer tilbyder løsninger til standardisering og objektivitet af elevens tekniske kompetencevurdering og træning i risikofrie simulerede operative miljøer. Disse systemer kan supplere den gyldne lærlingemodel i træning i kirurgi og anden procedurebaseret medicin ved at give detaljerede oplysninger om tekniske færdigheder, handlingsorienteret procedurevejledning og risikovurdering. Sådanne applikationer kan hjælpe undervisere med at udvikle objektiv formativ og summativ elevvurdering og undervisningsmetoder.

Baggrund The Intelligent Continuous Monitoring System (ICEMS), en kunstig intelligens (AI) dyb læringsapplikation blev udviklet til at vurdere kirurgisk ydeevne kontinuerligt i 0,2 sekunders intervaller med evnen til at coache praktikanter til ekspertniveau og risikodetektering. Dette system involveret i et patentanmeldt med titlen 'Metoder og systemer til kontinuerlig overvågning af opgaveudførelse på virtuelle simulatorer' (2020; patent nr. 05001770-883USPR). Tidligere blev der givet en forudsigelig validitet for vurderingsmodulet, men effektiviteten af ​​dette system i real-time coaching praktikanter og risikodetektion skal undersøges.

Forskningsmål At sammenligne effektiviteten af ​​et intelligent real-time coachingsystem med den guldstandard ekspertmedierede feedback. At teste overførslen af ​​læring under øvelsesopgaverne til det mere komplekse realistiske scenarie.

Hypoteser

1. ICEMS feedback-gruppen vil forbedre den sammensatte score betydeligt mellem det første forsøg til det sidste forsøg i praksisscenariet.
2. Kontrolgruppen med ingen ekspertmedieret post hoc benchmark-feedback vil ikke statistisk forbedres i den sammensatte score mellem første forsøg til sidste forsøg i praksisscenariet.
3. ICEMS feedbackgruppen vil have en statistisk højere sammensat score sammenlignet med kontrolgruppen, i det femte forsøg i praksisscenariet.
4. ICEMS feedback-gruppen vil have en sammensat score statistisk ikke-mindre sammenlignet med den ekspertmedierede instruktionsgruppe i det femte forsøg på praksisscenariet.
5. Den globale OSATS-score for ICEMS-feedbackgruppen vil være ikke ringere end den for den ekspertmedierede instruktionsgruppe i det komplekse realistiske scenarie.
6. At ICEMS feedback ikke vil vælge en forskel i følelser eller kognitiv belastning sammenlignet med den ekspertmedierede instruktionsgruppe.

Specifikke mål: 1) At vurdere, om effektiviteten af ​​AI-medieret real-time skræddersyet feedback er statistisk ikke ringere end ekspertmedieret personlig feedback til at forbedre medicinstuderendes bimanuelle kirurgiske færdigheder på to virtuelt simulerede operationsopgaver.

2) At skitsere, om forskellige følelser og kognitiv belastning fremkaldes af ICEMS feedback-systemet sammenlignet med menneskelig instruktion

Design: Et tre-armet enkelt blindet randomiseret kontrolleret forsøg med AI-træning versus ekspertmedieret træning versus ingen-ekspertmedieret træning.

Indstilling: Neurokirurgisk simulering og læringscenter for kunstig intelligens, Montreal Neurological Institute.

Deltagere: Studerende, der er indskrevet i deres forudgående år eller første til fjerde år på medicinske skoler i hele Quebec-provinsen.

Opgave: Fuldstændig fjernelse af en simuleret praksistumor fem gange og en kompleks simuleret hjernetumor én gang med minimal blødning og skade på omgivende simulerede sunde hjernestrukturer ved hjælp af to kirurgiske instrumenter (Ultrasonic Aspirator og Bipolar tang) ved hjælp af NeuroVR (CAE Healthcare) kirurgisk simulator.

Intervention: En enkelt 90-minutters træningssession, inklusive seks virtuelle subpiale tumorresektionsforsøg (fem simple praksisscenarier og et komplekst realistisk scenarie) med vurdering og feedback fra enten:

1. Intelligent Continuous Expertise Monitoring System (ICEMS) (Gruppe 1)
2. en personlig ekspertinstruktionsfeedback (gruppe 2)
3. ingen ekspert medieret post hoc benchmark feedback (gruppe 3)

Vigtigste resultater og foranstaltninger:

Det primære resultat er forbedring af kirurgisk ydeevne i den sammensatte score vurderet af Intelligent Continuous Expertise Monitoring Systems (ICEMS) tidligere validerede vurderingsmodul. Præstationsforbedring måles som den sammensatte score forskel mellem deltagerens forsøg under de fem øvelsesforsøg. Læringsoverførsel vil blive vurderet ved den sammensatte score opnået i det komplekse realistiske scenarie.

Sekundært resultat er deltagernes præstationsscore på den realistiske opgave, som vil blive scoret af blindede eksperter ved hjælp af den globale vurderingsskala for objektiv struktureret vurdering af tekniske færdigheder (OSATS). Forskelle i styrke af fremkaldte følelser vil blive målt ved Duffy's Medical Emotional Scale (MES), før og efter interventionen og forskellen i kognitiv belastning vil blive målt ved hjælp af Leppink's Cognitive Load Index (CLI) efter interventionen

Denne undersøgelse er, så vidt efterforskerne ved, den første applikation, der sammenligner effektiviteten af ​​et intelligent feedbacksystem i realtid med den menneskelige instruktion i guldstandarden. Denne undersøgelse har til formål at identificere effektive træningsmetoder ved hjælp af kunstig intelligens drevne kirurgiske simulator træningsplatforme, og derfor tilbydes praktikanter objektiv, skræddersyet teknisk færdighedsvurdering og coaching ved hjælp af avanceret teknologi.

Statistisk analyseplan Deltagerdata vil blive anonymiseret og gemt. Intelligent Continuous Expertise Monitoring System (ICEMS) vil blive brugt til at score kirurgisk præstation ved hjælp af rå præstationsdata og give en præstationsscore med 0,2 sekunders intervaller. En gennemsnitlig sammensat score vil blive beregnet for hver opgave. Inden for og mellem grupper vil der blive foretaget sammenligninger for at vurdere læringen fra første forsøg (baseline præstation) til det femte forsøg og sammenligne forbedringer mellem grupper. Den sammensatte score på det realistiske scenarie vil blive beregnet af ICEMS for at vurdere overførsel af læring. Forbedring af deltagerscore vil blive undersøgt ved gentagne foranstaltninger ANOVA. I betragtning af en potentiel effektstørrelse på 25 %, en statistisk styrke på 0,95 og en signifikans på 0,05 skal denne undersøgelse rekruttere 29 deltagere i hver gruppe. Deltagernes præstationsscore i det femte øvelsesforsøg vil blive sammenlignet mellem grupper, der bruger ANOVA til at sammenligne læring. Den samme analyse vil blive lavet for det realistiske forsøg på at sammenligne læringsoverførsel mellem grupper.

Ydeevnen i det realistiske forsøg vil blive vurderet af blinde eksperter ved hjælp af OSATS globale vurderingsskala ved hjælp af deltagerpræstationsvideo. Den globale OSATS-score vil blive sammenlignet mellem grupper for at sammenligne effektivitet i læring ved hjælp af ANOVA.