Tekoälyn tehokkuuden testaaminen reaaliaikaisen valmennusjärjestelmän simulaatiojärjestelmä Lääketieteen opiskelijoiden koulutus

Tausta Edistys kirurgisen simulaation ja tekoälyn aloilla on johtanut älykkäiden teknisten taitojen arviointi- ja tutorointijärjestelmien kehittämiseen vastaamaan lääketieteellisen koulutuksen osaamisperusteisen lähestymistavan tarpeita. Nämä uudet koulutustyökalut tarjoavat ratkaisuja oppijan teknisen osaamisen arvioinnin ja koulutuksen standardointiin ja objektiivisuuteen riskittömissä simuloiduissa toimintaympäristöissä. Nämä järjestelmät voivat täydentää kultaisen standardin oppisopimusmallia kirurgian ja muun toimenpiteisiin perustuvan lääketieteen koulutuksessa tarjoamalla yksityiskohtaista tietoa teknisistä taidoista, toimintalähtöistä toimenpideohjetta ja riskinarviointia. Tällaiset sovellukset voivat auttaa opettajia kehittämään objektiivisia muotoilevia ja summatiivisia oppilaiden arviointi- ja opetusmenetelmiä.

Perustelut Intelligent Continuous Monitoring System (ICEMS), tekoälyn (AI) syväoppimissovellus kehitettiin arvioimaan kirurgista suorituskykyä jatkuvasti 0,2 sekunnin välein ja valmentamaan harjoittelijoita asiantuntijatasolle ja riskien havaitsemiseen. Tähän järjestelmään liittyy vireillä oleva patentti "Menetelmät ja järjestelmät tehtävien suorituskyvyn jatkuvaan seurantaan virtuaalisilla simulaattoreilla" (2020; patentti nro 05001770-883USPR). Aiemmin arvioinnin moduulille tarjottiin ennustava validiteetti, mutta tämän järjestelmän tehokkuutta harjoittelijoiden reaaliaikaisessa valmentamisessa ja riskien havaitsemisessa on tutkittava.

Tutkimuksen tavoitteet Vertaa älykkään reaaliaikaisen valmennusjärjestelmän tehokkuutta kultastandardin asiantuntijoiden välittämään palautteeseen. Testaa oppimisen siirtymistä harjoitustehtävien aikana monimutkaisempaan realistiseen skenaarioon.

Hypoteesit

1. ICEMS-palauteryhmä paranee merkittävästi yhdistelmäpisteissä ensimmäisen yrityksen ja viimeisen käytännön välillä.
2. Kontrolliryhmä, jolla ei ole asiantuntijavälitteistä post hoc benchmark -palautetta, ei tilastollisesti parane yhdistelmäpisteissä ensimmäisen yrityksen ja viimeisen yrityksen välillä käytännössä.
3. ICEMS-palauteryhmällä on tilastollisesti korkeampi yhdistelmäpistemäärä verrattuna kontrolliryhmään, harjoitusskenaarion viidennessä yrityksessä.
4. ICEMS-palauteryhmän yhdistelmäpistemäärä on tilastollisesti yhtä huono kuin asiantuntijavälitteisen ohjeryhmän viidennessä yrityksessä harjoitusskenaariossa.
5. ICEMS-palauteryhmän maailmanlaajuinen OSATS-pistemäärä ei ole huonompi kuin asiantuntijavälitteisen ohjeryhmän arvo monimutkaisessa realistisessa skenaariossa.
6. Tämä ICEMS-palaute ei valitse eroa tunteissa tai kognitiivisessa kuormituksessa verrattuna asiantuntijavälitteiseen opetusryhmään.

Erityistavoitteet: 1) Arvioida, onko tekoälyvälitteisen reaaliaikaisen räätälöidyn palautteen tehokkuus tilastollisesti huonompi kuin asiantuntijavälitteinen henkilökohtainen palaute lääketieteen opiskelijoiden bimanuaalisten kirurgisten taitojen parantamisessa kahdessa virtuaalisesti simuloidussa leikkaustehtävässä.

2) Selvittää, herättääkö ICEMS-palautejärjestelmä erilaisia ​​tunteita ja kognitiivista kuormitusta verrattuna ihmisen opetukseen

Suunnittelu: Kolmihaarainen yksisokkoutettu satunnaistettu kontrolloitu koe tekoälykoulutuksesta asiantuntijavälitteiseen koulutukseen verrattuna ei-asiantuntijavälitteiseen koulutukseen.

Asetus: Neurosurgical Simulation and Artificial Intelligence Learning Centre, Montreal Neurological Institute.

Osallistujat: Opiskelijat, jotka ovat ilmoittautuneet alkuvuonnaan tai ensimmäisestä neljänteen vuoteen lääketieteellisissä kouluissa Quebecin maakunnassa.

Tehtävä: Simuloidun harjoituskasvaimen täydellinen poistaminen viisi kertaa ja monimutkainen simuloitu aivokasvain kerran minimaalisella verenvuodolla ja vaurioilla ympäröiville simuloiduille terveille aivorakenteille käyttämällä kahta kirurgista instrumenttia (Ultrasonic Aspirator ja Bipolar pihdit) käyttämällä NeuroVR (CAE Healthcare) -kirurgista simulaattoria.

Interventio: Yksi 90 minuutin harjoituskerta, mukaan lukien kuusi virtuaalista subpiaalin kasvaimen resektioyritystä (viisi yksinkertaista harjoitusskenaariota ja yksi monimutkainen realistinen skenaario) sekä arvioinnin ja palautteen jommastakummasta:

1. Älykäs jatkuvan asiantuntemuksen valvontajärjestelmä (ICEMS) (ryhmä 1)
2. henkilökohtaisen asiantuntijan ohjepalaute (ryhmä 2)
3. ei-asiantuntijavälitteinen post hoc -vertailupalaute (ryhmä 3)

Tärkeimmät tulokset ja toimenpiteet:

Ensisijainen tulos on kirurgisen suorituskyvyn parantaminen yhdistelmäpisteissä, jotka on arvioitu Intelligent Continuous Expertise Monitoring Systemin (ICEMS) aiemmin validoidulla arviointimoduulilla. Suorituskyvyn paraneminen mitataan osallistujan viiden harjoitusyrityksen välisenä pistemäärän erona. Oppimisen siirtoa arvioidaan monimutkaisessa realistisessa skenaariossa saadulla yhdistelmäpisteellä.

Toissijainen tulos on osallistujien suorituspisteet realistisessa tehtävässä, jonka sokeat asiantuntijat pisteyttävät käyttämällä OSATS (Objective Structured Assessment of Technical Skills) maailmanlaajuista luokitusasteikkoa. Herättyjen tunteiden voimakkuuden eroja mitataan Duffyn lääketieteellisellä tunneasteikolla (MES), ennen ja jälkeen interventiota ja ero kognitiivisessa kuormituksessa mitataan Leppikin kognitiivisella kuormitusindeksillä (CLI) toimenpiteen jälkeen.

Tämä tutkimus on tutkijoiden tietojen mukaan ensimmäinen sovellus, jossa verrataan reaaliaikaisen älykkään palautejärjestelmän tehokkuutta kultaisen standardin ihmisopetukseen. Tämän tutkimuksen tavoitteena on tunnistaa tehokkaita koulutusmenetelmiä käyttämällä tekoälykäyttöisiä kirurgisten simulaattorien koulutusalustoja, joten harjoittelijoille tarjotaan objektiivista, räätälöityä teknisten taitojen arviointia ja valmennusta uusinta teknologiaa käyttäen.

Tilastollinen analyysisuunnitelma Osallistujan tiedot anonymisoidaan ja tallennetaan. Intelligent Continuous Expertise Monitoring System (ICEMS) -järjestelmää käytetään kirurgisen suorituskyvyn pisteytykseen raaka suorituskykydatan avulla ja suorituskykypisteiden antamiseen 0,2 sekunnin välein. Jokaisesta tehtävästä lasketaan keskimääräinen yhdistelmäpistemäärä. Ryhmien sisällä ja välillä tehdään vertailuja oppimisen arvioimiseksi ensimmäisestä yrityksestä (perussuorituskyky) viidenteen yritykseen ja vertailla parannuksia ryhmien välillä. ICEMS laskee yhdistelmäpisteen realistisesta skenaariosta oppimisen siirron arvioimiseksi. Osallistujien pistemäärän paranemista tutkitaan toistuvilla mittauksilla ANOVA. Ottaen huomioon mahdollisen vaikutuksen koon 25 %, tilastollisen tehon 0,95 ja merkitsevyyden 0,05, tähän tutkimukseen on hankittava 29 osallistujaa jokaiseen ryhmään. Osallistujien suorituspisteitä viidennessä harjoitusyrityksessä verrataan ryhmien välillä käyttämällä ANOVAa oppimisen vertaamiseen. Sama analyysi tehdään realistista yritystä vertailla oppimisen siirtoa ryhmien välillä.

Sokeat asiantuntijat arvioivat suorituskyvyn realistisella yrityksellä käyttämällä OSATS-maailmanlaajuista luokitusasteikkoa osallistujavideon avulla. Maailmanlaajuista OSATS-pistemäärää verrataan ryhmien välillä oppimisen tehokkuuden vertaamiseksi ANOVAa käyttämällä.