Verbaalisen älykkään ohjaajan opetuksen tehokkuus neurokirurgisessa simulaatiossa

Taustaa: Asiantuntevat kirurgiset tekniset taidot liittyvät parantuneisiin potilaiden tuloksiin; aloittelijoiden kouluttaminen näiden taitojen hallitsemiseen on kuitenkin edelleen haastavaa. Intelligent Continuous Expertise Monitoring System (ICEMS) on syväoppimissovellus, joka kehitettiin Neurosurgical Simulation and Artificial Intelligence Learning Centerissä parantamaan neurokirurgista koulutusta. ICEMS arvioi ja kouluttaa bimanuaalista leikkaussuoritusta antamalla jatkuvaa palautetta suullisten ohjeiden avulla harjoittelijoiden suorituskyvyn parantamiseksi ja virheiden vähentämiseksi.

Perustelut: Keskuksessamme suoritettu edellinen satunnaistettu kontrolloitu tutkimus (RCT) osoitti, että älykäs tutorointi on tehokkaampaa kuin asiantuntijatutorointi simuloidussa neurokirurgisessa toimenpiteessä (NCT05168150). Toinen RCT paljasti, että lääketieteen opiskelijoiden suorituskyky vastauksena ICEMS-ohjeisiin kaksisuuntaisen voiman käytön vähentämiseksi oli vaihtelevaa (NCT04700384). Agglomeratiivinen klusterointialgoritmi luokitteli nämä muuttuvat opiskelijoiden vastaukset kolmeen ryhmään: 53 % onnistui tottelemaan ohjetta virheen korjaamiseksi, 36 % ei noudattanut ohjetta ja 11 % ylivastasi ohjeeseen. Tämä vastevaihtelu saattaa merkittävästi rajoittaa ICEMS:n hyödyllisyyttä, ja se voidaan johtua erilaisista oppimistyylistä, stressitasoista tai tekoälyn ohjeiden väärintulkinnasta. Tämän tutkimuksen aikana asiantuntijakouluttajille ei toimitettu ICEMS-virhetietoja. Uuden RCT:n suorittaminen, jossa asiantuntijakouluttajat saavat ICEMS-virhetiedot, selvittää syyn, miksi monet harjoittelijat eivät vastanneet tekoälyohjeeseen.

Tämä raportti noudattaa Consolidated Standards of Reporting Trials-Artificial Intelligence -standardeja (CONSORT-AI) sekä Machine Learning to Assess Surgical Expertise (MLASE) -tarkistuslistaa.

Hypoteesit:

1. Sanallinen tekoälypalaute tuottaa huomattavasti pienemmät onnistumisvastaukset harjoittelijoiden keskuudessa kuin ihmisohjaajien antama identtinen virhepalaute.
2. Harjoittelijan suorituskyvyn arviointipisteet ovat huomattavasti korkeammat kahdessa arvioidussa eri ihmisryhmässä.
3. Tekoälytutorin antamat ohjeet lisäävät stressitasoja ja kognitiivista kuormitusta verrattuna ihmisten ohjaajien antamaan sanalliseen virhepalautteeseen.

Ensisijaiset tavoitteet: Selvittää, kuinka kirurgisten virheohjeiden toimitustapa vaikuttaa:

1. Harjoittelijan vastaus ohjeeseen, eli korjasivatko he virheen, eivätkö he korjanneet tai ylikorjaneet virheen (ICEMS:n keräämät tiedot).
2. Harjoittelijan yleinen leikkaussuoritus (ICEMS:n laskema harjoitusskenaarioiden keskimääräinen asiantuntemuspiste, teknisten taitojen objektiivisen strukturoidun arvioinnin (OSATS) pistemäärä realistisessa skenaariossa, jonka on määrittänyt kaksi sokettua asiantuntijaarvioijaa).

Toissijainen tavoite: Selvittää, kuinka kirurgisten virheohjeiden toimitustapa vaikuttaa harjoittelijoiden affektiivisiin kognitiivisiin reaktioihin (itseraportoitu kyselylomakkeilla 5-pisteisellä Likert-asteikolla).

Asetus: McGill Universityn neurokirurgisen simulaation ja tekoälyn oppimiskeskus.

Osallistujat: Opiskelijat, jotka ovat ilmoittautuneet valmistelevaan, ensimmäiseen tai toiseen vuoteen yhdessä neljästä Quebecin lääketieteellisestä koulusta.

Suunnittelu: Kolmihaarainen satunnaistettu kontrolloitu tutkimus.

Interventio: Osallistujat käyvät läpi noin 90 minuutin harjoittelun NeuroVR:llä (CAE Healthcare), virtuaalitodellisuuden (VR) kirurgisella simulaattorilla, joka simuloi subpiaalisen aivokasvaimen resektiota. NeuroVR:llä on kaksi mahdollista skenaariota: yksinkertainen harjoitusskenaario ja monimutkainen realistinen skenaario. Osallistujat suorittavat kuusi harjoitusskenaarion toistoa (kukin 5 minuuttia), jota seuraa realistinen skenaario (13 minuuttia). ICEMS arvioi suorituskykyä jatkuvasti koko kokeen ajan. Kaikki osallistujat saavat suullisen palautteen, kun ICEMS havaitsee virheen heidän suorituksessaan; kuitenkin tämän suullisen palautteen toimitustapa vaihtelee ryhmien välillä.

• Ryhmä 1 (kontrolli) saa suullisen palautteen suoraan ICEMS:ltä, kun virhe havaitaan.
• Ryhmä 2 (kokeellinen) saa suullisen palautteen asiantuntijaohjaajalta samoilla sanoilla kuin ICEMS.
• Ryhmä 3 (kokeellinen) saa suullista palautetta asiantuntijaohjaajalta omin sanoin.

Sanallinen palaute perustuu neljään metriikkaan seuraavasti: (1) instrumentin kärkien erotusetäisyys, eli bipolaaristen pihtien kärkien ja ultraääni-imulaitteen välinen etäisyys; (2) pieni bipolaarinen voima; (3) suuri imuvoima; (4) suuri bipolaarinen voima. Harjoittelijat arvioidaan yhdellä mittarilla kerrallaan, ja heillä on mahdollisuus katsoa asiantuntijatason esittelyvideo ennen kuin he siirtyvät kuhunkin uuteen mittariin. Kun mittari on hallittu, harjoittelija siirtyy seuraavaan mittariin. Mittarin katsotaan olevan "hallittu", kun harjoittelija käy läpi koko toiston saamatta palautetta.

Ensimmäinen harjoitusskenaario toimii lähtökohtana; joten palautetta ei anneta. Toisessa, kolmannessa, neljännessä ja viidennessä toistossa palautetta annetaan ICEMS-virheentunnistuksen mukaisesti. Kuudennessa toistossa sekä realistisessa skenaariossa palautetta ei anneta.

Merkitys: Kun kirurgisen koulutuksen lähestymistavat alkavat siirtyä kohti osaamispohjaisia ​​puitteita, tehokkaan tekoälyn koulutuspalautteen soveltaminen kirurgiseen koulutukseen tulee ratkaisevan tärkeäksi kirurgisen oppimisen optimoinnin kannalta. Tämän RCT:n tulokset mahdollistavat ICEMS:n ja muiden AI-tutorointijärjestelmien arvioinnin ja uudelleensuunnittelun, mikä voi edistää standardoitujen pätevyyspohjaisten kirurgisen koulutuksen opetussuunnitelmien, mutta myös minkä tahansa suullisesta opastuksesta riippuvaisen tekoälyohjaajan teknologian kehittämistä.