A verbális intelligens oktatói oktatás hatékonysága az idegsebészeti szimulációban

Háttér: A sebészeti szakértelem a betegek jobb kimenetelével függ össze; azonban továbbra is kihívást jelent az újoncok képzése e készségek elsajátítására. Az Intelligent Continuous Expertise Monitoring System (ICEMS) egy mély tanulási alkalmazás, amelyet az Idegsebészeti Szimulációs és Mesterséges Intelligencia Oktatóközpontban fejlesztettek ki az idegsebészeti oktatás javítása érdekében. Az ICEMS felméri és oktatja a bimanuális sebészeti teljesítményt úgy, hogy folyamatos visszajelzést ad szóbeli utasításokon keresztül a gyakornok teljesítményének javítása és a hibák csökkentése érdekében.

Indoklás: Egy korábbi, a központunkban elvégzett randomizált kontrollált vizsgálat (RCT) bebizonyította, hogy az intelligens tutorálás hatékonyabb, mint a szimulált idegsebészeti eljárás (NCT05168150) szakértői tutorálása. Egy másik RCT kimutatta, hogy az orvostanhallgatók teljesítménye a bipoláris erő alkalmazásának csökkentésére irányuló ICEMS-utasítások hatására változó volt (NCT04700384). Egy agglomeratív klaszterező algoritmus ezeket a változó tanulói válaszokat 3 csoportba sorolta: 53% sikeresen teljesítette a hiba kijavítására vonatkozó utasítást, 36% nem, és 11% túlzottan válaszolt az utasításra. Ez a válaszváltozékonyság jelentősen korlátozhatja az ICEMS használhatóságát, és a különböző tanulási stílusoknak, stresszszinteknek vagy az AI-utasítások félreértelmezésének tudható be. A tanulmány során a szakértő oktatók nem kaptak ICEMS hibaadatokat. Egy új RCT lebonyolítása, amelyben a szakértő oktatók ICEMS-hibaadatokat kapnak, tisztázni fogja, hogy sok gyakornok miért nem válaszolt az AI-utasításra.

Ez a jelentés a mesterséges intelligencia kísérletek jelentésének konszolidált szabványait (CONSORT-AI), valamint a Machine Learning to Assess Surgical Expertise (MLASE) ellenőrzőlistát követi.

Hipotézisek:

1. A verbális mesterséges intelligencia visszajelzés lényegesen alacsonyabb sikeres válaszarányt eredményez a tanulók körében, mint az emberi oktatók által adott hibajelzés.
2. A gyakornok teljesítményértékelési pontszáma szignifikánsan magasabb lesz a két különböző értékelt humán oktatási csoportban.
3. A mesterséges intelligencia oktatója által adott utasítások megnövekedett stresszszintet és kognitív terhelést eredményeznek az emberi oktatók által adott verbális hibákhoz képest.

Elsődleges célok: Annak meghatározása, hogy a sebészeti hibaleírás kézbesítési módja hogyan befolyásolja:

1. A gyakornok válasza az utasításra, vagyis hogy javította-e, nem javította-e vagy túljavította-e a hibát (az ICEMS által gyűjtött adatok).
2. A gyakornok általános sebészeti teljesítménye (az ICEMS által kiszámított gyakorlati forgatókönyvek átlagos szakértelem pontszáma, a technikai készségek objektív strukturált értékelése (OSATS) a reális forgatókönyvre kapott pontszám, amelyet két elvakult szakértő értékelő határoz meg).

Másodlagos cél: Meghatározni, hogy a sebészi hiba utasítások átadásának módja hogyan befolyásolja a gyakornok affektív kognitív válaszait (önálló kérdőíveken keresztül, 5-pontos Likert-skálán).

Helyszín: a McGill Egyetem Idegsebészeti Szimulációs és Mesterséges Intelligencia Oktatóközpontja.

Résztvevők: Előkészítő, első vagy második évfolyamra beiratkozott hallgatók a négy québeci orvosi iskola egyikében.

Tervezés: Három karból álló randomizált, kontrollált vizsgálat.

Beavatkozás: A résztvevők körülbelül 90 perces edzésen vesznek részt a NeuroVR-en (CAE Healthcare), egy virtuális valóság (VR) sebészeti szimulátoron, amely egy subpialis agydaganat reszekciót szimulál. A NeuroVR-nek két lehetséges forgatókönyve van: egy egyszerű gyakorlati forgatókönyv és egy összetett valósághű forgatókönyv. A résztvevők hat ismétlést hajtanak végre a gyakorlati forgatókönyvből (egyenként 5 perc), majd a reális forgatókönyvet (13 perc). Az ICEMS folyamatosan értékeli a teljesítményt a próba során. Minden résztvevő szóbeli visszajelzést kap, ha az ICEMS hibát észlel a teljesítményében; ennek a szóbeli visszajelzésnek a kézbesítési módja azonban csoportonként eltérő lesz.

• Az 1. csoport (kontroll) szóbeli visszajelzést kap közvetlenül az ICEMS-től, ha hibát észlel.
• A 2. csoport (kísérleti) szóbeli visszajelzést kap egy szakértő oktatótól, ugyanazokkal a szavakkal, mint az ICEMS.
• A 3. csoport (kísérleti) szóbeli visszajelzést kap egy szakértő oktatótól, saját szavaikkal.

A verbális visszacsatolás négy mérőszámon fog alapulni, az alábbiak szerint: (1) a műszer hegyének elválasztási távolsága, azaz a bipoláris csipesz hegyei és az ultrahangos aspirátor közötti távolság; (2) alacsony bipoláris erő; (3) nagy szívóerő; (4) nagy bipoláris erő. A gyakornokokat egy-egy mérőszám alapján értékelik, és lehetőségük lesz egy szakértői szintű bemutató videót megnézni, mielőtt minden új mérőszámra rátérnének. Ha egy mérőszámot elsajátított, a gyakornok a következő mérőszámra lép. Egy mérőszám akkor tekinthető „elsajátítottnak”, ha a gyakornok egy teljes ismétlésen megy keresztül anélkül, hogy visszajelzést kapna.

Az első gyakorlati forgatókönyv szolgál majd kiindulási alapként; így nem adnak visszajelzést. A második, harmadik, negyedik és ötödik ismétlésben a visszacsatolás az ICEMS hibaészlelésnek megfelelően történik. A hatodik ismétlésben, valamint a reális forgatókönyvben nem adunk visszajelzést.

Jelentősége: Mivel a sebészeti oktatási megközelítések kezdenek elmozdulni a kompetencia alapú keretek felé, a hatékony mesterséges intelligencia oktatási visszacsatolása a sebészeti képzésben kulcsfontosságúvá válik a sebészeti tanulás optimalizálása szempontjából. Ennek az RCT-nek az eredményei lehetővé teszik az ICEMS és más mesterséges intelligencia oktatói rendszerek értékelését és újratervezését, ami nem csak a szabványos, kompetencia alapú sebészeti oktatási képzési tantervek, hanem a verbális oktatástól függő AI oktatói technológia fejlesztését is előmozdíthatja.