Mesterséges intelligens oktatórendszer hatékonysága a szimulációs képzésben
A virtuális operatív asszisztens és a sebészeti oktatás szakértői alapú oktatásának összehasonlítása: Randomizált, ellenőrzött próba
Rövid összefoglaló:
Háttér:
Bár a sebészi tapasztalat és a technikai készség jobb betegek kimenetelével jár, a műtéti képesség számszerűsítése a műtőben kihívást jelent. A sebészeti oktatásban a nagy pontosságú virtuális valóság-szimulátorok által generált nagy adatkészletek gépi tanulási algoritmusokkal használhatók a gyakornok teljesítményének és kompetenciájának objektív mérésére szakértői benchmarkok alapján. Ez lehetővé teszi a sebészeti készségek ismételt gyakorlását biztonságos és kockázatmentes környezetben, azonnali visszajelzéssel.
Csoportunk kifejlesztett és szabadalma van egy intelligens oktatói rendszerre, a Virtual Operative Assistant (VOA) névre. Mesterséges intelligencia (AI) támogató vektorgépi algoritmust használva a VOA kiértékeli a NeuroVR (CAE Healthcare) szimulátorplatformból származó adatokat, és személyre szabott audiovizuális visszajelzést ad, hogy javítsa a tanulók teljesítményét a szimulált agydaganat reszekciók során. Az intelligens oktatói rendszerek, például a VOA hatékonysága a humán sebészeti gyakornoki pedagógiában még tisztázásra vár.
A tanulmány célja, hogy összehasonlítsa a személyre szabott VOA visszajelzések hatékonyságát és oktatási hatását az orvostanhallgatók virtuális valóságú daganateltávolítási eljárás technikai készségeinek elsajátítására vonatkozó szakértői utasításokkal.
Konkrét célok: 1) Annak felmérése, hogy a személyre szabott VOA visszajelzést kapó orvostanhallgatók statisztikailag javítják-e műtéti teljesítményüket azokhoz képest, akik (a) nem kaptak szakértő oktatói visszajelzést vagy (b) szakértő oktatói visszajelzést kaptak. 2) Felvázolni, hogy a VOA intelligens tutori rendszere vált-e ki különböző érzelmeket az orvostanhallgatókban ennek a teljesítményfeladatnak a végrehajtása során, mint az emberi oktatásban
A tanulmány áttekintése
Állapot
Körülmények
Részletes leírás
Tervezés: Három karból álló, részlegesen vak, randomizált, kontrollált vizsgálat a VOA képzésről a távalapú szakértői utasítások versus kontrollja között.
Beállítás: Idegsebészeti Szimulációs és Mesterséges Intelligencia Oktatási Központ, Montreal Neurological Institute.
Résztvevők: Jogosult első és második éves orvostanhallgatók Quebec tartomány minden részéről.
Feladat: Szimulált daganat teljes eltávolítása - színe és tapintási tulajdonságai alapján megkülönböztethető - minimális vérzéssel és a környező egészséges agy károsodásával a NeuroVR (CAE Healthcare) sebészeti szimulátor két sebészeti műszerével (Cavitron Ultrasonic Aspirator és Bipoláris fogó).
Beavatkozás: Egyetlen 75 perces tréning, amely hat virtuális subpialis tumorreszekciós kísérletet tartalmaz (öt egyszerű gyakorlati forgatókönyv és egy összetett reális forgatókönyv), értékeléssel és visszajelzéssel az alábbiak közül:
- a VOA intelligens tutori rendszer (2. csoport) ill
távoli alapú szakértő oktató (3. csoport)
Mindkettő ehhez képest:
- kontrollcsoport (1. csoport), amely nem kap értékelést vagy teljesítmény-visszajelzést.
Tudomásunk szerint ez lesz az első olyan tanulmány, amely egy mesterséges intelligens oktatórendszer hatékonyságát hasonlítja össze a szakértői oktatással az orvosi és sebészeti virtuális valóság szimuláció kontextusában, és értékeli az ilyen utasításokra adott érzelmi reakciókat. Ennek a tanulmánynak az a célja, hogy elkezdje azonosítani a sikeres megközelítéseket ennek az innovatív technológiának az orvosi oktatási tantervben való felhasználására, valamint a betegek kimenetelének javítására a sebészek és más egészségügyi szolgáltatók biztonságának, hatékonyságának és kompetenciájának növelésével.
Tanulmány típusa
Beiratkozás (Tényleges)
Fázis
- Nem alkalmazható
Kapcsolatok és helyek
Tanulmányi helyek
-
-
Quebec
-
Montreal, Quebec, Kanada, H3A 2B4
- Neurosurgical Simulation and Artificial Intelligence Learning Centre
-
-
Részvételi kritériumok
Jogosultsági kritériumok
Tanulmányozható életkorok
- Gyermek
- Felnőtt
- Idősebb felnőtt
Egészséges önkénteseket fogad
Tanulmányozható nemek
Leírás
Bevételi kritériumok:• Első és másodéves orvostanhallgatók bármely kanadai intézményből, akik nem felelnek meg a kizárási kritériumoknak.
-
Kizárási kritériumok: • Részvétel csoportunk bármely korábbi, a NeuroVR (CAE Healthcare) szimulátorral végzett kísérletében.
-
Tanulási terv
Hogyan készül a tanulmány?
Tervezési részletek
- Elsődleges cél: Egészségügyi szolgáltatások kutatása
- Kiosztás: Véletlenszerűsített
- Beavatkozó modell: Párhuzamos hozzárendelés
- Maszkolás: Kettős
Fegyverek és beavatkozások
Résztvevő csoport / kar |
Beavatkozás / kezelés |
|---|---|
|
Nincs beavatkozás: Ellenőrző csoport
Kontrollcsoport – Alapképzés 25 résztvevőt osztottak ki. Az egyének bevezető információkat kapnak a szimulátor használatáról és a forgatókönyvről. Gyakorlat céljából 5 egyszerű subpialis tumor reszekciót végeznek, és 5 perc áll rendelkezésükre vizsgálatonként. Minden próbálkozás után a tanuló 5 perces szünetet tart teljesítményének értékelése vagy visszajelzése nélkül. A hatodik próbálkozásukra 13 percük van egy másik reális forgatókönyv végrehajtására. |
|
|
Kísérleti: Kísérleti csoport – Virtuális operatív asszisztencia képzés
Kísérleti csoport – Virtuális operatív asszisztencia képzés 25 résztvevőt jelöltek ki. Az egyének ugyanazt az információt kapják, ugyanannyi idejük van, és ugyanazokat a forgatókönyveket hajtják végre, mint a kontrollcsoport. A kísérletek közötti 5 percben a résztvevő megkapja a virtuális operatív asszisztencia tréning értékelését a teljesítményéről és az audiovizuális visszajelzést. |
Az egyének ugyanazokat az alapvető információkat kapják, ugyanannyi idejük van, és ugyanazokat a forgatókönyveket hajtják végre, mint a kontrollcsoport.
A kísérletek közötti 5 percben a résztvevő virtuális operatív asszisztens értékelést kap teljesítményéről és audiovizuális visszajelzést.
|
|
Kísérleti: Kísérleti csoport – távoli alapú szakértői oktatóképzés
25 résztvevőt jelöltek ki.
Az egyének ugyanazt az információt kapják, ugyanannyi idejük van, és ugyanazokat a forgatókönyveket hajtják végre, mint a kontrollcsoport.
Eközben egy képzett oktató távolról figyeli a résztvevő képernyőn történő teljesítményét, azaz élő közvetítést.
Az oktatók vezető idegsebészeti rezidensek, akik nagy tapasztalattal rendelkeznek ennek a forgatókönyvnek a végrehajtásában és értékelésében.
Az 5 perces visszacsatolás során beszélgetnek a tanulóval, megbeszélik a teljesítményt, és segítenek a következő próba céljainak kitűzésében.
|
Az egyének ugyanazt az információt kapják, ugyanannyi idejük van, és ugyanazokat a forgatókönyveket hajtják végre, mint a kontrollcsoport.
Eközben egy képzett oktató távolról figyeli a résztvevő képernyőn történő teljesítményét, azaz élő közvetítést.
Az oktatók vezető idegsebészeti rezidensek, akik nagy tapasztalattal rendelkeznek ennek a forgatókönyvnek a végrehajtásában és értékelésében.
Az 5 perces visszacsatolás során beszélgetnek a tanulóval, megbeszélik a teljesítményt, és segítenek a következő próba céljainak kitűzésében.
|
Mit mér a tanulmány?
Elsődleges eredményintézkedések
Eredménymérő |
Intézkedés leírása |
Időkeret |
|---|---|---|
|
Változás az eljárási teljesítményben .
Időkeret: Tanulmányi nap
|
Az egyes gyakorlati kísérletek teljesítményét a szimulátorból származó nyers adatok felhasználásával mérik, amelyeket korábban kialakított mesterséges intelligencia-algoritmusok értékelnek, validált mérőszámokon.
|
Tanulmányi nap
|
|
Változás a tanulásban
Időkeret: Tanulmányi nap
|
Az összetett reális forgatókönyv szerinti teljesítményt szakértő oktatók értékelik a technikai készségek objektív strukturált értékelése (OSATS) vizuális értékelési skála (50%-os súlyozás) és a mesterséges intelligencia értékelési algoritmusai (50%-os súlyozás) segítségével, így összetett teljesítménypontszámot alkotnak.
|
Tanulmányi nap
|
Másodlagos eredményintézkedések
Eredménymérő |
Intézkedés leírása |
Időkeret |
|---|---|---|
|
Különbség a kiváltott érzelmek erejében
Időkeret: Tanulmányi nap
|
A Duffy's Medical Emotions Scale (MES) segítségével mérve, a beavatkozás előtt, alatt és után.
|
Tanulmányi nap
|
|
A kognitív terhelés különbsége
Időkeret: Tanulmányi nap
|
A beavatkozás után a Leppink-féle kognitív terhelési index (CLI) segítségével mérve.
|
Tanulmányi nap
|
Együttműködők és nyomozók
Szponzor
Publikációk és hasznos linkek
Általános kiadványok
- Stulberg JJ, Huang R, Kreutzer L, Ban K, Champagne BJ, Steele SR, Johnson JK, Holl JL, Greenberg CC, Bilimoria KY. Association Between Surgeon Technical Skills and Patient Outcomes. JAMA Surg. 2020 Oct 1;155(10):960-968. doi: 10.1001/jamasurg.2020.3007. Erratum In: JAMA Surg. 2020 Oct 1;155(10):1002. JAMA Surg. 2021 Jul 1;156(7):694.
- Birkmeyer JD, Finks JF, O'Reilly A, Oerline M, Carlin AM, Nunn AR, Dimick J, Banerjee M, Birkmeyer NJ; Michigan Bariatric Surgery Collaborative. Surgical skill and complication rates after bariatric surgery. N Engl J Med. 2013 Oct 10;369(15):1434-42. doi: 10.1056/NEJMsa1300625.
- Birkmeyer JD, Stukel TA, Siewers AE, Goodney PP, Wennberg DE, Lucas FL. Surgeon volume and operative mortality in the United States. N Engl J Med. 2003 Nov 27;349(22):2117-27. doi: 10.1056/NEJMsa035205.
- Winkler-Schwartz A, Yilmaz R, Mirchi N, Bissonnette V, Ledwos N, Siyar S, Azarnoush H, Karlik B, Del Maestro R. Machine Learning Identification of Surgical and Operative Factors Associated With Surgical Expertise in Virtual Reality Simulation. JAMA Netw Open. 2019 Aug 2;2(8):e198363. doi: 10.1001/jamanetworkopen.2019.8363.
- Mirchi N, Bissonnette V, Yilmaz R, Ledwos N, Winkler-Schwartz A, Del Maestro RF. The Virtual Operative Assistant: An explainable artificial intelligence tool for simulation-based training in surgery and medicine. PLoS One. 2020 Feb 27;15(2):e0229596. doi: 10.1371/journal.pone.0229596. eCollection 2020.
- Winkler-Schwartz A, Marwa I, Bajunaid K, Mullah M, Alotaibi FE, Bugdadi A, Sawaya R, Sabbagh AJ, Del Maestro R. A Comparison of Visual Rating Scales and Simulated Virtual Reality Metrics in Neurosurgical Training: A Generalizability Theory Study. World Neurosurg. 2019 Jul;127:e230-e235. doi: 10.1016/j.wneu.2019.03.059. Epub 2019 Mar 15.
- Duffy, M.C., et al., Emotions in medical education: Examining the validity of the Medical Emotion Scale (MES) across authentic medical learning environments. Learning and Instruction, 2020. 70: p. 101150.
- Leppink J, Paas F, Van der Vleuten CP, Van Gog T, Van Merrienboer JJ. Development of an instrument for measuring different types of cognitive load. Behav Res Methods. 2013 Dec;45(4):1058-72. doi: 10.3758/s13428-013-0334-1.
- Fazlollahi AM, Bakhaidar M, Alsayegh A, Yilmaz R, Winkler-Schwartz A, Mirchi N, Langleben I, Ledwos N, Sabbagh AJ, Bajunaid K, Harley JM, Del Maestro RF. Effect of Artificial Intelligence Tutoring vs Expert Instruction on Learning Simulated Surgical Skills Among Medical Students: A Randomized Clinical Trial. JAMA Netw Open. 2022 Feb 1;5(2):e2149008. doi: 10.1001/jamanetworkopen.2021.49008.
Tanulmányi rekorddátumok
Tanulmány főbb dátumok
Tanulmány kezdete (Tényleges)
Elsődleges befejezés (Tényleges)
A tanulmány befejezése (Tényleges)
Tanulmányi regisztráció dátumai
Először benyújtva
Először nyújtották be, amely megfelel a minőségbiztosítási kritériumoknak
Első közzététel (Tényleges)
Tanulmányi rekordok frissítései
Utolsó frissítés közzétéve (Tényleges)
Az utolsó frissítés elküldve, amely megfelel a minőségbiztosítási kritériumoknak
Utolsó ellenőrzés
Több információ
A tanulmányhoz kapcsolódó kifejezések
Kulcsszavak
Egyéb vizsgálati azonosító számok
- 2010-270, NEU-09-042
Terv az egyéni résztvevői adatokhoz (IPD)
Tervezi megosztani az egyéni résztvevői adatokat (IPD)?
IPD terv leírása
IPD megosztási időkeret
IPD-megosztási hozzáférési feltételek
Az IPD megosztását támogató információ típusa
- STUDY_PROTOCOL
- NEDV
- ICF
- ANALYTIC_CODE
- CSR
Gyógyszer- és eszközinformációk, tanulmányi dokumentumok
Egy amerikai FDA által szabályozott gyógyszerkészítményt tanulmányoz
Egy amerikai FDA által szabályozott eszközterméket tanulmányoz
Ezt az információt közvetlenül a clinicaltrials.gov webhelyről szereztük be, változtatás nélkül. Ha bármilyen kérése van vizsgálati adatainak módosítására, eltávolítására vagy frissítésére, kérjük, írjon a következő címre: register@clinicaltrials.gov. Amint a változás bevezetésre kerül a clinicaltrials.gov oldalon, ez a webhelyünkön is automatikusan frissül. .