Testování účinnosti systému umělé inteligence koučování v reálném časeSystemSimulatioŠkolení studentů medicíny

Pozadí Pokroky v oblasti chirurgické simulace a umělé inteligence vedly k vývoji inteligentních systémů hodnocení technických dovedností a doučování, které splňují potřeby přístupu založeného na kompetencích v lékařském vzdělávání. Tyto nové vzdělávací nástroje nabízejí řešení pro standardizaci a objektivitu hodnocení a školení technické způsobilosti studenta v bezrizikových simulovaných operačních prostředích. Tyto systémy mohou doplnit zlatý standard učňovského modelu ve výcviku v chirurgii a další procedurální medicíně tím, že poskytují podrobné informace o technických dovednostech, procedurální vedení zaměřené na akce a hodnocení rizik. Takové aplikace mohou pedagogům pomoci při vytváření objektivních formativních a sumativních metod hodnocení studentů a výuky.

Odůvodnění Inteligentní kontinuální monitorovací systém (ICEMS), aplikace pro hluboké učení umělé inteligence (AI), byla vyvinuta pro kontinuální hodnocení chirurgického výkonu v 0,2 sekundových intervalech se schopností koučovaných školitelů na expertní úrovni a detekci rizik. Tento systém je součástí patentového řízení nazvaného „Metody a systémy pro nepřetržité sledování výkonu úkolů na virtuálních simulátorech“ (2020; patent č. 05001770-883USPR). Dříve byla poskytována prediktivní validita pro modul hodnocení, je však třeba prozkoumat účinnost tohoto systému u účastníků koučování v reálném čase a detekci rizik.

Cíle výzkumu Porovnat efektivitu inteligentního koučovacího systému v reálném čase se zlatým standardem, expertem zprostředkovanou zpětnou vazbou. Otestovat přenos učení během cvičení do složitějšího realistického scénáře.

Hypotézy

1. Skupina zpětné vazby ICEMS se výrazně zlepší ve složeném skóre mezi prvním pokusem a posledním pokusem v praxi.
2. Kontrolní skupina s post hoc benchmarkovou zpětnou vazbou zprostředkovanou odborníky se statisticky nezlepší ve složeném skóre mezi prvním pokusem a posledním pokusem v praxi.
3. Skupina ICEMS zpětné vazby bude mít statisticky vyšší složené skóre ve srovnání s kontrolní skupinou, v pátém pokusu v cvičném scénáři.
4. Skupina zpětné vazby ICEMS bude mít složené skóre statisticky nenižší ve srovnání s expertně zprostředkovanou instrukční skupinou v pátém pokusu o cvičný scénář.
5. Globální skóre OSATS skupiny zpětné vazby ICEMS nebude horší než skóre skupiny s experty zprostředkovanými instrukcemi v komplexním realistickém scénáři.
6. Že zpětná vazba ICEMS nebude volit rozdíl v emocích nebo kognitivní zátěži ve srovnání s expertně zprostředkovanou instrukční skupinou.

Specifické cíle: 1) Posoudit, zda účinnost zpětné vazby přizpůsobené na míru v reálném čase zprostředkované umělou inteligencí není statisticky horší než osobní zpětná vazba zprostředkovaná odborníky při zlepšování bimanuálních chirurgických dovedností studentů medicíny ve dvou virtuálně simulovaných chirurgických úkolech.

2) Nastínit, zda zpětnovazební systém ICEMS vyvolává různé emoce a kognitivní zátěž ve srovnání s lidskými instrukcemi

Design: Tříramenná jednoduchá zaslepená randomizovaná kontrolovaná studie tréninku AI versus trénink zprostředkovaný odborníky versus trénink zprostředkovaný odborníky.

Název a sídlo: Neurosurgical Simulation and Artificial Intelligence Learning Centre, Montreal Neurological Institute.

Účastníci: Studenti, kteří jsou zapsáni v prvním až čtvrtém ročníku na lékařských fakultách v provincii Quebec.

Úkol: Úplné odstranění simulovaného cvičného nádoru pětkrát a komplexního simulovaného nádoru mozku jednou s minimálním krvácením a poškozením okolních simulovaných zdravých mozkových struktur pomocí dvou chirurgických nástrojů (ultrazvuková odsávačka a bipolární kleště) pomocí chirurgického simulátoru NeuroVR (CAE Healthcare).

Intervence: Jedno 90minutové školení, včetně šesti pokusů o virtuální subpiální resekci tumoru (pět jednoduchých praktických scénářů a jeden komplexní realistický scénář) s hodnocením a zpětnou vazbou buď:

1. systém inteligentního průběžného monitorování odborných znalostí (ICEMS) (skupina 1)
2. osobní zpětná vazba od experta (skupina 2)
3. neexpertem zprostředkovaná post hoc srovnávací zpětná vazba (Skupina 3)

Hlavní výsledky a opatření:

Primárním výsledkem je zlepšení chirurgického výkonu ve složeném skóre hodnoceném dříve ověřeným modulem hodnocení ICEMS (Intelligent Continuous Expertise Monitoring System). Zlepšení výkonu se měří jako rozdíl složeného skóre mezi pokusy účastníka během pěti cvičných pokusů. Přenos učení bude hodnocen složeným skóre získaným v komplexním realistickém scénáři.

Sekundárním výstupem je výkonnostní skóre účastníků v realistickém úkolu, které bude ohodnoceno zaslepenými odborníky pomocí globální hodnotící stupnice Objective Structured Assessment of Technical Skills (OSATS). Rozdíly v síle vyvolaných emocí budou měřeny pomocí Duffyho lékařské emocionální škály (MES) před a po intervenci a rozdíl v kognitivní zátěži bude měřen pomocí Leppinkova indexu kognitivní zátěže (CLI) po intervenci.

Tato studie, pokud je vědcům známo, je první aplikací, která srovnává účinnost inteligentního systému zpětné vazby v reálném čase se zlatým standardem lidské výuky. Tato studie si klade za cíl identifikovat efektivní tréninkové metodiky využívající cvičné platformy na chirurgických simulátorech poháněných umělou inteligencí, a proto je účastníkům poskytováno objektivní, na míru šité hodnocení technických dovedností a koučování s využitím nejmodernějších technologií.

Plán statistické analýzy Údaje účastníků budou anonymizovány a uloženy. Inteligentní kontinuální expertní monitorovací systém (ICEMS) bude použit k hodnocení chirurgického výkonu pomocí nezpracovaných dat o výkonu a poskytuje skóre výkonu v 0,2 sekundových intervalech. Pro každý úkol bude vypočítáno průměrné složené skóre. V rámci skupin a mezi skupinami budou provedena srovnání za účelem posouzení učení od prvního pokusu (základní výkon) po pátý pokus a porovnání zlepšení mezi skupinami. Složené skóre na realistickém scénáři vypočítá ICEMS pro posouzení přenosu učení. Zlepšení skóre účastníků bude zkoumáno opakovaným měřením ANOVA. Vzhledem k potenciální velikosti účinku 25 %, statistické síle 0,95 a významnosti 0,05 tato studie potřebuje získat 29 účastníků v každé skupině. Výkonnostní skóre účastníků v pátém cvičném pokusu bude porovnáno mezi skupinami pomocí ANOVA pro srovnání učení. Stejná analýza bude provedena pro realistický pokus porovnat přenos učení mezi skupinami.

Výkon v realistickém pokusu bude hodnocen nevidomými odborníky pomocí globální hodnotící stupnice OSATS s využitím videa o výkonu účastníků. Globální skóre OSATS bude porovnáno mezi skupinami, aby se porovnala účinnost v učení pomocí ANOVA.