Efektivita verbální inteligentní instruktáže lektora v neurochirurgické simulaci

Souvislosti: Odborné chirurgické technické dovednosti jsou spojeny se zlepšenými výsledky pacientů; výcvik nováčků k zvládnutí těchto dovedností však zůstává náročný. Inteligentní kontinuální expertní monitorovací systém (ICEMS) je aplikace pro hluboké učení, která byla vyvinuta v Neurosurgical Simulation and Artificial Intelligence Learning Center za účelem zlepšení neurochirurgického vzdělávání. ICEMS posuzuje a trénuje bimanuální chirurgický výkon poskytováním nepřetržité zpětné vazby prostřednictvím verbálních instrukcí s cílem zlepšit výkon školených osob a zmírnit chyby.

Odůvodnění: Předchozí randomizovaná kontrolovaná studie (RCT) provedená v našem centru prokázala, že inteligentní doučování je efektivnější než odborné doučování v simulovaném neurochirurgickém postupu (NCT05168150). Další RCT odhalilo, že výkon studentů medicíny v reakci na pokyn ICEMS ke snížení aplikace bipolární síly byl proměnlivý (NCT04700384). Algoritmus aglomerativního shlukování klasifikoval tyto proměnné odpovědi studentů do 3 skupin: 53 % úspěšně uposlechlo pokyn k opravě chyby, 36 % pokyn neuposlechlo a 11 % na pokyn reagovalo přehnaně. Tato variabilita odezvy by mohla významně omezit užitečnost ICEMS a může být přičítána různým stylům učení, úrovním stresu nebo nesprávné interpretaci výuky AI. Během této studie nebyli odborným školitelům poskytnuta data o chybách ICEMS. Provedení nového RCT, ve kterém jsou odborní školitelé vybaveni údaji o chybách ICEMS, objasní důvod, proč mnoho školitelů nereagovalo na pokyny AI.

Tato zpráva se řídí Konsolidovanými standardy vykazování pokusů-umělá inteligence (CONSORT-AI) a kontrolním seznamem strojového učení k posouzení chirurgické odbornosti (MLASE).

hypotézy:

1. Verbální zpětná vazba AI přinese mezi účastníky výrazně nižší míru úspěšnosti odezvy než identická chybová zpětná vazba poskytovaná lidskými instruktory.
2. Skóre hodnocení výkonu cvičence bude výrazně vyšší ve dvou různých hodnocených skupinách s lidskými pokyny.
3. Instrukce poskytované učitelem umělé inteligence povedou ke zvýšení úrovně stresu a kognitivní zátěže ve srovnání s verbální chybovou zpětnou vazbou poskytovanou lidskými instruktory.

Primární cíle: Zjistit, jak způsob doručení instrukce o chirurgické chybě ovlivňuje:

1. Reakce účastníka na pokyn, tj. zda chybu opravili, neopravili nebo přehnaně opravili (data shromážděná ICEMS).
2. Celkový chirurgický výkon frekventanta (průměrné odborné skóre na praktických scénářích vypočítané ICEMS, skóre objektivního strukturovaného hodnocení technických dovedností (OSATS) na realistickém scénáři určené dvěma zaslepenými odbornými hodnotiteli).

Sekundární cíl: Zjistit, jak způsob doručení instrukce o chirurgické chybě ovlivňuje afektivní kognitivní odpovědi frekventantů (sebevykazované prostřednictvím dotazníků na 5bodových Likertových škálách).

Prostředí: Neurochirurgická simulace a výukové centrum umělé inteligence McGill University.

Účastníci: Studenti se zapsali do přípravného, ​​prvního nebo druhého ročníku na jedné ze čtyř quebeckých lékařských škol.

Typ: Tříramenná randomizovaná kontrolovaná studie.

Intervence: Účastníci absolvují přibližně 90minutový trénink na NeuroVR (CAE Healthcare), chirurgickém simulátoru virtuální reality (VR), který simuluje subpiální resekci mozkového nádoru. NeuroVR má dva možné scénáře: jednoduchý cvičný scénář a složitý realistický scénář. Účastníci provedou šest opakování cvičného scénáře (každé 5 minut), po kterém bude následovat realistický scénář (13 minut). ICEMS bude průběžně vyhodnocovat výkon během zkoušky. Všichni účastníci obdrží verbální zpětnou vazbu, když ICEMS zjistí chybu v jejich výkonu; nicméně způsob doručení této verbální zpětné vazby se bude mezi skupinami lišit.

• Skupina 1 (kontrola) obdrží verbální zpětnou vazbu přímo od ICEMS, když je zjištěna chyba.
• Skupina 2 (experimentální) obdrží verbální zpětnou vazbu od odborného instruktora vyjádřenou stejnými slovy jako ICEMS.
• Skupina 3 (experimentální) obdrží slovní zpětnou vazbu od odborného instruktora vyjádřenou jejich vlastními slovy.

Verbální zpětná vazba bude založena na čtyřech následujících metrikách: (1) vzdálenost oddělování hrotu nástroje, tj. vzdálenost mezi hroty bipolárních kleští a ultrazvukovou odsávačkou; (2) nízká bipolární síla; (3) vysoká sací síla; (4) vysoká bipolární síla. Účastníci školení budou hodnoceni vždy podle jedné metriky a budou mít možnost zhlédnout ukázkové video na úrovni expertů, než přejdou ke každé nové metrice. Jakmile je metrika zvládnuta, student přejde na následující metriku. Metrika se považuje za „zvládnutou“, když účastník projde celým opakováním, aniž by obdržel zpětnou vazbu.

První cvičný scénář bude sloužit jako výchozí; nebude tedy poskytnuta žádná zpětná vazba. Ve druhém, třetím, čtvrtém a pátém opakování bude poskytnuta zpětná vazba podle detekce chyb ICEMS. V šestém opakování stejně jako v realistickém scénáři nebude poskytnuta žádná zpětná vazba.

Význam: Vzhledem k tomu, že se přístupy k chirurgickému vzdělávání začínají posouvat směrem k rámcům založeným na kompetencích, stává se implementace efektivní zpětné vazby ze vzdělávání AI do chirurgického výcviku zásadní pro optimalizaci chirurgického učení. Výsledky tohoto RCT umožní vyhodnocení a reengineering ICEMS a dalších výukových systémů AI, což může pokročit ve vývoji nejen standardizovaných učebních osnov chirurgického vzdělávání založeného na kompetencích, ale jakékoli technologie učitelů AI závislé na verbální výuce.