Testen van de doeltreffendheid van een real-time coachingsysteem met kunstmatige intelligentieSysteemSimulatieTraining van medische studenten

Achtergrond Vooruitgang op het gebied van chirurgische simulatie en kunstmatige intelligentie heeft geresulteerd in de ontwikkeling van intelligente beoordelings- en begeleidingssystemen voor technische vaardigheden om te voldoen aan de behoeften van de op competenties gebaseerde benadering in het medisch onderwijs. Deze nieuwe educatieve hulpmiddelen bieden oplossingen voor standaardisatie en objectiviteit van de beoordeling en training van technische competenties van de leerling, in risicovrije gesimuleerde operatieomgevingen. Deze systemen kunnen een aanvulling vormen op het gouden standaard-leerlingmodel in opleiding in chirurgie en andere procedurele geneeskunde door gedetailleerde informatie te verstrekken over technische vaardigheden, actiegerichte procedurele begeleiding en risicobeoordeling. Dergelijke toepassingen kunnen onderwijzers helpen bij het ontwikkelen van objectieve formatieve en summatieve leerlingbeoordeling en onderwijsmethodologieën.

Achtergrond Het Intelligent Continuous Monitoring System (ICEMS), een kunstmatige intelligentie (AI) deep learning-applicatie, werd ontwikkeld om de chirurgische prestaties continu te beoordelen in intervallen van 0,2 seconden met de mogelijkheid om stagiairs te coachen tot expertniveau en risicodetectie. Dit systeem is betrokken bij een patent aangevraagd getiteld 'Methods and systems for continuous monitoring of task performance on virtual simulators' (2020; patent nr. 05001770-883USPR). Voorheen was er een voorspellende validiteit voor beoordelingsmodule, maar de effectiviteit van dit systeem bij het real-time coachen van stagiairs en risicodetectie moet worden onderzocht.

Onderzoeksdoelstellingen De effectiviteit van een intelligent real-time coachingsysteem vergelijken met de gouden standaard door experts gemedieerde feedback. Om de overdracht van het geleerde tijdens de oefentaken naar het meer complexe realistische scenario te testen.

Hypothesen

1. De ICEMS-feedbackgroep zal aanzienlijk verbeteren in de samengestelde score tussen de eerste poging en de laatste poging in het praktijkscenario.
2. De controlegroep zonder deskundige gemedieerde post-hoc benchmarkfeedback zal in het praktijkscenario niet statistisch verbeteren in de samengestelde score tussen de eerste poging en de laatste poging.
3. De ICEMS-feedbackgroep zal bij de vijfde poging in het oefenscenario een statistisch hogere samengestelde score hebben dan de controlegroep.
4. De ICEMS-feedbackgroep zal een samengestelde score hebben die statistisch niet-inferieur is in vergelijking met de door experts bemiddelde instructiegroep in de vijfde poging van het oefenscenario.
5. De globale OSATS-score van de ICEMS-feedbackgroep zal niet onderdoen voor die van de door experts bemiddelde instructiegroep in het complexe realistische scenario.
6. Die ICEMS-feedback zal geen verschil in emotie of cognitieve belasting opleveren in vergelijking met de door experts bemiddelde instructiegroep.

Specifieke doelstellingen: 1) Beoordelen of de effectiviteit van AI-gemedieerde real-time feedback op maat statistisch gezien niet inferieur is aan door experts gemedieerde persoonlijke feedback bij het verbeteren van de bimanuele chirurgische vaardigheden van medische studenten bij twee virtueel gesimuleerde chirurgische taken.

2) Om te schetsen of verschillende emoties en cognitieve belasting worden uitgelokt door het ICEMS-feedbacksysteem in vergelijking met menselijke instructie

Ontwerp: een driearmige, enkelblinde, gerandomiseerde, gecontroleerde studie van AI-training versus door experts gemedieerde training versus niet-expert-gemedieerde training.

Omgeving: Neurochirurgische simulatie en leercentrum voor kunstmatige intelligentie, Montreal Neurological Institute.

Deelnemers: studenten die zijn ingeschreven in hun voorbereidend jaar of eerste tot vierde jaar op medische scholen in de provincie Quebec.

Taak: Volledige verwijdering van een gesimuleerde oefentumor vijf keer en een complexe gesimuleerde hersentumor één keer met minimale bloeding en schade aan omliggende gesimuleerde gezonde hersenstructuren met behulp van twee chirurgische instrumenten (Ultrasonic Aspirator en Bipolaire tang) met behulp van de NeuroVR (CAE Healthcare) chirurgische simulator.

Interventie: Een enkele trainingssessie van 90 minuten, inclusief zes pogingen tot virtuele subpiale tumorresectie (vijf eenvoudige oefenscenario's en één complex realistisch scenario) met beoordeling en feedback van:

1. het Intelligent Continuous Expertise Monitoring System (ICEMS) (Groep 1)
2. een persoonlijke deskundige instructiefeedback (groep 2)
3. niet-expert gemedieerde post-hoc benchmarkfeedback (Groep 3)

Belangrijkste resultaten en maatregelen:

Het primaire resultaat is verbetering van de chirurgische prestatie in de samengestelde score die wordt beoordeeld door de eerder gevalideerde beoordelingsmodule van het Intelligent Continuous Expertise Monitoring System (ICEMS). Prestatieverbetering wordt gemeten als het samengestelde scoreverschil tussen de pogingen van de deelnemer tijdens de vijf oefenpogingen. De leeroverdracht wordt beoordeeld aan de hand van de samengestelde score die is verkregen in het complexe realistische scenario.

Secundaire uitkomst is de prestatiescore van de deelnemers op de realistische taak die zal worden gescoord door geblindeerde experts met behulp van de Objective Structured Assessment of Technical Skills (OSATS) wereldwijde beoordelingsschaal. Verschillen in kracht van opgewekte emoties worden gemeten met Duffy's Medical Emotional Scale (MES), voor en na de interventie en verschil in cognitieve belasting wordt gemeten met Leppink's Cognitive Load Index (CLI) na de interventie

Deze studie, voor zover de onderzoekers weten, is de eerste toepassing die de effectiviteit van een real-time intelligent feedbacksysteem vergelijkt met de gouden standaard menselijke instructie. Deze studie heeft tot doel efficiënte trainingsmethodologieën te identificeren met behulp van door kunstmatige intelligentie aangedreven chirurgische simulator-trainingsplatforms, vandaar dat stagiairs objectieve, op maat gemaakte technische vaardigheidsbeoordelingen en coaching krijgen met behulp van geavanceerde technologieën.

Statistisch Analyseplan Gegevens van deelnemers worden geanonimiseerd en opgeslagen. Het Intelligent Continuous Expertise Monitoring System (ICEMS) zal worden gebruikt om chirurgische prestaties te scoren met behulp van onbewerkte prestatiegegevens en een prestatiescore te geven met tussenpozen van 0,2 seconde. Voor elke taak wordt een gemiddelde samengestelde score berekend. Binnen en tussen groepen zullen vergelijkingen worden gemaakt om het leren van de eerste poging (basisprestatie) tot de vijfde poging te beoordelen en de verbetering tussen groepen te vergelijken. De samengestelde score op het realistische scenario wordt berekend door de ICEMS om de overdracht van leren te beoordelen. De verbetering van de score van de deelnemer zal worden onderzocht door ANOVA met herhaalde metingen. Rekening houdend met een potentiële effectgrootte van 25%, een statistische power van 0,95 en een significantie van 0,05 heeft deze studie 29 deelnemers in elke groep nodig. De prestatiescore van de deelnemers in de vijfde oefenpoging zal tussen groepen worden vergeleken met behulp van ANOVA om het leren te vergelijken. Dezelfde analyse zal worden gedaan voor de realistische poging om leeroverdracht tussen groepen te vergelijken.

Prestaties in de realistische poging worden beoordeeld door blinde experts met behulp van de OSATS globale beoordelingsschaal, met behulp van prestatievideo van deelnemers. De globale OSATS-score zal worden vergeleken tussen groepen om de effectiviteit van leren te vergelijken met behulp van ANOVA.