Prüfung der Wirksamkeit eines Echtzeit-Coaching-Systems mit künstlicher IntelligenzSystemSimulationTraining von Medizinstudenten

Hintergrund Fortschritte auf den Gebieten der chirurgischen Simulation und der künstlichen Intelligenz haben zur Entwicklung intelligenter Systeme zur Bewertung technischer Fähigkeiten und zu Lernsystemen geführt, um den Anforderungen des kompetenzbasierten Ansatzes in der medizinischen Ausbildung gerecht zu werden. Diese neuartigen Lehrmittel bieten Lösungen für die Standardisierung und Objektivität der Bewertung und Schulung der technischen Kompetenz des Lernenden in risikofreien simulierten Betriebsumgebungen. Diese Systeme können das Goldstandard-Ausbildungsmodell in der Ausbildung in Chirurgie und anderer verfahrensbasierter Medizin ergänzen, indem sie detaillierte Informationen über technische Fähigkeiten, handlungsorientierte Verfahrensführung und Risikobewertung bereitstellen. Solche Anwendungen können Pädagogen dabei helfen, objektive formative und summative Schülerbeurteilungs- und Unterrichtsmethoden zu entwickeln.

Begründung Das Intelligent Continuous Monitoring System (ICEMS), eine Deep-Learning-Anwendung mit künstlicher Intelligenz (KI), wurde entwickelt, um die chirurgische Leistung kontinuierlich in 0,2-Sekunden-Intervallen zu bewerten, mit der Fähigkeit, Auszubildende auf Expertenebene und Risikoerkennung zu coachen. Dieses System ist an einem zum Patent angemeldeten Verfahren mit dem Titel „Methoden und Systeme zur kontinuierlichen Überwachung der Aufgabenleistung in virtuellen Simulatoren“ (2020; Patent Nr. 05001770-883USPR) beteiligt. Zuvor wurde eine Vorhersagevalidität für das Bewertungsmodul bereitgestellt, jedoch muss die Wirksamkeit dieses Systems beim Echtzeit-Coaching von Auszubildenden und der Risikoerkennung untersucht werden.

Forschungsziele Vergleich der Wirksamkeit eines intelligenten Echtzeit-Coaching-Systems mit dem Goldstandard von Experten-vermitteltem Feedback. Um die Übertragung des Gelernten während der Übungsaufgaben auf das komplexere realistische Szenario zu testen.

Hypothesen

1. Die ICEMS-Feedback-Gruppe wird den Composite-Score zwischen dem ersten Versuch und dem letzten Versuch im Praxisszenario deutlich verbessern.
2. Die Kontrollgruppe mit nicht von Experten vermitteltem Post-Hoc-Benchmark-Feedback wird sich in der zusammengesetzten Punktzahl zwischen dem ersten Versuch und dem letzten Versuch im Praxisszenario nicht statistisch verbessern.
3. Die ICEMS-Feedback-Gruppe wird beim fünften Versuch im Praxis-Szenario einen statistisch höheren Composite-Score im Vergleich zur Kontrollgruppe haben.
4. Die ICEMS-Feedbackgruppe wird beim fünften Versuch des Übungsszenarios eine statistisch nicht unterlegene zusammengesetzte Punktzahl im Vergleich zur Experten-vermittelten Unterrichtsgruppe haben.
5. Der globale OSATS-Score der ICEMS-Feedbackgruppe wird dem der von Experten vermittelten Unterrichtsgruppe im komplexen realistischen Szenario nicht unterlegen sein.
6. Das ICEMS-Feedback wird keinen Unterschied in der emotionalen oder kognitiven Belastung im Vergleich zur Experten-vermittelten Unterrichtsgruppe wählen.

Spezifische Ziele: 1) Bewertung, ob die Wirksamkeit von KI-vermitteltem maßgeschneidertem Echtzeit-Feedback dem von Experten vermittelten persönlichen Feedback bei der Verbesserung der bimanuellen chirurgischen Fähigkeiten von Medizinstudenten bei zwei virtuell simulierten chirurgischen Aufgaben statistisch nicht unterlegen ist.

2)Um zu skizzieren, ob durch das ICEMS-Feedbacksystem im Vergleich zu menschlichem Unterricht unterschiedliche Emotionen und kognitive Belastungen ausgelöst werden

Design: Eine dreiarmige, einfach verblindete, randomisierte, kontrollierte Studie zum KI-Training im Vergleich zu durch Experten vermitteltem Training im Vergleich zu nicht durch Experten vermitteltem Training.

Setting: Neurosurgical Simulation and Artificial Intelligence Learning Centre, Montreal Neurological Institute.

Teilnehmer: Studenten, die in ihrem Vorbereitungsjahr oder im ersten bis vierten Jahr an medizinischen Fakultäten in der gesamten Provinz Quebec eingeschrieben sind.

Aufgabe: Vollständige Entfernung eines simulierten Übungstumors fünfmal und eines komplexen simulierten Gehirntumors einmal mit minimaler Blutung und Beschädigung der umgebenden simulierten gesunden Gehirnstrukturen unter Verwendung von zwei chirurgischen Instrumenten (Ultraschall-Aspirator und Bipolarzange) unter Verwendung des NeuroVR (CAE Healthcare)-Chirurgiesimulators.

Intervention: Eine einzelne 90-minütige Trainingseinheit, einschließlich sechs virtueller subpialer Tumorresektionsversuche (fünf einfache Übungsszenarien und ein komplexes realistisches Szenario) mit Bewertung und Feedback von:

1. das Intelligent Continuous Expertise Monitoring System (ICEMS) (Gruppe 1)
2. ein persönliches Experten-Instruktions-Feedback (Gruppe 2)
3. Nicht-Experten-vermitteltes Post-hoc-Benchmark-Feedback (Gruppe 3)

Hauptergebnisse und Maßnahmen:

Das primäre Ergebnis ist die Verbesserung der chirurgischen Leistung im Composite-Score, der durch das zuvor validierte Bewertungsmodul des Intelligent Continuous Expertise Monitoring System (ICEMS) bewertet wurde. Die Leistungsverbesserung wird als zusammengesetzte Punktzahldifferenz zwischen den Versuchen der Teilnehmer während der fünf Übungsversuche gemessen. Der Lerntransfer wird anhand der im komplexen realistischen Szenario erzielten zusammengesetzten Punktzahl bewertet.

Das sekundäre Ergebnis ist die Leistungspunktzahl der Teilnehmer bei der realistischen Aufgabe, die von verblindeten Experten anhand der globalen Bewertungsskala Objective Structured Assessment of Technical Skills (OSATS) bewertet wird. Unterschiede in der Stärke der ausgelösten Emotionen werden vor und nach der Intervention mit der Medical Emotional Scale (MES) von Duffy gemessen, und die kognitive Belastung wird nach der Intervention mit dem Cognitive Load Index (CLI) von Leppink gemessen

Diese Studie ist nach Kenntnis der Forscher die erste Anwendung, die die Wirksamkeit eines intelligenten Echtzeit-Feedbacksystems mit dem Goldstandard menschlicher Anweisungen vergleicht. Diese Studie zielt darauf ab, effiziente Trainingsmethoden unter Verwendung von mit künstlicher Intelligenz betriebenen chirurgischen Simulator-Trainingsplattformen zu identifizieren, daher erhalten die Auszubildenden eine objektive, maßgeschneiderte Bewertung der technischen Fähigkeiten und Coaching unter Verwendung modernster Technologien.

Die Teilnehmerdaten des statistischen Analyseplans werden anonymisiert und gespeichert. Das Intelligent Continuous Expertise Monitoring System (ICEMS) wird verwendet, um die chirurgische Leistung anhand von Rohleistungsdaten zu bewerten und in 0,2-Sekunden-Intervallen eine Leistungsbewertung bereitzustellen. Für jede Aufgabe wird eine durchschnittliche zusammengesetzte Punktzahl berechnet. Innerhalb und zwischen den Gruppen werden Vergleiche durchgeführt, um das Lernen vom ersten Versuch (Ausgangsleistung) bis zum fünften Versuch zu bewerten und die Verbesserung zwischen den Gruppen zu vergleichen. Die zusammengesetzte Punktzahl für das realistische Szenario wird vom ICEMS berechnet, um den Lerntransfer zu bewerten. Die Verbesserung der Teilnehmerpunktzahl wird durch ANOVA mit wiederholten Messungen untersucht. Unter Berücksichtigung einer potenziellen Effektgröße von 25 %, einer statistischen Power von 0,95 und einer Signifikanz von 0,05 muss diese Studie 29 Teilnehmer in jeder Gruppe rekrutieren. Die Leistungspunktzahl der Teilnehmer im fünften Übungsversuch wird zwischen den Gruppen unter Verwendung von ANOVA verglichen, um das Lernen zu vergleichen. Die gleiche Analyse wird für den realistischen Versuch durchgeführt, den Lerntransfer zwischen Gruppen zu vergleichen.

Die Leistung im realistischen Versuch wird von blinden Experten anhand der globalen OSATS-Bewertungsskala unter Verwendung von Teilnehmerleistungsvideos bewertet. Der globale OSATS-Score wird zwischen den Gruppen verglichen, um die Wirksamkeit beim Lernen mit ANOVA zu vergleichen.