Auswirkung intelligenter Tutor-induzierter Pausen auf das Erlernen simulierter chirurgischer Fertigkeiten

Hintergrund: Die Bewertung chirurgischer Fähigkeiten verlagert sich von einem quantitativen, zeitbasierten Ansatz hin zu einer qualitativen Bewertung der Kompetenz eines Auszubildenden. Während chirurgischer Eingriffe überwachen die Ausbilder kontinuierlich die Leistung der Auszubildenden und wenden verschiedene Lehrmethoden an, die auf die Verbesserung des Erwerbs chirurgischer Fertigkeiten abzielen. Eine dieser Methoden besteht darin, den Vorgang zu unterbrechen, entweder um die Risiken zu erläutern, die mit der Leistung des Auszubildenden verbunden sind, oder um die Best-Practice-Technik(en) persönlich zu demonstrieren. Es hat sich gezeigt, dass das Innehalten in solchen Situationen den Lernenden ermöglicht, bewährte Verfahren neu zu bewerten, negative Impulse zu unterbrechen und Lernen zu ermöglichen. Insbesondere kann das Pausieren nach einem Fehler die Einführung neuer Informationen verhindern, die die Fähigkeit beeinträchtigen könnten, über den Fehler nachzudenken, und den Stress vor dem Fortfahren verringern.

Begründung: Das ICEMS, ein KI-Lehrsystem, wurde von unserer Gruppe unter Verwendung eines Deep-Learning-Algorithmus für das Langzeit-Kurzzeitgedächtnis entwickelt, um die chirurgische Leistung zu bewerten und Anleitung zu geben. Dies wurde dann in die NeuroVR-Simulationsplattform integriert. Mithilfe dieses KI-Systems konnte in zwei früheren randomisierten Kontrollstudien (RCTs) durch die Bereitstellung von verbalen Rückmeldungen zur Fehlererkennung das Potenzial intelligenter Nachhilfe zur Verbesserung des Lernens demonstriert werden. Allerdings enthielten diese RCTs keine Pausierungsmethode nach der Fehlererkennung. Um die Mentorschaft eines erfahrenen Chirurgen in einem klinischen Umfeld weiter nachzuahmen, wurde die ICEMS-Plattform so geändert, dass sie sowohl eine Pause einleitet, wenn ein Fehler des Lernenden festgestellt wird, als auch ein Video bereitstellt, das die Leistung des Experten demonstriert.

Forschungsziele: Vergleich der Wirkung der Einbeziehung einer Pause nach der Instruktion durch einen intelligenten Tutor mit der alleinigen Instruktion durch einen intelligenten Tutor auf den Erwerb chirurgischer Fertigkeiten und den Transfer von Fertigkeiten durch Studierende im Medizin- und Vormedizinbereich.

Hypothesen:

1. Die Pause mit Videogruppe wird die Gesamtpunktzahl zwischen der ersten und sechsten Wiederholung des Übungsszenarios deutlich verbessern.
2. Die Gruppe „Pause mit Video“ weist in der sechsten Wiederholung des Übungsszenarios eine statistisch höhere Gesamtpunktzahl auf als die Kontrollgruppe.
3. Die Gruppe „Pause mit Video“ hat in der sechsten Wiederholung des Übungsszenarios eine statistisch nicht schlechtere Gesamtpunktzahl als die Gruppe „Pause ohne Video“.
4. Die Gruppe „Pause mit Video“ weist einen globalen OSATS-Score auf, der statistisch gesehen höher ist als der der Kontrollgruppe im realistischen Szenario.
5. Die Gruppe „Pause mit Video“ weist im realistischen Szenario einen globalen OSATS-Wert auf, der statistisch gesehen nicht schlechter ist als der der Gruppe „Pause ohne Video“.
6. Die Pause mit Videogruppe wird keinen Unterschied in der emotionalen Belastung oder kognitiven Belastung im Vergleich zur Kontrollgruppe bewirken.

Bestimmte Ziele:

1. Es sollte beurteilt werden, ob die Wirksamkeit von KI-vermitteltem, maßgeschneidertem Echtzeit-Feedback in Kombination mit einer Pausenmethodik bei der Verbesserung der chirurgischen Fähigkeiten von Medizinstudenten bei zwei Virtual-Reality-Operationsaufgaben statistisch dem KI-vermittelten, maßgeschneiderten Echtzeit-Feedback allein überlegen ist.
2. Um festzustellen, ob durch die Pausenmethode andere Emotionen und kognitive Belastungen hervorgerufen werden als durch das bloße Hören des KI-vermittelten Feedbacks.

Design: Eine dreiarmige, einfach verblindete, randomisierte, kontrollierte Studie zum KI-Feedback mit Pausenmethodik und einem Experten-Demonstrationsvideo im Vergleich zu KI-Feedback mit nur Pausenmethodik im Vergleich zu KI-Feedback allein.

Rahmen: Lernzentrum für neurochirurgische Simulation und künstliche Intelligenz.

Teilnehmer: Studierende, die im Vorbereitungsjahr sowie im ersten und zweiten Jahr an einer medizinischen Fakultät in Quebec eingeschrieben sind.

Aufgabe: Resezieren Sie mithilfe des NeuroVR-Chirurgiesimulators von CAE Healthcare sechsmal einen simulierten Übungstumor und einmal einen komplexen simulierten realistischen Gehirntumor mit einem Ultraschallsauger und einer bipolaren Zange, während Sie gleichzeitig Blutungen minimieren und die umgebenden, simulierten gesunden Gehirnstrukturen erhalten.

Intervention: Eine 90-minütige Trainingseinheit, bei der die Teilnehmer sieben simulierte subpiale Tumorresektionsversuche durchführen (sechs Wiederholungen eines einfachen Übungsszenarios und ein Versuch eines komplexen realistischen Szenarios). Alle Teilnehmer erhalten akustisches Feedback vom ICEMS, unterscheiden sich jedoch in den folgenden Punkten:

1. Führen Sie den Vorgang kontinuierlich durch (d. h. ohne Pause) (Gruppe 1);
2. Eine Pause, gefolgt von einer Bedenkzeit (Gruppe 2);
3. Eine Pause, gefolgt von einem Demonstrationsvideo auf Expertenniveau und einer Reflexionsphase (Gruppe 3).

Das akustische Feedback basiert auf 4 Metriken:

1. Abstand der Instrumentenspitze;
2. Geringe bipolare Kraft;
3. Hohe Saugkraft;
4. Hohe bipolare Kraft. Anfänglich erfolgt die Rückmeldung nur auf Grundlage der ersten Metrik (Abstand der Instrumentenspitze). Sobald jedoch eine Wiederholung ohne Feedback abgeschlossen ist, wird bei der darauffolgenden Wiederholung die nächste Metrik in der Liste oben bewertet und so weiter und so weiter.

Wichtigste Ergebnisse und Maßnahmen:

Die beiden co-primären Ergebnisse sind:

1. Die Verbesserung der chirurgischen Leistung, wie durch den zusammengesetzten Score vorgegeben, der vom zuvor validierten Bewertungsmodul des ICEMS berechnet wurde. Die Leistungsverbesserung wird anhand der Differenz der Gesamtpunktzahl zwischen jeder der 6 Wiederholungen des Übungsszenarios gemessen. Der Lerntransfer wird anhand der Gesamtpunktzahl des Teilnehmers für das komplexe realistische Szenario gemessen.
2. Die Leistungsbewertung der Teilnehmer im komplexen realistischen Szenario, bewertet von zwei verblindeten Experten anhand der globalen Bewertungsskala Objective Structured Assessment of Technical Skills (OSATS).

Das sekundäre Ergebnis sind die Unterschiede in der Stärke der hervorgerufenen Emotionen, gemessen vor dem Übungsszenario, unmittelbar vor dem realistischen Szenario und nach Abschluss aller Versuche mithilfe der Duffy's Medical Emotional Scale (MES). Die kognitive Belastung wird auch nach Abschluss aller Aufgaben mithilfe des Cognitive Load Index (CLI) von Leppink gemessen. Beide Ergebnisse werden anhand von Selbstberichten gemessen.

Statistischer Analyseplan: Teilnehmerdaten werden anonymisiert und gespeichert. Das ICEMS bewertet die chirurgische Leistung des Teilnehmers und liefert in Abständen von 0,2 Sekunden während jeder Wiederholung der simulierten chirurgischen Aufgabe eine Leistungsbewertung. Anschließend wird für jede Wiederholung eine durchschnittliche Gesamtpunktzahl berechnet. Mithilfe von ANCOVA wird die Verbesserung der Leistung und des Lernens der Teilnehmer durch Vergleich der zusammengesetzten Punktzahl der ersten Wiederholung des Übungsszenarios (Grundlinie) und der zusammengesetzten Punktzahl der sechsten Wiederholung (summativ) bewertet. In der Zwischenzeit wird der zusammengesetzte Score des komplexen realistischen Szenarios verwendet, um den Lerntransfer mithilfe einer einfaktoriellen ANOVA zu bewerten. Mit einer Effektstärke von 0,25 und einer Signifikanz von 0,05 bietet eine Gesamtstichprobengröße von 129 eine Aussagekraft von 80 % zur Erkennung einer signifikanten Wechselwirkung.

Videos der Teilnehmerleistung im komplexen realistischen Szenario werden von zwei verblindeten Expertenbewertungen anhand der globalen Bewertungsskala von OSATS bewertet. Der OSATS-Score wird zwischen den Gruppen mithilfe einer einfaktoriellen ANOVA analysiert, um die Effizienz des Lernens und die Beibehaltung von Fähigkeiten zu vergleichen.

Emotionale Veränderungen vor, während und nach dem Lernen in den simulierten Szenarien werden mithilfe einer zweifaktoriellen gemischten ANOVA bewertet, während eine einfaktorielle ANOVA zur Beurteilung der kognitiven Belastung nach dem Lernen verwendet wird.