Effizienz des verbalen intelligenten Tutorunterrichts in der neurochirurgischen Simulation

Hintergrund: Fachmännisches chirurgisch-technisches Können ist mit verbesserten Patientenergebnissen verbunden; Allerdings bleibt es eine Herausforderung, Anfängern beizubringen, diese Fähigkeiten zu erlernen. Das Intelligent Continuous Expertise Monitoring System (ICEMS) ist eine Deep-Learning-Anwendung, die am Neurosurgical Simulation and Artificial Intelligence Learning Center entwickelt wurde, um die neurochirurgische Ausbildung zu verbessern. Das ICEMS bewertet und trainiert die bimanuelle chirurgische Leistung, indem es kontinuierliches Feedback über mündliche Anweisungen gibt, um die Leistung des Auszubildenden zu verbessern und Fehler zu reduzieren.

Begründung: Eine frühere randomisierte kontrollierte Studie (RCT), die in unserem Zentrum durchgeführt wurde, zeigte, dass intelligente Nachhilfe bei einem simulierten neurochirurgischen Eingriff effektiver ist als Nachhilfe durch Experten (NCT05168150). Eine andere RCT ergab, dass die Leistung von Medizinstudenten als Reaktion auf die ICEMS-Anweisung zur Verringerung der bipolaren Kraftanwendung unterschiedlich war (NCT04700384). Ein agglomerativer Clustering-Algorithmus klassifizierte diese variablen Schülerantworten in drei Gruppen: 53 % befolgten die Anweisung erfolgreich, um den Fehler zu korrigieren, 36 % befolgten die Anweisung nicht und 11 % antworteten übermäßig auf die Anweisung. Diese Reaktionsvariabilität könnte den Nutzen des ICEMS erheblich einschränken und kann auf unterschiedliche Lernstile, Stressniveaus oder Fehlinterpretationen von KI-Anweisungen zurückgeführt werden. Während dieser Studie wurden erfahrenen Trainern keine ICEMS-Fehlerdaten zur Verfügung gestellt. Die Durchführung eines neuen RCT, bei dem erfahrenen Trainern ICEMS-Fehlerdaten zur Verfügung gestellt werden, wird klären, warum viele Auszubildende nicht auf die KI-Anweisungen reagiert haben.

Dieser Bericht folgt den Consolidated Standards of Reporting Trials-Artificial Intelligence (CONSORT-AI) sowie der Checkliste „Machine Learning to Assess Surgical Expertise“ (MLASE).

Hypothesen:

1. Verbales KI-Feedback führt zu deutlich geringeren Erfolgsreaktionsraten bei den Auszubildenden als identisches Fehler-Feedback menschlicher Ausbilder.
2. Die Ergebnisse der Leistungsbeurteilung der Auszubildenden werden in den beiden verschiedenen bewerteten menschlichen Unterrichtsgruppen deutlich höher ausfallen.
3. Der Unterricht durch den KI-Lehrer führt im Vergleich zu verbalen Fehlerrückmeldungen durch menschliche Ausbilder zu einem höheren Stressniveau und einer höheren kognitiven Belastung.

Hauptziele: Bestimmung, wie sich die Art und Weise der Übermittlung von Anleitungen zu chirurgischen Fehlern auf Folgendes auswirkt:

1. Reaktion des Auszubildenden auf die Anweisung, d. h. ob er den Fehler korrigiert, nicht korrigiert oder überkorrigiert hat (vom ICEMS gesammelte Daten).
2. Chirurgische Gesamtleistung des Auszubildenden (durchschnittliche Fachkompetenzbewertung für Übungsszenarien, berechnet vom ICEMS, Objective Structured Assessment of Technical Skills (OSATS)-Bewertung für realistische Szenarien, ermittelt von zwei verblindeten Expertenbewertern).

Sekundäres Ziel: Bestimmung, wie die Art und Weise der Übermittlung chirurgischer Fehleranweisungen die affektiven kognitiven Reaktionen des Auszubildenden beeinflusst (selbstberichtet über Fragebögen auf 5-Punkte-Likert-Skalen).

Rahmen: Lernzentrum für neurochirurgische Simulation und künstliche Intelligenz der McGill University.

Teilnehmer: Studenten, die im Vorbereitungsjahr, im ersten oder zweiten Jahr an einer der vier medizinischen Fakultäten in Quebec eingeschrieben sind.

Design: Eine dreiarmige randomisierte kontrollierte Studie.

Intervention: Die Teilnehmer absolvieren eine etwa 90-minütige Schulung zum NeuroVR (CAE Healthcare), einem chirurgischen Virtual-Reality-Simulator (VR), der eine subpiale Hirntumorresektion simuliert. Der NeuroVR verfügt über zwei mögliche Szenarien: ein einfaches Übungsszenario und ein komplexes realistisches Szenario. Die Teilnehmer führen sechs Wiederholungen des Übungsszenarios (jeweils 5 Minuten) durch, gefolgt vom realistischen Szenario (13 Minuten). Das ICEMS wird die Leistung während des gesamten Versuchs kontinuierlich bewerten. Alle Teilnehmer erhalten eine mündliche Rückmeldung, wenn das ICEMS einen Fehler in ihrer Leistung feststellt; Die Art der Übermittlung dieses verbalen Feedbacks unterscheidet sich jedoch zwischen den Gruppen.

• Gruppe 1 (Kontrolle) erhält eine mündliche Rückmeldung direkt vom ICEMS, wenn ein Fehler erkannt wird.
• Gruppe 2 (experimentell) erhält mündliches Feedback von einem erfahrenen Ausbilder, das in den gleichen Worten wie das ICEMS gehalten wird.
• Gruppe 3 (experimentell) erhält mündliches Feedback von einem fachkundigen Ausbilder in eigenen Worten.

Das verbale Feedback basiert auf vier Metriken wie folgt: (1) Abstand der Instrumentenspitze, d. h. dem Abstand zwischen den Spitzen der bipolaren Pinzette und dem Ultraschallsauger; (2) geringe bipolare Kraft; (3) hohe Ansaugkraft; (4) hohe bipolare Kraft. Die Auszubildenden werden jeweils anhand einer Metrik bewertet und haben die Möglichkeit, sich ein Demonstrationsvideo auf Expertenniveau anzusehen, bevor sie mit der jeweiligen neuen Metrik fortfahren. Sobald eine Metrik beherrscht wird, geht der Auszubildende zur folgenden Metrik über. Eine Metrik gilt als „gemeistert“, wenn der Trainierende eine komplette Wiederholung durchführt, ohne Feedback zu erhalten.

Das erste Übungsszenario dient als Basis; Daher erfolgt keine Rückmeldung. In der zweiten, dritten, vierten und fünften Wiederholung erfolgt eine Rückmeldung entsprechend der ICEMS-Fehlererkennung. Bei der sechsten Wiederholung sowie dem realistischen Szenario erfolgt keine Rückmeldung.

Bedeutung: Da sich die chirurgischen Ausbildungsansätze zunehmend in Richtung kompetenzbasierter Rahmenbedingungen verlagern, wird die Implementierung eines effektiven KI-Lehrfeedbacks in die chirurgische Ausbildung von entscheidender Bedeutung für die Optimierung des chirurgischen Lernens. Die Ergebnisse dieses RCT werden die Evaluierung und Neugestaltung des ICEMS und anderer KI-Nachhilfesysteme ermöglichen, was möglicherweise nicht nur die Entwicklung standardisierter kompetenzbasierter Lehrpläne für die chirurgische Ausbildung vorantreibt, sondern auch jeglicher KI-Nachhilfetechnologie, die auf verbalen Anweisungen basiert.