KI-generiertes Feedback in sozialen robotischen virtuellen Patienten

Das übergeordnete Ziel dieses Projekts ist zu untersuchen, ob ein System für direktes Feedback, das in eine KI-gestützte soziale Roboter-VP-Plattform integriert ist, im Training von klinischer Entscheidungsfindung (CR) und Kommunikationsfähigkeiten für Medizinstudierende effektiver ist als dieselbe KI-gestützte soziale Roboter-VP-Plattform ohne Feedbacksystem.

Ein höheres Wissen in diesem Forschungsgebiet trägt zu einer optimierten Nutzung neuer Technologien neben anderen Bildungsressourcen bei, um bedeutungsvolle Lernergebnisse zu fördern, einschließlich Supervision und Patientenkontakten. Das kurzfristige und langfristige Ziel ist, die medizinische Ausbildungsumgebung zu verbessern, um eine bessere Gesundheitsversorgung für Patienten mit rheumatischen Erkrankungen zu gewährleisten, während es auch auf andere medizinische Disziplinen anwendbar ist. Während es noch verfeinert wird, bietet diese Bildungsaktivität Studierenden die Möglichkeit, in einer sicheren und interaktiven Umgebung zu trainieren.

Hintergrund:

In der heutigen Gesundheitsversorgung werden die meisten Dienstleistungen in ambulanten Kliniken und Tageskliniken erbracht, was auch in der Rheumatologie der Fall ist. Ein erheblicher Teil der Ausbildung in Gesundheitsberufen (HPE) findet jedoch weiterhin in stationären Einrichtungen statt, wo es eine Herausforderung bleibt, sicherzustellen, dass hospitalisierte Patienten mit spezifischen Lernergebnissen übereinstimmen. Die Patienten, die eine Krankenhausaufnahme benötigen, haben typischerweise langwierige Erkrankungen, die oft mit komplexen Krankheitsmanifestationen und Komplikationen sowie erheblichen medizinischen Komorbiditäten einhergehen. Die COVID-19-Pandemie hat zusätzliche Barrieren für Studierende aufgezeigt, sich mit Lehrkräften, Patienten und Kommilitonen zu engagieren. Diese Situation, kombiniert mit früheren Vorschlägen für alternative Ansätze zur theoretischen und praktischen Kompetenzvermittlung in der HPE-Ausbildung, unterstreicht den dringenden Bedarf an innovativen Lernaktivitäten, die bedeutungsvolle Interaktionen zwischen Studierenden und Patientenfallszenarien ermöglichen, die in HPE-Lehrplänen repräsentiert sind.

Virtuelle Patienten (VP) sind interaktive digitale Simulationen klinischer Szenarien, die für Bildungszwecke konzipiert sind und durch eine Vielzahl von Systemen und Ansätzen repräsentiert werden. Eine grundlegende Komponente von VP-Simulationen ist ihre interaktive Schnittstelle, die es Nutzern ermöglicht, auf verschiedene Weise mit Patienten zu interagieren: Anamneseerhebung, Durchführung körperlicher Untersuchungen und Umsetzung von Untersuchungsstrategien. Diese umfassenden Interaktionsmöglichkeiten ermöglichen es Nutzern, wesentliche Informationen zu sammeln, um Diagnosen zu stellen und geeignete Behandlungspläne für ihre VPs zu entscheiden.

Die Rheumatologie-Klinik des Karolinska Universitätskrankenhauses hat klinische Praktika für Medizinstudierende in den letzten 15 Jahren ergänzt, um sicherzustellen, dass Studierende mit repräsentativen Patienten interagieren, indem VP-Fälle mit Computersoftware wie ReumaCase und Virtual Interactive Case Simulator (VIC) integriert wurden. Diese Plattformen verkörpern semilineare VP-Systeme, die es Nutzern ermöglichen, frei zwischen den vorgegebenen Punkten der anfänglichen Patientenpräsentation und abschließenden diagnostischen und Behandlungsentscheidungen zu navigieren. Die HPE-Forschung hat neuartige Lernansätze hervorgebracht, einschließlich optimierter VP-Implementierungsstrategien und Empfehlungen zur Entwicklung von klinischer Entscheidungsfindung (CR) durch VP-Praxis. Während HPE-Studierende VPs als wertvolle Bildungsinstrumente für das CR-Training anerkennen, räumen sie ein, dass diese Simulationen die Komplexität und Interaktivität echter Patientenbegegnungen vermissen lassen.

Während CR-Fähigkeiten in der medizinischen Ausbildung wichtig sind, argumentieren einige, dass Empathie eine der wichtigsten Fähigkeiten von Gesundheitsfachkräften in der Patientenversorgung ist. Es hat sich gezeigt, dass empathische Fähigkeiten von Gesundheitsdienstleistern mit besseren Gesundheitsergebnissen für Patienten verbunden sind und das Hospitalisierungsrisiko verringern. In der medizinischen Grundausbildung wird empathisches Verhalten typischerweise durch Rollenspiele mit Studierenden, Schauspielern oder Lehrkräften trainiert, die standardisierte Patienten darstellen, die repräsentative Lehrbuch-Erkrankungen sind. Standardisierte Patienten können jedoch eine kostspielige Option sein, und Verfügbarkeitsaspekte können manchmal die Praxis empathischen Verhaltens behindern. Eine Alternative dazu könnten VPs sein, die authentischere und interaktivere Kommunikationsformen ermöglichen.

Jüngste technologische Fortschritte haben verbesserte interaktive Methoden zwischen Nutzern und VPs eingeführt, insbesondere durch künstliche Intelligenz (KI) und soziale Robotik. Die Forscher haben eine neuartige Plattform entwickelt, die Social AI-enhanced Robotic Interface (SARI) genannt wurde und den sozialen Roboter Furhat mit dem großen Sprachmodell (LLM) Chat-Generative Pretrained Transformer (Chat-GPT) kombiniert. Diese neuartige Plattform wurde für Medizinstudierende an der Rheumatologie-Klinik des Karolinska Universitätskrankenhauses implementiert, um ihr Training während klinischer Praktika neben konventionellen computerbasierten VP-Begegnungen (VIC) zu ergänzen. Erste Ergebnisse deuten darauf hin, dass Studierende wahrnehmen, dass SARI im Vergleich zu einer konventionellen computerbasierten Plattform eine authentischere und interaktivere VP-Erfahrung bei der Entwicklung von CR-Fähigkeiten bietet.

Dieses Projekt zielt darauf ab, die Wirksamkeit von SARI als VP-Plattform für Medizinstudierende zu evaluieren, indem verglichen wird, ob SARI in Kombination mit einem integrierten KI-generierten direkten Feedbacksystem die klinische Leistung bei der Anamneseerhebung weiter verbessert.

Vor dieser Studie haben die Forscher insgesamt zehn VP-Fälle entwickelt, die implementiert wurden und derzeit für klinische Praktika an der Abteilung für Rheumatologie des Karolinska Universitätskrankenhauses genutzt werden. Die Hälfte dieser Fälle wurde in der computerbasierten Plattform VIC entwickelt und die andere Hälfte in der KI-gestützten sozialen Roboterplattform SARI. Die VP-Fälle in beiden Plattformen wurden gemäß spezifischen Empfehlungen für die VP-Plattformentwicklung erstellt und werden kontinuierlich von Medizinstudierenden durch direkte (mündliches Feedback und Evaluationsbögen) und indirekte (aus der Analyse von Forschungsdaten) Rückmeldungen evaluiert.

Alle VP-Fälle sind nun Teil der Bildungsaktivität "Die Virtuelle Ambulanz", die als Ergänzung zu klinischen Praktika in der Rheumatologie dient. Innerhalb dieser Aktivität nehmen alle Medizinstudierenden des sechsten Semesters vom Karolinska Institut während einer einwöchigen Praktikumszeit in der Rheumatologie an eineinhalb Arbeitstagen teil. "Die Virtuelle Ambulanz" läuft seit dem Frühjahr 2024 an der Klinik und hostet etwa 150 Studierende pro Semester über einen Zeitraum von sechs Wochen. In dieser Bildungsaktivität führen alle Studierenden alle einzigartigen VP-Fälle durch und nehmen an Nachbesprechungsseminaren mit beratenden Rheumatologen nach jedem Fall teil, um Fragen zum Fallinhalt und den repräsentierten rheumatischen Erkrankungen zu diskutieren. Zu Beginn der Aktivität werden alle Studierenden gebeten, an dem Forschungsprojekt teilzunehmen, indem sie die VP-Fälle evaluieren, um ihren Mehrwert weiter zu verbessern und zu untersuchen, unter Verwendung validierter Indizes für die VP-Plattformentwicklung. Nach Zustimmung zur Teilnahme und Unterzeichnung einer Einwilligungserklärung wird jede Interaktion der Studierenden mit SARI als Audiodatei gespeichert und in Echtzeit transkribiert. Bis heute haben etwa 400 Studierende mit den fünf VP-Fällen in SARI interagiert, was zu fast 2000 einzigartigen VP-Interaktionen geführt hat.

Die Forscher haben eine erste Evaluation von SARI durchgeführt und seine Leistung in der selbstwahrgenommenen Aneignung von CR-Fähigkeiten bei Medizinstudierenden im Vergleich zu VIC bewertet, wobei sie 2023 gemischte quantitative und qualitative Methoden nutzten. Fünfzehn Medizinstudierende wurden eingeschlossen und absolvierten denselben VP-Fall sowohl in SARI als auch in VIC. Die selbstwahrgenommene VP-Erfahrung der Studierenden mit Fokus auf CR-Training wurde unter Verwendung eines zuvor validierten Index für die VP-Plattformentwicklung bewertet [23]. Darüber hinaus wurden vertiefte Interviews mit 8 Medizinstudierenden durchgeführt. Diese erste Evaluation zeigte signifikante Vorteile zugunsten von SARI für das Thema Authentizität sowie den Lerneffekt der VP-Begegnung gemäß vordefinierter Themen im VP-Evaluationsfragebogen. Entlang der Analyse dieser vordefinierten Themen wurde eine thematische Analyse der Daten aus den vertieften Interviews durchgeführt, die zu vier Themen führte. Studierende erlebten SARI als überlegen gegenüber VIC im Training von CR, Kommunikation und emotionalen Fähigkeiten.

Während des Frühjahrs 2024 nahmen insgesamt 23 Studierende aus der Virtuellen Ambulanz an vertieften Interviews als Fortsetzungsprojekt teil, das ihre Wahrnehmungen des Mehrwerts von SARI und VIC hinsichtlich der Aneignung von CR-Fähigkeiten adressierte. Für diese Studie erstellten die Forscher 4 zusätzliche VP-Fälle in jeder Plattform. Darüber hinaus nahmen alle Studierenden an Seminaren teil, die nach Abschluss jedes Falls stattfanden, um Supervision während echter Patientenbegegnungen nachzuahmen. Die thematische Analyse vollständig transkribierter Interviews ergab ähnliche Befunde: Studierende fanden SARI im Vergleich zu VIC authentischer und ansprechender und erlebten, dass SARI hochinteraktive Kommunikationsmöglichkeiten ermöglichte und Emotionen ausdrücken konnte, was insgesamt ein realistisches Erlebnis bot. SARI erleichterte aktives Lernen, Hypothesengenerierung und adaptives Denken in größerem Maße als VIC, indem es Studierenden erlaubte, ihre eigenen Fragen zu formulieren, anstatt zwischen vorgegebenen Optionen für die Anamneseerhebung zu wählen.

Vor VP-Interaktionen erhalten Studierende strukturiertes Training in Anamneseerhebung, das sowohl allgemeine Aspekte (anwendbar über medizinische Fachgebiete hinweg) als auch rheumatologiespezifische Komponenten abdeckt. Dieses vorbereitende Training stellt sicher, dass Studierende grundlegendes Wissen haben, bevor sie mit den VP-Fällen interagieren.

Studierende arbeiten typischerweise in Paaren oder kleinen Gruppen von drei Personen während VP-Interaktionen, wobei ein Studierender bei jeder Patientenbegegnung die führende Rolle übernimmt. Dieser kollaborative Ansatz ist konsistent mit Evidenz, die Peer-Learning im VP-basierten klinischen Entscheidungsfindungstraining unterstützt. Der führende Studierende führt die primäre Interaktion mit dem VP durch, während andere Gruppenmitglieder beobachten und zu nachfolgender Diskussion und Diagnoseformulierung beitragen können.

Die Social AI-enhanced Robotic Interface (SARI):

SARI repräsentiert eine neuartige VP-Modalität, die soziale Robotik mit großem Sprachmodell (LLM) künstlicher Intelligenz integriert. Die Plattform kombiniert den sozialen Roboter Furhat (entwickelt am KTH Royal Institute of Technology, Stockholm) mit GPT-4o-mini-Sprachmodellen von OpenAI.

Der Furhat-Roboter besteht aus einem physischen Roboter-Kopf, der auf einem Ständer montiert ist und ein rückprojiziertes animiertes Gesicht aufweist, das Gesichtsausdrücke und Lippenbewegungen synchron zur Sprache anzeigt. Der Roboter enthält ein Mikrofon-Array für Spracherkennung und Lautsprecher für Audioausgabe. Die physische Präsenz des Roboters im Raum schafft, was Forscher als "situative Interaktion" bezeichnen, wobei der Roboter tatsächlichen physischen Raum einnimmt, anstatt nur als bildschirmbasierte Schnittstelle zu existieren.

Das VP-Dialogsystem arbeitet über den folgenden technischen Workflow:

1. Spracherkennung: Die Sprache der Studierenden wird über das Mikrofon-Array des Roboters erfasst und mit automatischer Spracherkennung (ASR) in Text umgewandelt.

2. Dialogverarbeitung: Der transkribierte Studierenden-Input wird kombiniert mit:

   • Einer detaillierten Patientenfallbeschreibung (einschließlich Anamnese, Symptome, Untersuchungsbefunde und Persönlichkeitsmerkmale)
   • Den letzten 10 Dialogwechseln (um Konversationskontext beizubehalten, während übermäßiger Token-Verbrauch vermieden wird)
   • Systemanweisungen, die das LLM anweisen, aus der Perspektive des Patienten zu antworten, anstatt als allgemeiner Assistent
3. Antwortgenerierung: Das LLM generiert kontextuell angemessene Antworten basierend auf dem Patientenfall und der Gesprächshistorie.
4. Emotionsmodellierung: An spezifischen Ankerpunkten während des Gesprächs generiert das LLM auch Anweisungen für angemessene Gesichtsausdrücke (z.B. besorgt, erleichtert, ängstlich, verwirrt) basierend auf dem Konversationskontext. Das System wählt aus einem vordefinierten Satz von Ausdrücken, die in der Furhat-Software verfügbar sind.
5. Sprachsynthese: Generierte Textantworten werden mit Text-to-Speech (TTS)-Technologie in natürlich klingende Sprache umgewandelt, wobei das animierte Gesicht synchronisierte Lippenbewegungen und den ausgewählten emotionalen Ausdruck anzeigt.
6. Transkription: Der gesamte Dialog wird automatisch in Echtzeit transkribiert und sicher gespeichert für nachfolgende Feedbackgenerierung und Forschungsanalyse.

Jeder VP-Fall folgt etablierten Prinzipien für die VP-Entwicklung, einschließlich:

• Klare Lernziele, die mit Lehrplananforderungen übereinstimmen
• Realistische Patientenpräsentationen basierend auf typischen klinischen Szenarien
• Angemessenes Komplexitätsniveau für Medizinstudierende im sechsten Semester
• Integration sowohl häufiger Erkrankungen als auch diagnostisch herausfordernder Präsentationen
• Einbeziehung relevanter psychosozialer Faktoren und Patientenbedenken

Alle VP-Fälle werden auf Englisch präsentiert, um internationale Austauschstudierende im Programm zu berücksichtigen. Standard-Labortestpanels mit fallspezifischen Ergebnissen werden neben jedem Fall bereitgestellt.

Die VP-Fälle repräsentieren diverse rheumatologische Erkrankungen einschließlich entzündlicher Arthritiden, Bindegewebserkrankungen und muskuloskelettaler Störungen. Jeder Fall erfordert von Studierenden eine umfassende Anamneseerhebung, einschließlich Symptomcharakterisierung, Funktionsbewertung, Medikationsanamnese und relevanter Systemübersicht.

Das in dieser Studie als Intervention verwendete Feedbacksystem nutzt einen ausgeklügelten zweistufigen Algorithmus, der iterativ in Zusammenarbeit mit beratenden Rheumatologen entwickelt wurde:

Stufe 1: Bewertungsmodell

Die erste Stufe analysiert das vollständige Studierenden-VP-Dialogtranskript unter Verwendung einer vordefinierten Bewertungsmatrix. Diese Matrix bewertet mehrere Dimensionen der klinischen Leistung:

Kommunikationsfähigkeiten:

• Angemessenes Eröffnen der Konsultation
• Beziehungsaufbau mit dem Patienten
• Verwendung klarer, jargonfreier Sprache
• Demonstration von aktivem Zuhören
• Zeigen von Empathie und Adressieren von Patientenbedenken
• Angemessenes Beenden der Konsultation

Allgemeine Anamneseerhebung:

• Erhebung der medizinischen Vorgeschichte
• Aktuelle Medikation und Allergien
• Familienanamnese relevanter Erkrankungen
• Sozialanamnese (Beruf, Lebenssituation, Unterstützungssysteme)
• Lebensstilfaktoren (Rauchen, Alkohol, Bewegung)
• Systemübersicht

Rheumatologiespezifische Anamneseerhebung:

• Systematische Gelenksymptombewertung
• Schmerzcharakterisierung (Beginn, Ort, Dauer, Qualität, Ausstrahlung, verstärkende/erleichternde Faktoren)
• Funktionelle Auswirkungsbewertung (Aktivitäten des täglichen Lebens, Arbeitsfähigkeit)
• Dauer und Muster der Morgensteifigkeit
• Extraartikuläre Manifestationen
• Mustererkennung für entzündliche versus mechanische Symptome

Komponenten der klinischen Entscheidungsfindung:

• Systematischer Ansatz zur Informationssammlung
• Erkennung von Symptommustern und klinischer Signifikanz
• Angemessene Breite der Differentialdiagnosebetrachtung
• Logische Progression durch die Anamneseerhebung

Das Bewertungsmodell nutzt das LLM, um jeden Dialog gegen diese Matrix zu evaluieren und strukturierte Bewertungen von Stärken und Verbesserungsbereichen über diese Domänen hinweg zu generieren.

Stufe 2: Feedbackgenerierung

Die zweite Stufe transformiert die strukturierte Bewertung aus Stufe 1 in lesbares, konstruktives schriftliches Feedback. Die Feedbackgenerierung nutzt sorgfältig gestaltete Prompts, die das LLM anweisen:

• Feedback in einem unterstützenden, pädagogischen Ton zu präsentieren
• Spezifische Beispiele aus dem Dialog des Studierenden zu geben
• Stärken anzuerkennen, bevor Verbesserungsbereiche adressiert werden
• Konkrete Vorschläge zur Verbesserung anzubieten
• Sich auf Lernen statt auf Bewertung zu konzentrieren

Feedbackinhalt und -umfang Studierende erhalten unmittelbar nach jeder von fünf festgelegten VP-Begegnungen etwa eine Seite (300-500 Wörter) strukturiertes schriftliches Feedback. Das Feedback konzentriert sich spezifisch auf Anamneseerhebungsfähigkeiten und adressiert nicht diagnostische Genauigkeit oder Behandlungsentscheidungen, da diese Aspekte in nachfolgenden Seminaren mit beratenden Rheumatologen behandelt werden.

Die Kontrollgruppe absolviert identische VP-Fälle unter Verwendung derselben SARI-Plattform, erhält jedoch kein KI-generiertes Feedback. Beide Gruppen erhalten jedoch äquivalente Exposition gegenüber der sozialen Roboter-VP-Technologie, nehmen an identischen fallspezifischen Seminaren nach Fallabschluss mit beratenden Rheumatologen teil und haben Zugang zu Dialogtranskripten zur Selbstüberprüfung. Der einzige systematische Unterschied ist das Vorhandensein oder Fehlen von KI-generiertem Feedback.

Die Bewertung erfolgt unter Verwendung einer OSCE-basierten (Objective Structured Clinical Examination) Struktur mit standardisierten Patienten (SPs) nach Interaktion mit allen verfügbaren VPs in SARI. SPs erhalten schriftliche Fallinformationen, die eine Patientenpräsentation, Symptomanamnese und relevanten Hintergrund beschreiben. Die SPs erhalten auch Training in konsistenten Antworten auf gängige Frageformate und Anweisungen zu angemessenen emotionalen Reaktionen, nonverbaler Kommunikation und Handhabung unerwarteter Fragen.

Die in dieser Studie verwendete OSCE-Matrix wurde kollaborativ mit erfahrenen beratenden Rheumatologen basierend auf Entrustable Professional Activity (EPA)-Rahmenwerken spezifisch für Anamneseerhebungskompetenzen entwickelt. Die Matrix durchlief Pilot-Tests und Verfeinerung, um Inter-Rater-Reliabilität sicherzustellen.

Die Bewertung evaluiert fünf verschiedene Domänen mit spezifizierten Punktzuweisungen (insgesamt 10 Punkte):

• Kommunikation zu Beginn der Konsultation (0-3 Punkte): 30% der Gesamtpunktzahl
• Allgemeine Anamnese (0-3,5 Punkte): 35% der Gesamtpunktzahl
• Zielgerichtete Anamnese (0-1,5 Punkte): 15% der Gesamtpunktzahl
• Diagnostik und Behandlungsbegründung (0-1 Punkt): 10% der Gesamtpunktzahl
• Kommunikation am Ende der Konsultation (0-1 Punkt): 10% der Gesamtpunktzahl

Eine Punktzahl von 6 Punkten entspricht einer Bestehensquote bei der OSCE-basierten Prüfung. Studierende erhalten jedoch die Information, dass diese Studie keine Prüfungszwecke hatte und ihre Noten in keiner Weise beeinflusste.

Zwei beratende Rheumatologen führten alle OSCE-Bewertungen durch, verblindet bezüglich Interventions- oder Kontrollgruppenzuordnung. Den Bewertern wurde nur die Bewertungsmatrix zur Verfügung gestellt und sie hatten kein Wissen darüber, welche Studierenden KI-generiertes Feedback erhalten hatten. Diese Verblindung wurde während des gesamten Datenerhebungszeitraums aufrechterhalten.