AI-gegenereerde Feedback in Sociale Robotische Virtuele Patiënten

Het overkoepelende doel van dit project is om te onderzoeken of een systeem voor directe feedback, geïntegreerd in een AI-gestuurd sociaal robotisch VP-platform, effectiever is in de training van klinisch redeneren (CR) en communicatievaardigheden voor geneeskundestudenten dan hetzelfde AI-gestuurde sociaal robotische VP-platform zonder feedbacksysteem.

Meer kennis binnen dit onderzoeksveld draagt bij aan geoptimaliseerd gebruik van nieuwe technologie naast andere educatieve hulpmiddelen om zinvolle leeruitkomsten te bevorderen, inclusief supervisie en patiëntcontacten. Het korte- en langetermijndoel is om de medische opleidingsomgeving te verbeteren om betere gezondheidszorg te waarborgen voor patiënten met reumatische aandoeningen, terwijl het ook toepasbaar is op andere medische disciplines. Hoewel het nog verfijningen ondergaat, biedt deze educatieve activiteit studenten de mogelijkheid om te oefenen in een veilige en interactieve omgeving.

Achtergrond:

Tegenwoordig worden de meeste gezondheidszorgdiensten verleend op poliklinieken en dagbehandelingsafdelingen, wat ook het geval is binnen de reumatologie. Een aanzienlijk deel van het basisonderwijs voor gezondheidszorgberoepen (HPE) vindt echter nog steeds plaats in klinische settings, waar het een uitdaging blijft om ervoor te zorgen dat gehospitaliseerde patiënten aansluiten bij specifieke leeruitkomsten. De patiënten die ziekenhuisopname vereisen, hebben doorgaans langdurige aandoeningen, vaak met complexe ziekteverschijnselen en complicaties, naast aanzienlijke medische comorbiditeiten. De COVID-19-pandemie benadrukte aanvullende barrières voor studenten om te interacteren met docenten, patiënten en peers. Deze situatie, gecombineerd met eerdere voorstellen voor alternatieve benaderingen voor theoretische en praktische vaardigheidstraining in het basisonderwijs HPE, benadrukt de dringende behoefte aan innovatieve leeractiviteiten die zinvolle interacties tussen studenten en patiëntcasussen die in HPE-curricula worden vertegenwoordigd, faciliteren.

Virtuele patiënten (VP) zijn interactieve digitale simulaties van klinische scenario's ontworpen voor educatieve doeleinden en worden vertegenwoordigd door een verscheidenheid aan systemen en benaderingen. Een fundamenteel onderdeel van VP-simulaties is hun interactieve interface, die gebruikers in staat stelt op verschillende manieren met patiënten om te gaan: medische geschiedenis verzamelen, lichamelijk onderzoek uitvoeren en onderzoeksstrategieën implementeren. Deze uitgebreide interactiemogelijkheden stellen gebruikers in staat essentiële informatie te verzamelen om diagnoses te stellen en geschikte behandelplannen voor hun VP's te bepalen.

De reumatologiekliniek van het Karolinska Universitair Ziekenhuis heeft de klinische stages voor geneeskundestudenten de afgelopen 15 jaar aangevuld om ervoor te zorgen dat studenten interacteren met representatieve patiënten door VP-casuïstiek te integreren met behulp van computersoftware zoals ReumaCase en Virtual Interactive Case simulator (VIC). Deze platforms vertegenwoordigen semi-lineaire VP-systemen, waarmee gebruikers vrij kunnen navigeren tussen de vooraf bepaalde punten van initiële patiëntpresentatie en afsluitende diagnostische en behandelbeslissingen. HPE-onderzoek heeft nieuwe leerbenaderingen opgeleverd, waaronder geoptimaliseerde VP-implementatiestrategieën en aanbevelingen voor het ontwikkelen van klinisch redeneervaardigheden (CR) door VP-praktijk. Hoewel HPE-studenten in de basisopleiding VP's erkennen als waardevolle educatieve tools voor CR-training, erkennen ze dat deze simulaties de complexiteit en interactiviteit van echte patiëntcontacten missen.

Hoewel CR-vaardigheden belangrijk zijn in het medisch onderwijs, beweren sommigen dat empathie een van de belangrijkste vaardigheden is van zorgverleners die betrokken zijn bij patiëntenzorg. Empathische vaardigheden van zorgverleners zijn geassocieerd met betere gezondheidsuitkomsten voor patiënten en verminderen het risico op hospitalisatie. In het basis medisch onderwijs wordt empathisch gedrag doorgaans getraind met rollenspellen met studenten, acteurs of docenten die gestandaardiseerde patiënten portretteren, die representatieve tekstboek medische aandoeningen zijn. Gestandaardiseerde patiënten kunnen echter een kostbare optie zijn, en beschikbaarheidsaspecten kunnen soms een belemmering vormen voor de praktijk van empathisch gedrag. Een alternatief hiervoor kunnen VP's zijn die meer authentieke en interactieve vormen van communicatie mogelijk maken.

Recente technologische ontwikkelingen hebben verbeterde interactiemethoden tussen gebruikers en VP's geïntroduceerd, met name door kunstmatige intelligentie (AI) en sociale robotica. De onderzoekers hebben een nieuw platform ontwikkeld dat Social AI-enhanced Robotic Interface (SARI) is genoemd, dat de sociale robot Furhat combineert met het grote taalmodel (LLM) Chat-Generative Pretrained Transformer (Chat-GPT). Dit nieuwe platform is geïmplementeerd voor geneeskundestudenten bij de Reumatologiekliniek van het Karolinska Universitair Ziekenhuis om hun training tijdens klinische stages aan te vullen, naast conventionele computergebaseerde VP-contacten (VIC). Eerste bevindingen suggereren dat studenten ervaren dat SARI een meer authentieke en interactieve VP-ervaring biedt bij het ontwikkelen van CR-vaardigheden in vergelijking met een conventioneel computergebaseerd platform.

Dit project heeft tot doel de effectiviteit van SARI als VP-platform voor geneeskundestudenten te evalueren, waarbij wordt vergeleken of SARI gecombineerd met een geïntegreerd AI-gegenereerd direct feedbacksysteem de klinische prestaties bij anamnese verder verbetert.

Voorafgaand aan deze studie hebben de onderzoekers in totaal tien VP-casuïstieken ontwikkeld, die zijn geïmplementeerd en momenteel worden gebruikt voor klinische stages bij de Divisie Reumatologie van het Karolinska Universitair Ziekenhuis. De helft van deze casuïstieken is ontwikkeld in het computergebaseerde platform VIC en de andere helft is ontwikkeld in het AI-versterkte sociale robotische platform SARI. De VP-casuïstieken in beide platforms zijn ontwikkeld volgens specifieke aanbevelingen voor VP-platformontwikkeling en worden continu geëvalueerd door geneeskundestudenten via directe (mondelinge feedback en evaluatieformulieren) en indirecte (uit analyse van onderzoeksdata) feedback.

Alle VP-casuïstieken maken nu deel uit van de educatieve activiteit "De Virtuele Polikliniek", die dient als aanvulling op klinische stages binnen de reumatologie. Binnen deze activiteit nemen alle geneeskundestudenten van het zesde semester van het Karolinska Institutet deel gedurende een periode van anderhalve werkdag tijdens een eenweekse stage in de reumatologie. "De Virtuele Polikliniek" loopt sinds het voorjaar van 2024 in de kliniek en ontvangt ongeveer 150 studenten per termijn gedurende een periode van zes weken. In deze educatieve activiteit voeren alle studenten alle unieke VP-casuïstieken uit en nemen ze deel aan follow-up seminars met consulent-reumatologen na elke casus om vragen over de casusinhoud en de vertegenwoordigde reumatische aandoeningen te bespreken. Aan het begin van de activiteit wordt alle studenten gevraagd deel te nemen aan het onderzoeksproject door de VP-casuïstieken te evalueren om hun toegevoegde waarde verder te verbeteren en te onderzoeken met behulp van gevalideerde indices voor VP-platformontwikkeling. Na instemming met deelname en ondertekening van een geïnformeerde toestemmingsverklaring wordt elke interactie van studenten met SARI opgeslagen als een audio-bestand en in realtime getranscribeerd. Tot op heden hebben ongeveer 400 studenten geïnterageerd met de vijf VP-casuïstieken in SARI, wat heeft geresulteerd in bijna 2000 unieke VP-interacties.

De onderzoekers hebben een initiële evaluatie van SARI uitgevoerd en de prestaties vergeleken met VIC in zelf-ervaren verwerving van CR-vaardigheden door geneeskundestudenten, waarbij in 2023 gebruik werd gemaakt van een gemengde kwantitatieve en kwalitatieve methodologie. Vijftien geneeskundestudenten werden geïncludeerd en voltooiden dezelfde VP-casus in zowel SARI als VIC. De zelf-ervaren VP-ervaring van studenten, gericht op CR-training, werd beoordeeld met een eerder gevalideerde index voor VP-platformontwikkeling [23]. Bovendien werden diepte-interviews afgenomen met 8 geneeskundestudenten. Deze initiële evaluatie toonde significante voordelen in het voordeel van SARI voor het thema authenticiteit evenals het leereffect van de VP-ontmoeting volgens vooraf gedefinieerde thema's in de VP-evaluatievragenlijst. Naast de analyse van die vooraf gedefinieerde thema's werd thematische analyse uitgevoerd van data uit diepte-interviews, wat resulteerde in vier thema's. Studenten ervoeren SARI als superieur aan VIC in het trainen van CR, communicatie- en emotionele vaardigheden.

Tijdens het voorjaar van 2024 namen in totaal 23 studenten van De Virtuele Polikliniek deel aan diepte-interviews als een vervolgproject over hun percepties van de toegevoegde waarde van SARI en VIC met betrekking tot verwerving van CR-vaardigheden. Voor deze studie creëerden de onderzoekers 4 aanvullende VP-casuïstieken in elk platform. Bovendien namen alle studenten deel aan seminars na voltooiing van elke casus, om supervisie tijdens echte patiëntcontacten na te bootsen. Thematische analyse van volledig getranscribeerde interviews resulteerde in vergelijkbare bevindingen: studenten vonden SARI authentieker en boeiender vergeleken met VIC, en ervoeren dat SARI zeer interactieve communicatiemogelijkheden mogelijk maakte en emoties kon uitdrukken, wat gezamenlijk een realistische ervaring bood. SARI faciliteerde actief leren, hypothesegeneratie en adaptief denken in grotere mate dan VIC door studenten in staat te stellen hun eigen vragen te formuleren in plaats van te kiezen tussen vooraf bepaalde opties voor het verzamelen van medische geschiedenis.

Voorafgaand aan VP-interacties ontvangen studenten gestructureerde training in anamnese, waarbij zowel generieke aspecten (toepasbaar over medische specialismen) als reumatologie-specifieke componenten worden behandeld. Deze voorbereidende training zorgt ervoor dat studenten basiskennis hebben voordat ze met de VP-casuïstieken interacteren.

Studenten werken doorgaans in paren of kleine groepjes van drie tijdens VP-interacties, waarbij één student de leidende rol op zich neemt in elk patiëntcontact. Deze collaboratieve aanpak is consistent met bewijs dat peer learning ondersteunt in VP-gebaseerde klinisch redeneertraining. De leidende student voert de primaire interactie met de VP uit, terwijl andere groepsleden observeren en kunnen bijdragen aan latere discussie en diagnostische formulering.

De Social AI-enhanced Robotic Interface (SARI):

SARI vertegenwoordigt een nieuwe VP-modaliteit die sociale robotica integreert met groot taalmodel (LLM) kunstmatige intelligentie. Het platform combineert de sociale robot Furhat (ontwikkeld aan het KTH Royal Institute of Technology, Stockholm) met GPT-4o-mini taalmodel van OpenAI.

De Furhat-robot bestaat uit een fysieke robotkop gemonteerd op een standaard, met een achterwaarts geprojecteerd geanimeerd gezicht dat gezichtsuitdrukkingen en lipbewegingen gesynchroniseerd met spraak weergeeft. De robot bevat een microfoonarray voor spraakherkenning en luidsprekers voor audio-uitvoer. De fysieke aanwezigheid van de robot in de kamer creëert wat onderzoekers "situationele interactie" noemen, waarbij de robot daadwerkelijk fysieke ruimte inneemt in plaats van uitsluitend als een schermgebaseerde interface te bestaan.

Het VP-dialoogsysteem werkt via de volgende technische workflow:

1. Spraakherkenning: Studentenspraak wordt vastgelegd via de microfoonarray van de robot en omgezet in tekst met automatische spraakherkenning (ASR) technologie.

2. Dialoogverwerking: De getranscribeerde studentinput wordt gecombineerd met:

   • Een gedetailleerde patiëntcasusbeschrijving (inclusief medische geschiedenis, symptomen, onderzoeksbevindingen en persoonlijkheidskenmerken)
   • De laatste 10 dialoogwendingen (om conversatiecontext te behouden terwijl excessief tokengebruik wordt vermeden)
   • Systeeminstructies die de LLM aanmoedigen om vanuit het perspectief van de patiënt te reageren in plaats van als een algemene assistent
3. Responsgeneratie: De LLM genereert contextueel passende reacties op basis van de patiëntcasus en conversatiegeschiedenis.
4. Emotiemodellering: Op specifieke ankerpunten tijdens conversatie genereert de LLM ook instructies voor passende gezichtsuitdrukkingen (bijv. bezorgd, opgelucht, angstig, verward) op basis van conversatiecontext. Het systeem selecteert uit een vooraf gedefinieerde set uitdrukkingen beschikbaar in de Furhat-software.
5. Spraaksynthese: gegenereerde tekstreacties worden omgezet in natuurlijk klinkende spraak met tekst-naar-spraak (TTS) technologie, waarbij het geanimeerde gezicht gesynchroniseerde lipbewegingen en de geselecteerde emotionele uitdrukking weergeeft.
6. Transcriptie: Alle dialoog wordt automatisch in realtime getranscribeerd en veilig opgeslagen voor latere feedbackgeneratie en onderzoeksanalyse.

Elke VP-casus volgt gevestigde principes voor VP-ontwikkeling, waaronder:

• Duidelijke leerdoelen afgestemd op curriculumvereisten
• Realistische patiëntpresentaties gebaseerd op typische klinische scenario's
• Passend complexiteitsniveau voor zesde semester geneeskundestudenten
• Integratie van zowel veelvoorkomende aandoeningen als diagnostisch uitdagende presentaties
• Inclusie van relevante psychosociale factoren en patiëntenzorgen

Alle VP-casuïstieken worden in het Engels gepresenteerd om internationale uitwisselingsstudenten die deelnemen aan het programma tegemoet te komen. Standaard laboratoriumtestpanels met casus-specifieke resultaten worden naast elke casus verstrekt.

De VP-casuïstieken vertegenwoordigen diverse reumatologische aandoeningen waaronder inflammatoire artritis, bindweefselziekten en musculoskeletale aandoeningen. Elke casus vereist dat studenten uitgebreide anamnese afnemen, inclusief symptoomkarakterisering, functionele beoordeling, medicatiegeschiedenis en relevante review van systemen.

Het feedbacksysteem dat als interventie in deze studie wordt gebruikt, maakt gebruik van een geavanceerd tweefasen-algoritme ontwikkeld in iteratieve samenwerking met consulent-reumatologen:

Fase 1: Beoordelingsmodel

De eerste fase analyseert het volledige student-VP-dialoogtranscript met behulp van een vooraf gedefinieerde beoordelingsrubriek. Deze rubriek evalueert meerdere dimensies van klinische prestaties:

Communicatievaardigheden:

• De consultatie op gepaste wijze openen
• Rapport opbouwen met de patiënt
• Duidelijke, jargonvrije taal gebruiken
• Actief luisteren demonstreren
• Empathie tonen en patiëntenzorgen adresseren
• De consultatie op gepaste wijze afsluiten

Generieke anamnese:

• Verkenning van medische voorgeschiedenis
• Huidige medicatie en allergieën
• Familiegeschiedenis van relevante aandoeningen
• Sociale anamnese (beroep, woonsituatie, ondersteuningssystemen)
• Leefstijlfactoren (roken, alcohol, beweging)
• Review van systemen

Reumatologie-specifieke anamnese:

• Systematische gewrichtssymptoombeoordeling
• Pijnkarakterisering (begin, locatie, duur, kwaliteit, uitstraling, verergerende/verlichtende factoren)
• Functionele impactbeoordeling (activiteiten van het dagelijks leven, werkcapaciteit)
• Ochtendstijfheid duur en patroon
• Extra-articulaire manifestaties
• Patroonherkenning voor inflammatoire versus mechanische symptomen

Klinisch redeneercomponenten:

• Systematische aanpak van informatieverzameling
• Herkenning van symptoompatronen en klinische significantie
• Passende breedte van differentiële diagnose-overweging
• Logische progressie door anamnese

Het beoordelingsmodel gebruikt de LLM om elke dialoog tegen deze rubriek te evalueren, waarbij gestructureerde beoordelingen van sterke punten en verbetergebieden over deze domeinen worden gegenereerd.

Fase 2: Feedbackgeneratie

De tweede fase transformeert de gestructureerde beoordeling van Fase 1 in leesbare, constructieve schriftelijke feedback. De feedbackgeneratie gebruikt zorgvuldig geformuleerde prompts die de LLM instrueren om:

• Feedback te presenteren in een ondersteunende, educatieve toon
• Specifieke voorbeelden uit de dialoog van de student te geven
• Sterke punten te erkennen voordat verbetergebieden worden geadresseerd
• Concrete suggesties voor verbetering aan te bieden
• Te focussen op leren in plaats van evaluatie

Feedbackinhoud en -omvang Studenten ontvangen direct na elk van vijf aangewezen VP-contacten ongeveer één pagina (300-500 woorden) gestructureerde schriftelijke feedback. De feedback richt zich specifiek op anamnesevaardigheden en behandelt niet diagnostische nauwkeurigheid of behandelbeslissingen, aangezien deze aspecten worden behandeld in latere seminars met consulent-reumatologen.

De controlegroep voltooit identieke VP-casuïstieken met hetzelfde SARI-platform maar ontvangt geen AI-gegenereerde feedback. Beide groepen krijgen echter equivalente blootstelling aan de sociale robotische VP-technologie, nemen deel aan identieke casus-specifieke seminars na casusvoltooiing met consulent-reumatologen, en hebben toegang tot dialoogtranscripten voor zelfevaluatie. Het enige systematische verschil is de aan- of afwezigheid van AI-gegenereerde feedback.

Beoordeling wordt uitgevoerd met een op objectief gestructureerd klinisch onderzoek (OSCE) gebaseerde structuur met gestandaardiseerde patiënten (SP's) na interactie met alle beschikbare VP's in SARI. SP's ontvangen schriftelijke casusinformatie die een patiëntpresentatie, symptoomgeschiedenis en relevante achtergrond beschrijft. De SP's ontvangen ook training in consistente reacties op veelvoorkomende vraagformaten, en instructies over passende emotionele reacties, non-verbale communicatie en het omgaan met onverwachte vragen.

De OSCE-rubriek gebruikt in deze studie werd ontwikkeld in samenwerking met ervaren consulent-reumatologen op basis van Entrustable Professional Activity (EPA) kaders specifiek voor anamnesecompetenties. De rubriek onderging piloottesten en verfijning om interbeoordelaarsbetrouwbaarheid te waarborgen.

De beoordeling evalueert vijf verschillende domeinen met gespecificeerde punttoewijzingen (totaal 10 punten):

• Communicatie bij consultstart (0-3 punten): 30% van totaalscore
• Generieke anamnese (0-3,5 punten): 35% van totaalscore
• Gerichte anamnese (0-1,5 punten): 15% van totaalscore
• Diagnostiek en behandelredenering (0-1 punt): 10% van totaalscore
• Communicatie bij consult einde (0-1 punt): 10% van totaalscore

Een score van 6 punten komt overeen met een slaagpercentage op het OSCE-gebaseerde onderzoek. Studenten ontvangen echter informatie dat deze studie geen examen doeleinden had en op geen enkele manier hun cijfers beïnvloedde.

Twee consulent-reumatologen voerden alle OSCE-beoordelingen uit, geblindeerd voor interventie- of controlearmtoewijzing. De beoordelaars kregen alleen de beoordelingsrubriek en hadden geen kennis van welke studenten AI-gegenereerde feedback hadden ontvangen. Deze blindering werd gehandhaafd gedurende de dataverzamelingsperiode.