AI-genereret feedback i sociale robotiske virtuelle patienter

Det overordnede formål med dette projekt er at undersøge, om et system til direkte feedback, der er integreret i en AI-styrket social robotisk VP-platform, er mere effektiv i træningen af klinisk ræsonnement (CR) og kommunikationsevner for medicinstuderende end den samme AI-styrkede sociale robotiske VP-platform uden feedbacksystem.

Højere viden inden for dette forskningsfelt bidrager til optimeret brug af ny teknologi sammen med andre undervisningsressourcer for at fremme meningsfulde læringsresultater, herunder vejledning og patientmøder. Det kortsigtede og langsigtede mål er at forbedre medicinsk uddannelsesmiljø for at sikre bedre sundhedspleje for patienter med revmatiske lidelser, samtidig med at det også er anvendeligt for andre medicinske discipliner. Selvom det stadig gennemgår forbedringer, giver denne undervisningsaktivitet studerende mulighed for at træne i et sikkert og interaktivt miljø.

Baggrund:

I sundhedsvæsenet i dag leveres de fleste tjenester på ambulatorier og døgnåbne afdelinger, hvilket også er tilfældet inden for reumatologi. En betydelig del af den grunduddannelsesmæssige sundhedsfaglige uddannelse (HPE) fortsætter dog med at foregå i indlæggelsessammenhænge, hvor det forbliver en udfordring at sikre, at indlagte patienter stemmer overens med specifikke læringsresultater. Patienterne, der kræver hospitalsindlæggelse, har typisk langvarige lidelser og præsenterer ofte komplekse sygdomsmanifestationer og komplikationer sammen med betydelige medicinske komorbiditeter. COVID-19-pandemien fremhævede yderligere barrierer for studerende til at engagere sig med lærere, patienter og jævnaldrende. Denne situation, kombineret med tidligere forslag til alternative tilgange til teoretisk og praktisk færdighedstræning i grunduddannelses-HPE, understreger det presserende behov for innovative læringsaktiviteter, der letter meningsfulde interaktioner mellem studerende og patienttilfælde, der er repræsenteret i HPE-pensum.

Virtuelle patienter (VP) er interaktive digitale simuleringer af kliniske scenarier designet til uddannelsesformål og er repræsenteret gennem en række systemer og tilgange. En grundlæggende komponent i VP-simuleringer er deres interaktive interface, der giver brugerne mulighed for at engagere sig med patienter på forskellige måder: indsamling af medicinsk historie, udførelse af fysiske undersøgelser og implementering af undersøgelsesstrategier. Disse omfattende interaktionsmuligheder giver brugerne mulighed for at indsamle væsentlig information til at udføre diagnostik og træffe passende behandlingsplaner for deres VP'er.

Reumatologiklinikken på Karolinska Universitetssygehus har suppleret kliniske placeringer for medicinstuderende over de sidste 15 år for at sikre, at studerende interagerer med repræsentative patienter ved at inkorporere VP-tilfælde ved hjælp af computersoftware som ReumaCase og Virtual Interactive Case simulator (VIC). Disse platforme eksemplificerer semi-lineære VP-systemer, der giver brugerne mulighed for at navigere frit mellem de forudbestemte punkter for indledende patientpræsentation og afsluttende diagnostiske og behandlingsbeslutninger. HPE-forskning har frembragt nye læringstilgange, herunder optimerede VP-implementeringsstrategier og anbefalinger til udvikling af klinisk ræsonnement (CR) færdigheder gennem VP-praksis. Selvom grunduddannelses-HPE-studerende anerkender VP'er som værdifulde undervisningsværktøjer til CR-træning, anerkender de, at disse simuleringer mangler kompleksiteten og interaktiviteten fra virkelige patientmøder.

Selvom CR-færdigheder er vigtige i medicinsk uddannelse, mener nogle, at empati er en af de vigtigste færdigheder for sundhedspersonale, der er engageret i patientpleje. Sundhedsuddannedes empatiske færdigheder er vist at være forbundet med bedre sundhedsresultater for patienter og reducerer risikoen for hospitalsindlæggelse. I grunduddannelsesmæssig medicinsk uddannelse trænes empatisk adfærd typisk ved hjælp af rollespil med studerende, skuespillere eller lærere, der portrætterer standardiserede patienter, som er repræsentative for lærebogsmedicinske tilstande. Standardiserede patienter kan dog være en kostbar mulighed, og tilgængelighedsaspekter kan nogle gange være en hindring for praksis med empatisk adfærd. Et alternativ til dette kunne være VP'er, der muliggør mere autentiske og interaktive kommunikationsformer.

Nylige teknologiske fremskridt har introduceret forbedrede interaktive metoder mellem brugere og VP'er, især gennem kunstig intelligens (AI) og social robotteknologi. Forskerne har udviklet en ny platform, der er blevet navngivet Social AI-enhanced Robotic Interface (SARI), der kombinerer den sociale robot Furhat med den store sprogmodel (LLM) Chat-Generative Pretrained Transformer (Chat-GPT). Denne nye platform er blevet implementeret for medicinstuderende på Reumatologiklinikken på Karolinska Universitetssygehus for at supplere deres træning under kliniske placeringer sammen med konventionelle computerbaserede VP-møder (VIC). Indledende resultater tyder på, at studerende oplever, at SARI tilbyder en mere autentisk og interaktiv VP-oplevelse i udviklingen af CR-færdigheder sammenlignet med en konventionel computerbaseret platform.

Dette projekt har til formål at evaluere effektiviteten af SARI som en VP-platform for medicinstuderende ved at sammenligne, om SARI kombineret med et integreret AI-genereret direkte feedbacksystem yderligere forbedrer den kliniske præstation i medicinsk historieindtagelse.

Før denne studie har forskerne udviklet i alt ti VP-tilfælde, der er blevet implementeret og i øjeblikket bruges til kliniske placeringer på Reumatologiafdelingen på Karolinska Universitetssygehus. Halvdelen af disse tilfælde er udviklet i den computerbaserede platform VIC og halvdelen af dem er udviklet i den AI-forbedrede sociale robotiske platform SARI. VP-tilfældene i begge platforme er udviklet i henhold til distinkte anbefalinger til VP-platformudvikling og evalueres kontinuerligt af medicinstuderende gennem direkte (mundtlig feedback og evalueringsskemaer) og indirekte (fra analyse af forskningsdata) feedback.

Alle VP-tilfældene er nu en del af undervisningsaktiviteten "Det Virtuelle Ambulatorium", der fungerer som et supplement til kliniske placeringer inden for reumatologi. I denne aktivitet deltager alle sjette semesters medicinstuderende fra Karolinska Institutet i en periode på en og en halv arbejdsdag under en en-ugers placering i reumatologi. "Det Virtuelle Ambulatorium" har været igang på klinikken siden foråret 2024 og har været vært for cirka 150 studerende hvert semester over en periode på seks uger. I denne undervisningsaktivitet udfører alle studerende alle unikke VP-tilfælde og deltager i opfølgningsseminarer med konsulenter i reumatologi efter hvert tilfælde for at diskutere spørgsmål vedrørende tilfældets indhold og de repræsenterede revmatiske tilstande. I begyndelsen af aktiviteten bliver alle studerende bedt om at deltage i forskningsprojektet ved at evaluere VP-tilfældene for yderligere at forbedre og undersøge deres merværdi ved hjælp af validerede indeks for VP-platformudvikling. Ved at acceptere at deltage og underskrive et informeret samtykkeskema, gemmes hver studerendes interaktion med SARI som en lydfil og transskriberes i realtid. Til dato har cirka 400 studerende interageret med de fem VP-tilfælde i SARI, hvilket har resulteret i næsten 2000 unikke VP-interaktioner.

Forskerne har udført en indledende evaluering af SARI og sammenlignet dens præstation i medicinstuderenes selvopfattede tilegnelse af CR-færdigheder sammenlignet med VIC ved hjælp af blandet kvantitativ og kvalitativ metodologi i løbet af 2023. Femten medicinstuderende blev inkluderet og gennemførte det samme VP-tilfælde i både SARI og VIC. Studerendes selvopfattede VP-oplevelse med fokus på CR-træning blev vurderet ved hjælp af et tidligere valideret indeks for VP-platformudvikling [23]. Derudover blev der gennemført dybdegående interviews med 8 medicinstuderende. Denne indledende evaluering illustrerede signifikante fordele til fordel for SARI for temaet autenticitet såvel som læringseffekten af VP-mødet ifølge foruddefinerede temaer i VP-evalueringsspørgeskemaet. Langs analysen af disse foruddefinerede temaer blev der udført tematisk analyse af data fra dybdegående interviews, hvilket resulterede i fire temaer. Studerende oplevede SARI som overlegen til VIC i træning af CR, kommunikation og følelsesmæssige færdigheder.

I løbet af foråret 2024 deltog i alt 23 studerende fra Det Virtuelle Ambulatorium i dybdegående interviews som et fortsættelsesprojekt, der adresserede deres opfattelser af merværdien af SARI og VIC vedrørende tilegnelse af CR-færdigheder. Til dette studie skabte forskerne 4 yderligere VP-tilfælde i hver platform. Derudover deltog alle studerende i seminarer efter gennemførelse af hvert tilfælde for at ligne vejledning under virkelige patientmøder. Tematisk analyse af fuldt transskriberede interviews resulterede i lignende resultater: studerende fandt SARI at være mere autentisk og engagerende sammenlignet med VIC og oplevede, at SARI muliggjorde højt interaktive kommunikationsmuligheder og kunne udtrykke følelser, hvilket kollektivt tilbød en realistisk oplevelse. SARI faciliterede aktiv læring, hypotese-generering og adaptiv tænkning i højere grad end VIC ved at lade studerende formulere deres egne spørgsmål i stedet for at vælge mellem forudbestemte muligheder for indsamling af medicinsk historie.

Før VP-interaktioner modtager studerende struktureret træning i medicinsk historieindtagelse, der dækker både generelle aspekter (anvendelige på tværs af medicinske specialer) og reumatologi-specifikke komponenter. Denne forberedende træning sikrer, at studerende har grundlæggende viden før de engagerer sig med VP-tilfældene.

Studerende arbejder typisk i par eller små grupper på tre under VP-interaktioner, hvor en studerende tager lederrollen i hvert patientmøde. Denne kollaborative tilgang er i overensstemmelse med evidens, der støtter jævnaldrende læring i VP-baseret klinisk ræsonnementstræning. Den ledende studerende gennemfører den primære interaktion med VP'en, mens andre gruppemedlemmer observerer og kan bidrage til efterfølgende diskussion og diagnostisk formulering.

Den Sociale AI-forbedrede Robotic Interface (SARI):

SARI repræsenterer en ny VP-modalitet, der integrerer social robotteknologi med stor sprogmodel (LLM) kunstig intelligens. Platformen kombinerer den sociale robot Furhat (udviklet på KTH Royal Institute of Technology, Stockholm) med GPT-4o-mini-sprogmodeller fra OpenAI.

Furhat-robotten består af et fysisk robot-hoved monteret på et stativ, der har et bagprojiceret animeret ansigt, der viser ansigtsudtryk og læbebevægelser synkroniseret med tale. Robotten inkluderer en mikrofonarray til talegenkendelse og højttalere til lydoutput. Robottens fysiske tilstedeværelse i rummet skaber, hvad forskere kalder "situationsbaseret interaktion", hvor robotten optager faktisk fysisk plads i stedet for kun at eksistere som et skærmbaseret interface.

VP-dialogsystemet fungerer gennem følgende tekniske arbejdsgang:

1. Taleigenkendelse: Studerendes tale optages gennem robottens mikrofonarray og konverteres til tekst ved hjælp af automatisk taleigenkendelse (ASR) teknologi.

2. Dialogbehandling: Den transskriberede studerendeinput kombineres med:

   • En detaljeret patienttilfældesbeskrivelse (inklusive medicinsk historie, symptomer, undersøgelsesfund og personlighedstræk)
   • De sidste 10 dialogrunder (for at bevare konversationskontekst samtidig med at undgå overdreven token-forbrug)
   • Systeminstruktioner, der beder LLM'en om at svare fra patientens perspektiv i stedet for som en generel assistent
3. Responsgenerering: LLM'en genererer kontekstmæssigt passende svar baseret på patienttilfældet og konversationshistorik.
4. Følelsesmodellering: På specifikke ankerpunkter under konversationen genererer LLM'en også instruktioner til passende ansigtsudtryk (f.eks. bekymret, lettet, angst, forvirret) baseret på konversationskontekst. Systemet vælger fra et foruddefineret sæt udtryk tilgængelige i Furhat-softwaren.
5. Talesyntese: Genererede tekstsvar konverteres til naturligt klingende tale ved hjælp af tekst-til-tale (TTS) teknologi, hvor det animerede ansigt viser synkroniserede læbebevægelser og det valgte følelsesmæssige udtryk.
6. Transskription: Al dialog transskriberes automatisk i realtid og gemmes sikkert til efterfølgende feedback-generering og forskningsanalyse.

Hvert VP-tilfælde følger etablerede principper for VP-udvikling, herunder:

• Klare læringsmål i overensstemmelse med pensumkrav
• Realistiske patientpræsentationer baseret på typiske kliniske scenarier
• Passende kompleksitetsniveau for sjette semesters medicinstuderende
• Integration af både almindelige tilstande og diagnostisk udfordrende præsentationer
• Inklusion af relevante psykosociale faktorer og patientbekymringer

Alle VP-tilfælde præsenteres på engelsk for at imødekomme internationale udvekslingsstuderende, der deltager i programmet. Standard laboratorietestpaneler med tilfældesspecifikke resultater leveres sammen med hvert tilfælde.

VP-tilfældene repræsenterer forskellige reumatologiske tilstande, herunder inflammatoriske artritider, bindevævssygdomme og muskuloskeletale lidelser. Hvert tilfælde kræver, at studerende gennemfører omfattende medicinsk historieindtagelse, herunder symptomkarakterisering, funktionel vurdering, medicinhistorie og relevant gennemgang af systemer.

Feedbacksystemet brugt som interventionen i dette studie anvender en sofistikeret to-trins algoritme udviklet iterativt i samarbejde med konsulenter i reumatologi:

Trin 1: Vurderingsmodel

Det første trin analyserer den komplette studerende-VP-dialogtransskript ved hjælp af en foruddefineret vurderingsrubrik. Denne rubrik evaluerer flere dimensioner af klinisk præstation:

Kommunikationsevner:

• Åbning af konsultationen passende
• Opbygning af rapport med patienten
• Brug af klar, jargontungt sprog
• Demonstration af aktiv lytning
• Visning af empati og adressering af patientbekymringer
• Afslutning af konsultationen passende

Generisk Medicinsk Historietagning:

• Undersøgelse af tidligere medicinsk historie
• Nuværende medicin og allergier
• Familiehistorie af relevante tilstande
• Social historie (beskæftigelse, boform, støttesystemer)
• Livsstilsfaktorer (rygning, alkohol, motion)
• Gennemgang af systemer

Reumatologi-Specifik Historietagning:

• Systematisk led-symptomvurdering
• Smertekarakterisering (start, placering, varighed, kvalitet, stråling, forværrende/lindrende faktorer)
• Funktionel påvirkningsvurdering (daglige aktiviteter, arbejdsevne)
• Morgenstivhedsvarighed og mønster
• Ekstra-artikulære manifestationer
• Mønstergenkendelse for inflammatoriske versus mekaniske symptomer

Klinisk Ræsonnement Komponenter:

• Systematisk tilgang til informationsindsamling
• Genkendelse af symptommønstre og klinisk signifikans
• Passende bredde af differentialdiagnoseovervejelse
• Logisk progression gennem historietagning

Vurderingsmodellen bruger LLM'en til at evaluere hver dialog mod denne rubrik og genererer struktureret vurdering af styrker og områder til forbedring på tværs af disse domæner.

Trin 2: Feedback-generering

Det andet trin transformerer den struktureret vurdering fra Trin 1 til læselig, konstruktiv skriftlig feedback. Feedback-genereringen bruger omhyggeligt udformede prompts, der instruerer LLM'en til at:

• Præsentere feedback i en støttende, pædagogisk tone
• Give specifikke eksempler fra studerendes dialog
• Anerkende styrker før adressering af områder til forbedring
• Tilbyde konkrete forslag til forbedring
• Fokusere på læring snarere end evaluering

Feedback Indhold og Omfang Studerende modtager cirka en side (300-500 ord) af struktureret skriftlig feedback umiddelbart efter hvert af fem udpegede VP-møder. Feedbacken fokuserer specifikt på færdigheder i medicinsk historietagning og adresserer ikke diagnostisk nøjagtighed eller behandlingsbeslutninger, da disse aspekter dækkes i efterfølgende seminarer med konsulenter i reumatologi.

Kontrolgruppen gennemfører identiske VP-tilfælde ved hjælp af den samme SARI-platform, men modtager ikke AI-genereret feedback. Begge grupper modtager dog tilsvarende eksponering for den sociale robotiske VP-teknologi, deltager i identiske tilfældesspecifikke seminarer efter tilfældesgennemførelse med konsulenter i reumatologi og har adgang til dialogtransskripter til selvgennemgang. Den eneste systematiske forskel er tilstedeværelsen eller fraværet af AI-genereret feedback.

Vurdering udføres ved hjælp af en objektiv struktureret klinisk eksamination (OSCE)-baseret struktur med standardiserede patienter (SP'er) efter interaktion med alle tilgængelige VP'er i SARI. SP'er modtager skriftlig tilfældesinformation, der beskriver en patientpræsentation, symptomhistorie og relevant baggrund. SP'erne modtager også træning i konsistente svar på almindelige spørgsmålsformater og instruktioner i passende følelsesmæssige svar, non-verbal kommunikation og håndtering af uventede spørgsmål.

OSCE-rubrikken brugt i dette studie blev udviklet i samarbejde med erfarne konsulenter i reumatologi baseret på Entrustable Professional Activity (EPA) rammer specifikke for kompetencer i medicinsk historietagning. Rubrikken gennemgik pilot-testning og forfinelse for at sikre interbedømmelsespålidelighed.

Vurderingen evaluerer fem distinkte domæner med specificerede pointallokeringer (i alt 10 point):

• Kommunikation ved konsultationens start (0-3 point): 30% af den samlede score
• Generisk medicinsk historie (0-3,5 point): 35% af den samlede score
• Målrettet medicinsk historie (0-1,5 point): 15% af den samlede score
• Diagnostik og behandlingsræsonnement (0-1 point): 10% af den samlede score
• Kommunikation ved konsultationens afslutning (0-1 point): 10% af den samlede score

En score på 6 point svarer til en bestået rate på OSCE-baseret eksamen. Studerende modtager dog information om, at denne studie ikke havde eksaminationsformål og ikke påvirkede deres karakterer på nogen måde.

To konsulenter i reumatologi gennemførte alle OSCE-vurderinger, blindet for intervention eller kontrolgruppetildeling. Bedømmerne blev kun forsynet med vurderingsrubrikken og havde ingen viden om, hvilke studerende der havde modtaget AI-genereret feedback. Denne blinding blev opretholdt gennem hele dataindsamlingsperioden.