AI-generert tilbakemelding i sosiale robotiske virtuelle pasienter

Det overordnede målet med dette prosjektet er å undersøke om et system for direkte tilbakemelding integrert i en AI-støttet sosial robotisk VP-plattform er mer effektiv i opplæringen av klinisk resonnering og kommunikasjonsferdigheter for medisinstudenter enn den samme AI-støttede sosiale robotiske VP-plattformen uten tilbakemeldingssystem?

Økt kunnskap innen dette forskningsfeltet bidrar til optimalisert bruk av ny teknologi sammen med andre pedagogiske ressurser for å frembringe meningsfulle læringsutbytter, inkludert veiledning og pasientmøter. Kortsiktige og langsiktige mål er å forbedre det medisinske utdanningsmiljøet for å sikre bedre helsehjelp for pasienter med revmatiske tilstander, samtidig som det også kan anvendes på andre medisinske disipliner. Selv om det fortsatt gjennomgår forbedringer, gir denne pedagogiske aktiviteten studentene muligheten til å trene i et trygt og interaktivt miljø.

Bakgrunn:

I helsevesenet i dag leveres de fleste tjenester på poliklinikker og døgnoppholdsenheter, noe som også gjelder innen revmatologi. Imidlertid finner en betydelig del av grunnutdanningen for helseprofesjoner fortsatt sted i inneliggende avdelinger, hvor det å sikre at innlagte pasienter samsvarer med spesifikke læringsutbytter fortsatt er en utfordring. Pasientene som krever innleggelse har vanligvis langvarige tilstander, ofte med komplekse sykdomsmanifestasjoner og komplikasjoner, sammen med betydelige medisinske komorbiditeter. COVID-19-pandemien fremhevet ytterligere barrierer for studenter til å engasjere seg med lærere, pasienter og jevnaldrende. Denne situasjonen, kombinert med tidligere forslag til alternative tilnærminger til teoretisk og praktisk ferdighetstrening i grunnutdanningen for helseprofesjoner, understreker det presserende behovet for innovative læringsaktiviteter som fremmer meningsfulle interaksjoner mellom studenter og pasienttilfeller som er representert i læreplanene for helseprofesjonsutdanning.

Virtuelle pasienter (VP) er interaktive digitale simuleringer av kliniske scenarioer designet for pedagogiske formål og er representert gjennom en rekke systemer og tilnærminger. Et grunnleggende element i VP-simuleringer er deres interaktive grensesnitt, som gjør at brukere kan engasjere seg med pasienter på ulike måter: innhente medisinsk historie, utføre fysiske undersøkelser og implementere undersøkelsesstrategier. Disse omfattende mulighetene for interaksjon gjør at brukere kan samle essensiell informasjon for å utføre diagnostikk og bestemme passende behandlingsplaner for sine VP-er.

Revmatologiklinikken ved Karolinska Universitetssykehus har supplert kliniske plasseringer for medisinstudenter de siste 15 årene for å sikre at studenter samhandler med representative pasienter ved å inkorporere VP-tilfeller ved hjelp av dataprogramvare som ReumaCase og Virtual Interactive Case simulator (VIC). Disse plattformene eksemplifiserer semilineære VP-systemer, som gjør at brukere kan navigere fritt mellom de forhåndsbestemte punktene for innledende pasientpresentasjon og avsluttende diagnostiske og behandlingsbeslutninger. Forskning på helseprofesjonsutdanning har ført til nye læringstilnærminger, inkludert optimaliserte VP-implementeringsstrategier og anbefalinger for utvikling av klinisk resonneringsferdigheter gjennom VP-praksis. Selv om studenter i grunnutdanningen for helseprofesjoner anerkjenner VP-er som verdifulle pedagogiske verktøy for klinisk resonneringstrening, erkjenner de at disse simuleringene mangler kompleksiteten og interaktiviteten til virkelige pasientmøter.

Selv om kliniske resonneringsferdigheter er viktige i medisinsk utdanning, hevder noen at empati er en av de viktigste ferdighetene til helsepersonell som er engasjert i pasientbehandling. Empatiske ferdigheter hos helsepersonell har vist seg å være assosiert med bedre helseutfall for pasienter og reduserer risikoen for innleggelse. I grunnutdanningen i medisin trenes empatisk oppførsel vanligvis ved hjelp av rollespill med studenter, skuespillere eller lærere som portretterer standardiserte pasienter, som er representative lærebokmedisinske tilstander. Imidlertid kan standardiserte pasienter være et kostbart alternativ, og tilgjengelighetsaspekter kan noen ganger hindre praksisen av empatisk oppførsel. Et alternativ til dette kan være VP-er som muliggjør mer autentiske og interaktive kommunikasjonsformer.

Nylige teknologiske fremskritt har introdusert forbedrede interaktive metoder mellom brukere og VP-er, spesielt gjennom kunstig intelligens (AI) og sosial robotikk. Forskerne har utviklet en ny plattform som har fått navnet Social AI-enhanced Robotic Interface (SARI), som kombinerer den sosiale roboten Furhat med den store språkmodellen (LLM) Chat-Generative Pretrained Transformer (Chat-GPT). Denne nye plattformen har blitt implementert for medisinstudenter ved Revmatologiklinikken på Karolinska Universitetssykehus for å supplere deres trening under kliniske plasseringer, sammen med konvensjonelle databaserte VP-møter (VIC). Innledende funn tyder på at studentene opplever at SARI tilbyr en mer autentisk og interaktiv VP-opplevelse i utviklingen av kliniske resonneringsferdigheter sammenlignet med en konvensjonell databasert plattform.

Dette prosjektet har som mål å evaluere effektiviteten av SARI som en VP-plattform for medisinstudenter, og sammenligne om SARI kombinert med et integrert AI-generert direkte tilbakemeldingssystem ytterligere forbedrer klinisk ytelse i medisinsk historieinnhenting.

Før denne studien har forskerne utviklet totalt ti VP-tilfeller, som har blitt implementert og for tiden brukes for kliniske plasseringer ved Avdeling for revmatologi på Karolinska Universitetssykehus. Halvparten av disse tilfellene har blitt utviklet i den databaserte plattformen VIC og halvparten har blitt utviklet i den AI-forbedrede sosiale robotiske plattformen SARI. VP-tilfellene i begge plattformene har blitt utviklet i henhold til distinkte anbefalinger for VP-plattformutvikling og blir kontinuerlig evaluert av medisinstudenter gjennom direkte (muntlig tilbakemelding og evalueringsskjemaer) og indirekte (fra analyse av forskningsdata) tilbakemeldinger.

Alle VP-tilfellene er nå en del av den pedagogiske aktiviteten "The Virtual Outpatient Clinic", som fungerer som et supplement til kliniske plasseringer innen revmatologi. Innen denne aktiviteten deltar alle medisinstudenter på sjette semester fra Karolinska Institutet i en periode på en og en halv arbeidsdag under en ettukes plassering i revmatologi. "The Virtual Outpatient Clinic" har pågått ved klinikken siden våren 2024, og har omtrent 150 studenter hvert semester over en periode på seks uker. I denne pedagogiske aktiviteten utfører alle studentene alle unike VP-tilfeller og deltar i oppfølgingsseminarer med konsulentrevmatologer etter hvert tilfelle for å diskutere spørsmål knyttet til tilfelleinnholdet og de representerte revmatiske tilstandene. I begynnelsen av aktiviteten blir alle studenter bedt om å delta i forskningsprosjektet ved å evaluere VP-tilfellene for videre å forbedre og undersøke deres merverdi ved hjelp av validerte indekser for VP-plattformutvikling. Ved å samtykke til å delta og signere et informert samtykkeskjema, lagres hver students interaksjon med SARI som en lydfil og transkriberes i sanntid. Til dags dato har omtrent 400 studenter samhandlet med de fem VP-tilfellene i SARI, noe som har resultert i nesten 2000 unike VP-interaksjoner.

Forskerne har utført en innledende evaluering av SARI og sammenlignet dens ytelse i medisinstudenters selvopplevde tilegnelse av kliniske resonneringsferdigheter sammenlignet med VIC, ved hjelp av blandet kvantitativ og kvalitativ metodikk i løpet av 2023. Femten medisinstudenter ble inkludert og fullførte det samme VP-tilfellet i både SARI og VIC. Studentenes selvopplevde VP-opplevelse med fokus på klinisk resonneringstrening ble vurdert ved hjelp av en tidligere validert indeks for VP-plattformutvikling [23]. Videre ble dybdeintervjuer gjennomført med 8 medisinstudenter. Denne innledende evalueringen illustrerte betydelige fordeler til fordel for SARI for temaet autentisitet samt læringseffekten av VP-møtet i henhold til forhåndsdefinerte temaer i VP-evalueringsskjemaet. Langs analysen av disse forhåndsdefinerte temaene ble tematisk analyse utført av data fra dybdeintervjuer, som resulterte i fire temaer. Studentene opplevde SARI som overlegen VIC i trening av klinisk resonnering, kommunikasjon og emosjonelle ferdigheter.

I løpet av våren 2024 deltok totalt 23 studenter fra The Virtual Outpatient Clinic i dybdeintervjuer som et oppfølgingsprosjekt som adresserte deres oppfatninger av merverdien av SARI og VIC angående tilegnelse av kliniske resonneringsferdigheter. For denne studien skapte forskerne 4 ytterligere VP-tilfeller i hver plattform. Videre deltok alle studenter i seminarer etter fullføring av hvert tilfelle, for å ligne veiledning under virkelige pasientmøter. Tematisk analyse av fullstendig transkriberte intervjuer resulterte i lignende funn: studentene fant SARI å være mer autentisk og engasjerende sammenlignet med VIC, og opplevde at SARI muliggjorde svært interaktive kommunikasjonsmuligheter og kunne uttrykke følelser, og til sammen tilbød en realistisk opplevelse. SARI muliggjorde aktiv læring, hypotesegenerering og adaptiv tenkning i større grad enn VIC ved å la studentene formulere sine egne spørsmål i stedet for å velge mellom forhåndsbestemte alternativer for innhenting av medisinsk historie.

Før VP-interaksjoner mottar studenter strukturert trening i medisinsk historieinnhenting, som dekker både generelle aspekter (anvendelige på tvers av medisinske spesialiteter) og revmatologispesifikke komponenter. Denne forberedende opplæringen sikrer at studentene har grunnleggende kunnskap før de engasjerer seg med VP-tilfellene.

Studentene jobber vanligvis i par eller små grupper på tre under VP-interaksjoner, med én student som tar lederrollen i hvert pasientmøte. Denne samarbeidende tilnærmingen er i samsvar med bevis som støtter jevnaldrelæring i VP-basert klinisk resonneringstrening. Den ledende studenten gjennomfører den primære interaksjonen med VP-en, mens andre gruppemedlemmer observerer og kan bidra til påfølgende diskusjon og diagnostisk formulering.

Den sosiale AI-forbedrede robotiske grensesnittet (SARI):

SARI representerer en ny VP-modalitet som integrerer sosial robotikk med stor språkmodell (LLM) kunstig intelligens. Plattformen kombinerer den sosiale roboten Furhat (utviklet ved KTH Royal Institute of Technology, Stockholm) med GPT-4o-mini-språkmodeller fra OpenAI.

Furhat-roboten består av et fysisk robotthode montert på en stativ, med et bakprojisert animert ansikt som viser ansiktsuttrykk og leppebevegelser synkronisert med tale. Roboten inkluderer en mikrofonomatrise for talegjenkjenning og høyttalere for lydutgang. Den fysiske tilstedeværelsen av roboten i rommet skaper det forskerne kaller "situasjonsinteraksjon", der roboten opptar faktisk fysisk plass i stedet for å eksistere utelukkende som et skjermbasert grensesnitt.

VP-dialogsystemet opererer gjennom følgende tekniske arbeidsflyt:

1. Talegjenkjenning: Studentens tale fanges opp gjennom robotens mikrofonomatrise og konverteres til tekst ved hjelp av automatisk talegjenkjenningsteknologi (ASR).

2. Dialogbehandling: Den transkriberte studentinndataen kombineres med:

   • En detaljert pasienttilfeldeskrivelse (inkludert medisinsk historie, symptomer, undersøkelsesfunn og personlighetstrekk)
   • De siste 10 dialogrunder (for å opprettholde samtalekontekst samtidig som man unngår overdreven tokenbruk)
   • Systeminstruksjoner som ber LLM-en svare fra pasientens perspektiv i stedet for som en generell assistent
3. Responsgenerering: LLM-en genererer kontekstuelt passende svar basert på pasienttilfellet og samtalehistorikk.
4. Følelsesmodellering: Ved spesifikke ankerpunkter under samtalen genererer LLM-en også instruksjoner for passende ansiktsuttrykk (f.eks. bekymret, lettet, engstelig, forvirret) basert på samtalekontekst. Systemet velger fra et forhåndsdefinert sett av uttrykk tilgjengelig i Furhat-programvaren.
5. Talesyntese: Genererte tekstsvar konverteres til naturlig hørende tale ved hjelp av tekst-til-tale-teknologi (TTS), med det animerte ansiktet som viser synkroniserte leppebevegelser og det valgte emosjonelle uttrykket.
6. Transkripsjon: All dialog transkriberes automatisk i sanntid og lagres sikkert for påfølgende tilbakemeldingsgenerering og forskningsanalyse.

Hvert VP-tilfelle følger etablerte prinsipper for VP-utvikling, inkludert:

• Klare læringsmål i samsvar med læreplanens krav
• Realistiske pasientpresentasjoner basert på typiske kliniske scenarioer
• Passende kompleksitetsnivå for medisinstudenter på sjette semester
• Integrering av både vanlige tilstander og diagnostisk utfordrende presentasjoner
• Inkludering av relevante psykososiale faktorer og pasientbekymringer

Alle VP-tilfeller presenteres på engelsk for å imøtekomme internasjonale utvekslingsstudenter som deltar i programmet. Standard laboratorieprøvepaneler med tilfellespesifikke resultater leveres sammen med hvert tilfelle.

VP-tilfellene representerer ulike revmatologiske tilstander inkludert inflammatoriske artritter, bindevevssykdommer og muskelskjelettlidelser. Hvert tilfelle krever at studentene gjennomfører omfattende medisinsk historieinnhenting, inkludert symptomkarakterisering, funksjonsvurdering, medikasjonshistorie og relevant systemgjennomgang.

Tilbakemeldingssystemet som brukes som intervensjon i denne studien bruker en sofistikert to-trinns algoritme utviklet iterativt i samarbeid med konsulentrevmatologer:

Trinn 1: Vurderingsmodell

Det første trinnet analyserer den komplette student-VP-dialogtranskripsjonen ved hjelp av en forhåndsdefinert vurderingsrubrikk. Denne rubrikken evaluerer flere dimensjoner av klinisk ytelse:

Kommunikasjonsferdigheter:

• Åpne konsultasjonen på en passende måte
• Bygge tillit med pasienten
• Bruke klar, sjargongfri språk
• Demonstrere aktiv lyttering
• Vise empati og adressere pasientbekymringer
• Avslutte konsultasjonen på en passende måte

Generell medisinsk historieinnhenting:

• Utforskning av tidligere medisinsk historie
• Nåværende medisiner og allergier
• Familiehistorie for relevante tilstander
• Sosial historie (yrke, bo-situasjon, støttesystemer)
• Livsstilsfaktorer (røyking, alkohol, trening)
• Systemgjennomgang

Revmatologispesifikk historieinnhenting:

• Systematisk leddsymptomvurdering
• Smertekarakterisering (start, lokalisering, varighet, kvalitet, stråling, forverrende/lindrende faktorer)
• Funksjonell påvirkningsvurdering (daglige aktiviteter, arbeidsevne)
• Morgenstivhetsvarighet og mønster
• Ekstraartikulære manifestasjoner
• Mønstergjenkjenning for inflammatoriske versus mekaniske symptomer

Kliniske resonneringskomponenter:

• Systematisk tilnærming til informasjonsinnhenting
• Gjenkjenning av symptommønstre og klinisk betydning
• Passende bredde av differensialdiagnosevurdering
• Logisk progresjon gjennom historieinnhenting

Vurderingsmodellen bruker LLM-en til å evaluere hver dialog mot denne rubrikken, og genererer strukturert vurdering av styrker og områder for forbedring på tvers av disse domenene.

Trinn 2: Tilbakemeldingsgenerering

Det andre trinnet transformerer den strukturerte vurderingen fra trinn 1 til lesbar, konstruktiv skriftlig tilbakemelding. Tilbakemeldingsgenereringen bruker nøye utformede prompts som instruerer LLM-en til å:

• Presentere tilbakemelding i en støttende, pedagogisk tone
• Gi spesifikke eksempler fra studentens dialog
• Anerkjenne styrker før man adresserer områder for forbedring
• Tilby konkrete forslag til forbedring
• Fokusere på læring snarere enn evaluering

Tilbakemeldingsinnhold og omfang Studentene mottar omtrent én side (300-500 ord) med strukturert skriftlig tilbakemelding umiddelbart etter hvert av fem utpekte VP-møter. Tilbakemeldingen fokuserer spesifikt på ferdigheter i medisinsk historieinnhenting og adresserer ikke diagnostisk nøyaktighet eller behandlingsbeslutninger, da disse aspektene dekkes i påfølgende seminarer med konsulentrevmatologer.

Kontrollgruppen fullfører identiske VP-tilfeller ved å bruke den samme SARI-plattformen, men mottar ikke AI-generert tilbakemelding. Imidlertid mottar begge gruppene tilsvarende eksponering for den sosiale robotiske VP-teknologien, deltar i identiske tilfellespesifikke seminarer etter tilfellefullføring med konsulentrevmatologer, og har tilgang til dialogtranskripsjoner for egen gjennomgang. Den eneste systematiske forskjellen er tilstedeværelsen eller fraværet av AI-generert tilbakemelding.

Vurdering gjøres ved hjelp av en objektiv strukturert klinisk eksamen (OSCE)-basert struktur med standardiserte pasienter (SP-er) etter interaksjon med alle tilgjengelige VP-er i SARI. SP-ene mottar skriftlig tilfelleinformasjon som beskriver en pasientpresentasjon, symptombistorie og relevant bakgrunn. SP-ene mottar også trening i konsistente svar på vanlige spørsmålsformater, og instruksjoner om passende emosjonelle reaksjoner, ikke-verbal kommunikasjon og håndtering av uventede spørsmål.

OSCE-rubrikken brukt i denne studien ble utviklet i samarbeid med erfarne konsulentrevmatologer basert på Entrustable Professional Activity (EPA)-rammeverk spesifikke for kompetanser i medisinsk historieinnhenting. Rubrikken gjennomgikk pilottesting og forbedring for å sikre inter-rater pålitelighet.

Vurderingen evaluerer fem distinkte domener med spesifiserte poengtildelinger (totalt 10 poeng):

• Kommunikasjon ved konsultasjonsstart (0-3 poeng): 30 % av total score
• Generell medisinsk historie (0-3,5 poeng): 35 % av total score
• Målrettet medisinsk historie (0-1,5 poeng): 15 % av total score
• Diagnostikk og behandlingsresonnering (0-1 poeng): 10 % av total score
• Kommunikasjon ved konsultasjonsslutt (0-1 poeng): 10 % av total score

En score på 6 poeng tilsvarer en strykprosent på OSCE-basert eksamen. Imidlertid mottar studentene informasjon om at denne studien ikke hadde eksamensformål og ikke påvirket karakterene deres på noen måte.

To konsulentrevmatologer gjennomførte alle OSCE-vurderinger, blindet for intervensjons- eller kontrollgruppetilordning. Vurdererne ble kun gitt vurderingsrubrikken og hadde ingen kunnskap om hvilke studenter som hadde mottatt AI-generert tilbakemelding. Denne blindingen ble opprettholdt gjennom hele datainnsamlingsperioden.