AI-genererad Feedback i Sociala Robotiska Virtuella Patienter

Det övergripande målet med detta projekt är att undersöka om ett system för direkt återkoppling som integreras i en AI-förstärkt social robotisk VP-plattform är mer effektivt i träningen av kliniskt resonemang (CR) och kommunikationsfärdigheter för medicinstudenter jämfört med samma AI-förstärkta sociala robotiska VP-plattform utan återkopplingssystem.

Ökad kunskap inom detta forskningsområde bidrar till optimerad användning av ny teknik tillsammans med andra utbildningsresurser för att främja meningsfulla läranderesultat, inklusive handledning och patientmöten. Det kortsiktiga och långsiktiga målet är att förbättra den medicinska utbildningsmiljön för att säkerställa bättre vård för patienter med reumatiska sjukdomar, samtidigt som det även är tillämpligt på andra medicinska discipliner. Även om den fortfarande genomgår förbättringar, ger denna utbildningsaktivitet studenter möjlighet att träna i en säker och interaktiv miljö.

Bakgrund:

Inom dagens hälso- och sjukvård tillhandahålls de flesta tjänster på öppenvårdsmottagningar och dagvårdsavdelningar, vilket också är fallet inom reumatologi. En betydande del av grundutbildningen för hälso- och sjukvårdsyrken (HPE) fortsätter dock att äga rum på slutenvårdsavdelningar, där det förblir en utmaning att säkerställa att inlagda patienter överensstämmer med specifika lärandemål. Patienter som kräver sjukhusinläggning har vanligtvis långvariga tillstånd, ofta med komplexa sjukdomsmanifestationer och komplikationer, tillsammans med betydande medicinska samsjukligheter. COVID-19-pandemin belyste ytterligare hinder för studenter att interagera med lärare, patienter och kamrater. Denna situation, kombinerat med tidigare förslag om alternativa tillvägagångssätt för teoretisk och praktisk färdighetsträning i grundutbildningen för HPE, betonar det brådskande behovet av innovativa läraktiviteter som underlättar meningsfulla interaktioner mellan studenter och patientfall som finns representerade i HPE-läroplaner.

Virtuella patienter (VP) är interaktiva digitala simuleringar av kliniska scenarier utformade för utbildningsändamål och representeras genom en mängd olika system och tillvägagångssätt. En grundläggande komponent i VP-simuleringar är deras interaktiva gränssnitt, vilket gör det möjligt för användare att engagera sig med patienter på olika sätt: samla medicinsk historik, genomföra fysiska undersökningar och implementera utredningsstrategier. Dessa omfattande interaktionsmöjligheter gör det möjligt för användare att samla väsentlig information för att utföra diagnostik och fatta beslut om lämpliga behandlingsplaner för sina VP.

Reumatologimottagningen på Karolinska Universitetssjukhuset har kompletterat kliniska placeringar för medicinstudenter under de senaste 15 åren för att säkerställa att studenter interagerar med representativa patienter genom att införliva VP-fall med hjälp av datorprogramvara som ReumaCase och Virtual Interactive Case simulator (VIC). Dessa plattformar exemplifierar semilinjära VP-system, vilket gör det möjligt för användare att navigera fritt mellan de förutbestämda punkterna för initial patientpresentation och avslutande diagnostiska och behandlingsbeslut. HPE-forskning har lett till nya lärtillvägagångssätt, inklusive optimerade VP-implementeringsstrategier och rekommendationer för att utveckla kliniskt resonemang (CR) färdigheter genom VP-praktik. Även om grundutbildningsstudenter inom HPE erkänner VP som värdefulla utbildningsverktyg för CR-träning, medger de att dessa simuleringar saknar komplexiteten och interaktiviteten hos riktiga patientmöten.

Även om CR-färdigheter är viktiga i medicinsk utbildning, hävdar vissa att empati är en av de viktigaste färdigheterna hos hälso- och sjukvårdspersonal som är engagerad i patientvård. Empatiska färdigheter hos vårdgivare har visats vara förknippade med bättre hälsoutfall för patienter och minskar risken för sjukhusinläggning. I grundutbildningen i medicin tränas empatiskt beteende vanligtvis genom rollspel med studenter, skådespelare eller lärare som porträtterar standardiserade patienter, vilka representerar representativa läroboksmässiga medicinska tillstånd. Standardiserade patienter kan dock vara ett kostsamt alternativ, och tillgänglighetsaspekter kan ibland hindra praktiken av empatiskt beteende. Ett alternativ till detta kan vara VP som möjliggör mer autentiska och interaktiva former av kommunikation.

Senare tekniska framsteg har introducerat förbättrade interaktiva metoder mellan användare och VP, särskilt genom artificiell intelligens (AI) och social robotik. Forskarna har utvecklat en ny plattform som har namngivits Social AI-enhanced Robotic Interface (SARI), som kombinerar socialroboten Furhat med den stora språkmodellen (LLM) Chat-Generative Pretrained Transformer (Chat-GPT). Denna nya plattform har implementerats för medicinstudenter på Reumatologimottagningen vid Karolinska Universitetssjukhuset för att komplettera deras träning under kliniska placeringar, tillsammans med konventionella datorbaserade VP-möten (VIC). Inledande fynd tyder på att studenter upplever att SARI erbjuder en mer autentisk och interaktiv VP-upplevelse i utvecklingen av CR-färdigheter jämfört med en konventionell datorbaserad plattform.

Detta projekt syftar till att utvärdera effektiviteten av SARI som en VP-plattform för medicinstudenter, genom att jämföra om SARI kombinerat med ett integrerat AI-genererat direkt återkopplingssystem ytterligare förbättrar klinisk prestation vid medicinsk anamnesupptagning.

Innan denna studie har forskarna utvecklat totalt tio VP-fall, som har implementerats och för närvarande används för kliniska placeringar vid Reumatologiska avdelningen på Karolinska Universitetssjukhuset. Hälften av dessa fall har utvecklats i den datorbaserade plattformen VIC och hälften av dem har utvecklats i den AI-förstärkta sociala robotiska plattformen SARI. VP-fallen i båda plattformarna har utvecklats enligt distinkta rekommendationer för VP-plattformsutveckling och utvärderas kontinuerligt av medicinstudenter genom direkt (muntlig återkoppling och utvärderingsformulär) och indirekt (från analys av forskningsdata) återkoppling.

Alla VP-fall är nu en del av utbildningsaktiviteten "Den Virtuella Öppenvårdsmottagningen", som fungerar som ett komplement till kliniska placeringar inom reumatologi. Inom denna aktivitet deltar alla sjätte terminens medicinstudenter från Karolinska Institutet under en period av en och en halv arbetsdag under en veckas placering i reumatologi. "Den Virtuella Öppenvårdsmottagningen" har pågått på mottagningen sedan våren 2024, och tar emot ungefär 150 studenter varje termin under en period av sex veckor. I denna utbildningsaktivitet utför alla studenter alla unika VP-fall och deltar i uppföljningsseminarier med konsultreumatologer efter varje fall för att diskutera frågor rörande fallinnehållet och de representerade reumatiska tillstånden. I början av aktiviteten ombeds alla studenter att delta i forskningsprojektet genom att utvärdera VP-fallen för att ytterligare förbättra och undersöka deras mervärde med hjälp av validerade index för VP-plattformsutveckling. Efter att ha samtyckt till att delta och signerat ett informerat samtyckesformulär lagras varje students interaktion med SARI som en ljudfil och transkriberas i realtid. Fram till idag har ungefär 400 studenter interagerat med de fem VP-fallen i SARI, vilket har resulterat i nästan 2000 unika VP-interaktioner.

Forskarna har utfört en initial utvärdering av SARI och jämfört dess prestanda i medicinstudenters självupplevda förvärv av CR-färdigheter jämfört med VIC, med hjälp av blandad kvantitativ och kvalitativ metodologi under 2023. Femton medicinstudenter inkluderades och genomförde samma VP-fall i både SARI och VIC. Studenters självupplevda VP-upplevelse med fokus på CR-träning bedömdes med ett tidigare validerat index för VP-plattformsutveckling [23]. Dessutom genomfördes djupintervjuer med 8 medicinstudenter. Denna initiala utvärdering illustrerade signifikanta fördelar till förmån för SARI för temat autenticitet såväl som lärandeeffekten av VP-mötet enligt fördefinierade teman i VP-utvärderingsformuläret. Längs analysen av dessa fördefinierade teman utfördes tematisk analys av data från djupintervjuer, vilket resulterade i fyra teman. Studenterna upplevde SARI som överlägsen VIC i träning av CR, kommunikation och emotionella färdigheter.

Under våren 2024 deltog totalt 23 studenter från Den Virtuella Öppenvårdsmottagningen i djupintervjuer som ett fortsättningsprojekt som adresserade deras uppfattningar om mervärdet av SARI och VIC beträffande förvärv av CR-färdigheter. För denna studie skapade forskarna ytterligare 4 VP-fall i varje plattform. Dessutom deltog alla studenter i seminarier efter genomförandet av varje fall, för att likna handledning under riktiga patientmöten. Tematisk analys av fullständigt transkriberade intervjuer resulterade i liknande fynd: studenter fann SARI vara mer autentisk och engagerande jämfört med VIC, och upplevde att SARI möjliggjorde högt interaktiva kommunikationsmöjligheter och kunde uttrycka känslor, vilket kollektivt erbjöd en realistisk upplevelse. SARI underlättade aktivt lärande, hypotesgenerering och adaptivt tänkande i större utsträckning än VIC genom att låta studenter formulera sina egna frågor istället för att välja mellan förutbestämda alternativ för att samla medicinsk historik.

Innan VP-interaktioner får studenter strukturerad träning i medicinsk anamnesupptagning, som täcker både generella aspekter (tillämpliga över medicinska specialiteter) och reumatologispecifika komponenter. Denna förberedande träning säkerställer att studenter har grundläggande kunskaper innan de engagerar sig med VP-fallen.

Studenterna arbetar vanligtvis i par eller små grupper om tre under VP-interaktioner, med en student som tar ledarrollen i varje patientmöte. Detta samarbetsinriktade tillvägagångssätt är i linje med bevis som stöder kamratlärande i VP-baserad klinisk resonemangsträning. Den ledande studenten genomför den primära interaktionen med VP, medan andra gruppmedlemmar observerar och kan bidra till efterföljande diskussion och diagnostisk formulering.

Den Sociala AI-förstärkta Robotiska Gränssnittet (SARI):

SARI representerar en ny VP-modalitet som integrerar social robotik med stora språkmodeller (LLM) artificiell intelligens. Plattformen kombinerar den sociala roboten Furhat (utvecklad vid KTH Kungliga Tekniska Högskolan, Stockholm) med GPT-4o-mini språkmodeller från OpenAI.

Furhat-roboten består av ett fysiskt robothuvud monterat på ett stativ, med ett bakprojicerat animerat ansikte som visar ansiktsuttryck och läpprörelser synkroniserade med tal. Roboten inkluderar en mikrofonsamling för taligenkänning och högtalare för ljudutmatning. Robotens fysiska närvaro i rummet skapar vad forskare kallar "situationell interaktion", där roboten upptar faktiskt fysiskt utrymme snarare än att existera enbart som ett skärmbaserat gränssnitt.

VP-dialogsystemet fungerar genom följande tekniska arbetsflöde:

1. Talignenkänning: Studentens tal fångas upp genom robotens mikrofonsamling och omvandlas till text med automatisk taligenkänning (ASR) teknologi.

2. Dialogbearbetning: Den transkriberade studentinmatningen kombineras med:

   • En detaljerad patientfallsbeskrivning (inklusive medicinsk historik, symptom, undersökningsfynd och personlighetsdrag)
   • De senaste 10 dialogvarven (för att upprätthålla konversationskontext samtidigt som överdriven tokenanvändning undviks)
   • Systeminstruktioner som uppmanar LLM att svara från patientens perspektiv snarare än som en generell assistent
3. Responsgenerering: LLM genererar kontextuellt lämpliga svar baserade på patientfallet och konversationshistorik.
4. Emotionsmodellering: Vid specifika ankarpunkter under konversationen genererar LLM också instruktioner för lämpliga ansiktsuttryck (t.ex. oroad, lättad, ängslig, förvirrad) baserat på konversationskontext. Systemet väljer från en fördefinierad uppsättning uttryck tillgängliga i Furhat-mjukvaran.
5. Tal syntes: Genererade textsvar omvandlas till naturligt klingande tal med text-till-tal (TTS) teknologi, med det animerade ansiktet som visar synkroniserade läpprörelser och det valda emotionella uttrycket.
6. Transkribering: All dialog transkriberas automatiskt i realtid och lagras säkert för efterföljande återkopplingsgenerering och forskningsanalys.

Varje VP-fall följer etablerade principer för VP-utveckling, inklusive:

• Tydliga lärandemål anpassade till läroplanens krav
• Realistiska patientpresentationer baserade på typiska kliniska scenarier
• Lämplig komplexitetsnivå för sjätte terminens medicinstudenter
• Integration av både vanliga tillstånd och diagnostiskt utmanande presentationer
• Inkludering av relevanta psykosociala faktorer och patientbekymmer

Alla VP-fall presenteras på engelska för att tillgodose internationella utbytesstudenter som deltar i programmet. Standardiserade laboratorieprovpaneler med fallspecifika resultat tillhandahålls tillsammans med varje fall.

VP-fallen representerar olika reumatologiska tillstånd inklusive inflammatoriska artriter, bindvävssjukdomar och muskel- och skelettsjukdomar. Varje fall kräver att studenter genomför omfattande medicinsk anamnesupptagning, inklusive symptomkaraktärisering, funktionsbedömning, läkemedelshistorik och relevant systemgenomgång.

Återkopplingssystemet som används som intervention i denna studie använder en sofistikerad tvåstegsalgoritm utvecklad iterativt i samarbete med konsultreumatologer:

Steg 1: Bedömningsmodell

Det första steget analyserar den fullständiga student-VP-dialogtranskriptionen med hjälp av en fördefinierad bedömningsrubrik. Denna rubrik utvärderar flera dimensioner av klinisk prestation:

Kommunikationsfärdigheter:

• Att öppna konsultationen på ett lämpligt sätt
• Att bygga rapport med patienten
• Att använda tydligt, jargongfritt språk
• Att demonstrera aktiv lyssnande
• Att visa empati och adressera patientens bekymmer
• Att avsluta konsultationen på ett lämpligt sätt

Generell Medicinsk Anamnesupptagning:

• Utforskning av tidigare medicinsk historik
• Nuvarande medicinering och allergier
• Familjehistorik för relevanta tillstånd
• Socialhistorik (yrke, boendesituation, stödsystem)
• Livsstilsfaktorer (rökning, alkohol, motion)
• Systemgenomgång

Reumatologispecifik Anamnesupptagning:

• Systematisk ledbesvärsbedömning
• Smärtkaraktärisering (insättning, placering, duration, kvalitet, strålning, förvärrande/lindrande faktorer)
• Funktionell påverkan bedömning (aktiviteter i dagligt liv, arbetskapacitet)
• Morgonstelhets duration och mönster
• Extraartikulära manifestationer
• Mönsterigenkänning för inflammatoriska kontra mekaniska symptom

Kliniskt Resonemangskomponenter:

• Systematiskt tillvägagångssätt för informationsinsamling
• Igenkänning av symptommönster och klinisk betydelse
• Lämplig bredd av differentialdiagnosövervägande
• Logisk progression genom anamnesupptagning

Bedömningsmodellen använder LLM för att utvärdera varje dialog mot denna rubrik, vilket genererar strukturerade bedömningar av styrkor och förbättringsområden över dessa domäner.

Steg 2: Återkopplingsgenerering

Det andra steget omvandlar den strukturerade bedömningen från Steg 1 till läsbar, konstruktiv skriftlig återkoppling. Återkopplingsgenereringen använder noggrant utformade prompts som instruerar LLM att:

• Presentera återkoppling i en stödjande, pedagogisk ton
• Tillhandahålla specifika exempel från studentens dialog
• Erkänna styrkor innan man adresserar förbättringsområden
• Erbjuda konkreta förslag till förbättring
• Fokusera på lärande snarare än utvärdering

Återkopplingsinnehåll och Omfattning Studenterna får ungefär en sida (300-500 ord) av strukturerad skriftlig återkoppling omedelbart efter var och en av fem utsedda VP-möten. Återkopplingen fokuserar specifikt på färdigheter i medicinsk anamnesupptagning och adresserar inte diagnostisk noggrannhet eller behandlingsbeslut, eftersom dessa aspekter täcks i efterföljande seminarier med konsultreumatologer.

Kontrollgruppen genomför identiska VP-fall med samma SARI-plattform men får inte AI-genererad återkoppling. Emellertid får båda grupperna likvärdig exponering för den sociala robotiska VP-tekniken, deltar i identiska fallspecifika seminarier efter fallgenomförande med konsultreumatologer och har tillgång till dialogtranskriptioner för självgranskning. Den enda systematiska skillnaden är närvaron eller frånvaron av AI-genererad återkoppling.

Bedömning görs med en objektiv strukturerad klinisk undersökning (OSCE)-baserad struktur med standardiserade patienter (SP) efter interaktion med alla tillgängliga VP i SARI. SP får skriftlig fallinformation som beskriver en patientpresentation, symtomhistorik och relevant bakgrund. SP får också träning i konsekventa svar på vanliga frågeformat och instruktioner om lämpliga emotionella svar, icke-verbal kommunikation och hantering av oväntade frågor.

OSCE-rubriken som används i denna studie utvecklades i samarbete med erfarna konsultreumatologer baserat på Entrustable Professional Activity (EPA) ramverk specifika för kompetenser i medicinsk anamnesupptagning. Rubriken genomgick pilot-testning och förfining för att säkerställa interbedömarreliabilitet.

Bedömningen utvärderar fem distinkta domäner med specificerade poängtilldelningar (totalt 10 poäng):

• Kommunikation vid konsultationsstart (0-3 poäng): 30% av totalpoängen
• Generell medicinsk historik (0-3,5 poäng): 35% av totalpoängen
• Rikta medicinsk historik (0-1,5 poäng): 15% av totalpoängen
• Diagnostik och behandlingsresonemang (0-1 poäng): 10% av totalpoängen
• Kommunikation vid konsultationsslut (0-1 poäng): 10% av totalpoängen

Ett resultat på 6 poäng motsvarar ett godkänt resultat på OSCE-baserat prov. Emellertid får studenter information om att denna studie inte hade examinatoriska syften och inte påverkade deras betyg på något sätt.

Två konsultreumatologer genomförde alla OSCE-bedömningar, förblindade för interventions- eller kontrollarmsallokering. Bedömarna fick endast bedömningsrubriken och hade ingen kunskap om vilka studenter som hade fått AI-genererad återkoppling. Denna förblinding upprätthölls under hela datainsamlingsperioden.