AI-generovaná zpětná vazba v sociálních robotických virtuálních pacientech

Primárním cílem tohoto projektu je zjistit, zda bude systém pro přímou zpětnou vazbu začleněný do platformy virtuálních pacientů (VP) s umělou inteligencí a sociální robotikou účinnější při výcviku klinického uvažování (CR) a komunikačních dovedností studentů medicíny než stejná platforma VP s umělou inteligencí a sociální robotikou bez systému zpětné vazby.

Hlubší poznání v tomto výzkumném poli přispívá k optimalizovanému využití nových technologií spolu s dalšími vzdělávacími zdroji, aby se usnadnily smysluplné vzdělávací výsledky, včetně supervize a setkání s pacienty. Krátkodobým i dlouhodobým cílem je zlepšit prostředí lékařského vzdělávání, aby byla zajištěna lepší zdravotní péče pro pacienty s revmatickými onemocněními, přičemž je aplikovatelný i na další lékařské obory. Ačkoliv tato vzdělávací aktivita stále prochází úpravami, poskytuje studentům možnost trénovat v bezpečném a interaktivním prostředí.

Pozadí:

V dnešním zdravotnictví je většina služeb poskytována na ambulantních klinikách a denních stacionářích, což platí i v revmatologii. Významná část pregraduálního vzdělávání zdravotnických profesí (HPE) však stále probíhá v lůžkových zařízeních, kde zajištění toho, aby hospitalizovaní pacienti odpovídali specifickým vzdělávacím cílům, zůstává výzvou. Pacienti vyžadující hospitalizaci obvykle trpí dlouhodobými stavy, často se složitými projevy onemocnění a komplikacemi spolu s významnými přidruženými zdravotními stavy. Pandemie COVID-19 zvýraznila další překážky pro studenty v interakci s učiteli, pacienty a vrstevníky. Tato situace, kombinovaná s předchozími návrhy alternativních přístupů k teoretickému a praktickému výcviku dovedností v pregraduálním HPE, zdůrazňuje naléhavou potřebu inovativních vzdělávacích aktivit, které usnadňují smysluplné interakce mezi studenty a pacienty zastoupenými v osnovách HPE.

Virtuální pacienti (VP) jsou interaktivní digitální simulace klinických scénářů navržené pro vzdělávací účely a jsou zastoupeny různými systémy a přístupy. Základní součástí simulací VP je jejich interaktivní rozhraní, které uživatelům umožňuje zapojit se do interakce s pacienty různými způsoby: získávání anamnézy, provádění fyzikálního vyšetření a implementace vyšetřovacích strategií. Tyto komplexní možnosti interakce umožňují uživatelům shromáždit nezbytné informace k provedení diagnostiky a rozhodnutí o vhodném léčebném plánu pro jejich VP.

Revmatologická klinika Univerzitní nemocnice Karolinska doplňuje klinické stáže studentů medicíny za posledních 15 let, aby zajistila, že studenti interagují s reprezentativními pacienty, začleněním případů VP pomocí počítačového softwaru, jako je ReumaCase a simulátor Virtual Interactive Case (VIC). Tyto platformy představují příklady semilineárních systémů VP, umožňujících uživatelům volně navigovat mezi předem stanovenými body počáteční prezentace pacienta a závěrečnými diagnostickými a léčebnými rozhodnutími. Výzkum HPE přinesl nové vzdělávací přístupy, včetně optimalizovaných strategií implementace VP a doporučení pro rozvoj dovedností klinického uvažování (CR) prostřednictvím praxe s VP. Zatímco pregraduální studenti HPE uznávají VP jako cenné vzdělávací nástroje pro výcvik CR, uznávají, že tyto simulace postrádají komplexnost a interaktivitu skutečných setkání s pacienty.

Zatímco dovednosti CR jsou důležité v lékařském vzdělávání, někteří tvrdí, že empatie je jednou z nejdůležitějších dovedností zdravotnických pracovníků zapojených do péče o pacienty. Bylo prokázáno, že empatické dovednosti poskytovatelů zdravotní péče jsou spojeny s lepšími zdravotními výsledky pacientů a snižují riziko hospitalizace. V pregraduálním lékařském vzdělávání je empatické chování typicky trénováno pomocí hraní rolí se studenty, herci nebo učiteli zobrazujícími standardizované pacienty, což jsou reprezentativní učebnicové lékařské stavy. Standardizovaní pacienti však mohou být nákladnou volbou a aspekty dostupnosti mohou někdy bránit praxi empatického chování. Alternativou k tomu by mohli být VP, kteří umožňují autentičtější a interaktivnější formy komunikace.

Nedávné technologické pokroky přinesly vylepšené interaktivní metody mezi uživateli a VP, zejména prostřednictvím umělé inteligence (AI) a sociální robotiky. Výzkumníci vyvinuli novou platformu, která byla pojmenována Social AI-enhanced Robotic Interface (SARI), kombinující sociálního robota Furhat s velkým jazykovým modelem (LLM) Chat-Generative Pretrained Transformer (Chat-GPT). Tato nová platforma byla implementována pro studenty medicíny na Revmatologické klinice Univerzitní nemocnice Karolinska, aby doplnila jejich výcvik během klinických stáží, spolu s konvenčními setkáními s VP na počítačové platformě (VIC). Prvotní zjištění naznačují, že studenti vnímají, že SARI nabízí autentičtější a interaktivnější zážitek s VP při rozvoji dovedností CR ve srovnání s konvenční počítačovou platformou.

Tento projekt si klade za cíl vyhodnotit účinnost SARI jako platformy VP pro studenty medicíny, přičemž porovnává, zda SARI kombinovaná s integrovaným systémem přímé zpětné vazby generované AI dále zlepšuje klinický výkon při odebírání anamnézy.

Před touto studií výzkumníci vyvinuli celkem deset případů VP, které byly implementovány a jsou v současnosti používány pro klinické stáže na Oddělení revmatologie Univerzitní nemocnice Karolinska. Polovina těchto případů byla vyvinuta na počítačové platformě VIC a polovina na platformě SARI s umělou inteligencí a sociální robotikou. Případy VP na obou platformách byly vyvinuty podle odlišných doporučení pro vývoj platformy VP a jsou průběžně hodnoceny studenty medicíny prostřednictvím přímé (ústní zpětná vazba a hodnotící formuláře) a nepřímé (z analýzy výzkumných dat) zpětné vazby.

Všechny případy VP jsou nyní součástí vzdělávací aktivity "Virtuální ambulantní klinika", která slouží jako doplněk ke klinickým stážím v revmatologii. V rámci této aktivity se všichni studenti medicíny šestého semestru z Karolinska Institutet účastní během období jednoho a půl pracovního dne během týdenní stáže v revmatologii. "Virtuální ambulantní klinika" probíhá na klinice od jara 2024, hostí přibližně 150 studentů každý semestr během období šesti týdnů. V této vzdělávací aktivitě všichni studenti provedou všechny unikátní případy VP a účastní se navazujících seminářů s konzultanty-revmatology po každém případu, aby diskutovali otázky týkající se obsahu případu a zastoupených revmatických stavů. Na začátku aktivity jsou všichni studenti požádáni o účast ve výzkumném projektu hodnocením případů VP, aby se dále zlepšila a prozkoumala jejich přidaná hodnota pomocí validovaných indexů pro vývoj platformy VP. Po souhlasu s účastí a podepsání informovaného souhlasu je každá interakce studenta se SARI uložena jako zvukový soubor a přepsána v reálném čase. K tomuto datu přibližně 400 studentů interagovalo s pěti případy VP v SARI, což vedlo k téměř 2000 unikátním interakcím s VP.

Výzkumníci provedli počáteční vyhodnocení SARI a porovnali jeho výkon ve vnímání vlastního osvojení dovedností CR studenty medicíny ve srovnání s VIC, využívajíc smíšenou kvantitativní a kvalitativní metodologii během roku 2023. Bylo zařazeno patnáct studentů medicíny, kteří dokončili stejný případ VP v SARI i VIC. Vnímání vlastního zážitku s VP studenty se zaměřením na výcvik CR bylo hodnoceno pomocí dříve validovaného indexu pro vývoj platformy VP [23]. Dále byly provedeny hloubkové rozhovory s 8 studenty medicíny. Toto počáteční hodnocení ukázalo významné výhody ve prospěch SARI pro téma autenticity i vzdělávacího efektu setkání s VP podle předdefinovaných témat v dotazníku pro hodnocení VP. Podél analýzy těchto předdefinovaných témat byla provedena tematická analýza dat z hloubkových rozhovorů, která vyústila ve čtyři témata. Studenti zažili SARI jako nadřazené VIC ve výcviku CR, komunikace a emočních dovedností.

Během jara 2024 se celkem 23 studentů z Virtuální ambulantní kliniky účastnilo hloubkových rozhovorů jako pokračovacího projektu zabývajícího se jejich vnímáním přidané hodnoty SARI a VIC týkající se osvojení dovedností CR. Pro tuto studii výzkumníci vytvořili 4 další případy VP na každé platformě. Dále se všichni studenti účastnili seminářů po dokončení každého případu, aby připomínali supervizi během skutečných setkání s pacienty. Tematická analýza plně přepsaných rozhovorů přinesla podobná zjištění: studenti shledali SARI autentičtějším a poutavějším ve srovnání s VIC a zažili, že SARI umožňuje vysoce interaktivní komunikační možnosti a dokáže vyjadřovat emoce, což kolektivně nabízí realistický zážitek. SARI usnadňovalo aktivní učení, generování hypotéz a adaptivní myšlení ve větší míře než VIC tím, že studentům umožňovalo formulovat vlastní otázky namísto výběru mezi předem stanovenými možnostmi pro získání anamnézy.

Před interakcemi s VP studenti absolvují strukturovaný výcvik v odebírání anamnézy, pokrývající jak obecné aspekty (aplikovatelné napříč lékařskými specializacemi), tak revmatologicky specifické složky. Tento přípravný výcvik zajišťuje, že studenti mají základní znalosti před zapojením se do případů VP.

Studenti typicky pracují ve dvojicích nebo malých skupinách po třech během interakcí s VP, přičemž jeden student přebírá vedoucí roli v každém setkání s pacientem. Tento kolaborativní přístup je v souladu s důkazy podporujícími vrstevnické učení ve výcviku klinického uvažování založeném na VP. Vedoucí student provádí primární interakci s VP, zatímco ostatní členové skupiny pozorují a mohou přispět k následné diskusi a diagnostické formulaci.

Social AI-enhanced Robotic Interface (SARI):

SARI představuje novou modalitu VP, která integruje sociální robotiku s umělou inteligencí velkého jazykového modelu (LLM). Platforma kombinuje sociálního robota Furhat (vyvinutého na KTH Royal Institute of Technology, Stockholm) s jazykovými modely GPT-4o-mini od OpenAI.

Robot Furhat se skládá z fyzické robotické hlavy namontované na stojanu, s animovanou tváří promítanou zezadu, která zobrazuje mimiku a pohyby rtů synchronizované s řečí. Robot zahrnuje mikrofonní pole pro rozpoznávání řeči a reproduktory pro zvukový výstup. Fyzická přítomnost robota v místnosti vytváří to, co výzkumníci nazývají "situační interakcí", kde robot zaujímá skutečný fyzický prostor namísto existence pouze jako rozhraní na obrazovce.

Dialogový systém VP funguje prostřednictvím následujícího technického pracovního postupu:

1. Rozpoznávání řeči: Řeč studenta je zachycena mikrofonním polem robota a převedena na text pomocí technologie automatického rozpoznávání řeči (ASR).

2. Zpracování dialogu: Přepsaný vstup studenta je kombinován s:

   • Podrobným popisem případu pacienta (včetně anamnézy, příznaků, nálezů vyšetření a osobnostních charakteristik)
   • Posledními 10 tahy dialogu (pro udržení kontextu konverzace při vyhýbání se nadměrnému využití tokenů)
   • Systémovými instrukcemi, které vyzývají LLM, aby odpovídal z perspektivy pacienta spíše než jako obecný asistent
3. Generování odpovědi: LLM generuje kontextově vhodné odpovědi na základě případu pacienta a historie konverzace.
4. Modelování emocí: V určitých ukotvujících bodech během konverzace LLM také generuje instrukce pro vhodnou mimiku (např. znepokojený, ulevený, úzkostný, zmatený) na základě kontextu konverzace. Systém vybírá z předdefinované sady výrazů dostupných ve softwaru Furhat.
5. Syntéza řeči: Generované textové odpovědi jsou převedeny na přirozeně znějící řeč pomocí technologie text-to-speech (TTS), přičemž animovaná tvář zobrazuje synchronizované pohyby rtů a vybraný emocionální výraz.
6. Přepis: Veškerý dialog je automaticky přepisován v reálném čase a bezpečně ukládán pro následné generování zpětné vazby a výzkumnou analýzu.

Každý případ VP se řídí ustálenými principy pro vývoj VP, včetně:

• Jasných vzdělávacích cílů sladěných s požadavky osnov
• Realistických prezentací pacientů založených na typických klinických scénářích
• Vhodné úrovně složitosti pro studenty medicíny šestého semestru
• Integrace běžných stavů i diagnosticky náročných prezentací
• Začlenění relevantních psychosociálních faktorů a obav pacienta

Všechny případy VP jsou prezentovány v angličtině, aby vyhověly mezinárodním výměnným studentům účastnícím se programu. Standardní panely laboratorních testů s případově specifickými výsledky jsou poskytovány spolu s každým případem.

Případy VP zastupují různorodé revmatologické stavy včetně zánětlivých artritid, onemocnění pojivové tkáně a muskuloskeletálních poruch. Každý případ vyžaduje od studentů provedení komplexního odebírání anamnézy, včetně charakterizace příznaků, funkčního hodnocení, medikační anamnézy a relevantního přehledu systémů.

Systém zpětné vazby použitý jako intervence v této studii využívá sofistikovaný dvoustupňový algoritmus vyvinutý iterativně ve spolupráci s konzultanty-revmatology:

Fáze 1: Hodnotící model

První fáze analyzuje kompletní přepis dialogu student-VP pomocí předdefinovaného hodnotícího rubrika. Tento rubrik hodnotí více dimenzí klinického výkonu:

Komunikační dovednosti:

• Vhodné zahájení konzultace
• Budování vztahu s pacientem
• Používání jasného jazyka bez žargonu
• Projevování aktivního naslouchání
• Projevování empatie a řešení obav pacienta
• Vhodné ukončení konzultace

Obecné odebírání anamnézy:

• Zkoumání předchozí lékařské anamnézy
• Současné léky a alergie
• Rodinná anamnéza relevantních stavů
• Sociální anamnéza (zaměstnání, životní situace, podpůrné systémy)
• Faktory životního stylu (kouření, alkohol, cvičení)
• Přehled systémů

Revmatologicky specifické odebírání anamnézy:

• Systematické hodnocení kloubních příznaků
• Charakterizace bolesti (nástup, lokalizace, trvání, kvalita, vyzařování, faktory zhoršující/ulevující)
• Hodnocení funkčního dopadu (aktivity denního života, pracovní kapacita)
• Délka a vzorec ranní ztuhlosti
• Mimokloubní projevy
• Rozpoznávání vzorců pro zánětlivé versus mechanické příznaky

Složky klinického uvažování:

• Systematický přístup k získávání informací
• Rozpoznání vzorců příznaků a klinického významu
• Vhodná šíře zvažování diferenciální diagnózy
• Logická progrese při odebírání anamnézy

Hodnotící model používá LLM k vyhodnocení každého dialogu proti tomuto rubriku, generujíc strukturovaná hodnocení silných stránek a oblastí pro zlepšení napříč těmito doménami.

Fáze 2: Generování zpětné vazby

Druhá fáze transformuje strukturované hodnocení z Fáze 1 do čitelné, konstruktivní písemné zpětné vazby. Generování zpětné vazby používá pečlivě vytvořené prompty, které instruují LLM, aby:

• Prezentoval zpětnou vazbu v podpůrném, vzdělávacím tónu
• Poskytl konkrétní příklady z dialogu studenta
• Uznal silné stránky před řešením oblastí pro zlepšení
• Nabídl konkrétní návrhy na zlepšení
• Zaměřil se na učení spíše než na hodnocení

Obsah a rozsah zpětné vazby Studenti obdrží přibližně jednu stránku (300-500 slov) strukturované písemné zpětné vazby bezprostředně po každém z pěti určených setkání s VP. Zpětná vazba se specificky zaměřuje na dovednosti odebírání anamnézy a neřeší přesnost diagnostiky ani léčebná rozhodnutí, protože tyto aspekty jsou pokryty v následujících seminářích s konzultanty-revmatology.

Kontrolní skupina dokončí identické případy VP pomocí stejné platformy SARI, ale neobdrží zpětnou vazbu generovanou AI. Obě skupiny však mají ekvivalentní expozici sociální robotické technologii VP, účastní se identických případově specifických seminářů po dokončení případu s konzultanty-revmatology a mají přístup k přepisům dialogů pro vlastní přezkoumání. Jediný systematický rozdíl je přítomnost nebo absence zpětné vazby generované AI.

Hodnocení je provedeno pomocí struktury objektivního strukturovaného klinického vyšetření (OSCE) se standardizovanými pacienty (SP) po interakci se všemi dostupnými VP v SARI. SP obdrží písemné informace o případu popisující prezentaci pacienta, anamnézu příznaků a relevantní pozadí. SP také absolvují výcvik v konzistentních odpovědích na běžné formáty otázek a instrukce o vhodných emocionálních reakcích, neverbální komunikaci a zvládání neočekávaných otázek.

Rubrika OSCE použitá v této studii byla vyvinuta ve spolupráci se zkušenými konzultanty-revmatology na základě rámců Entrustable Professional Activity (EPA) specifických pro kompetence v odebírání anamnézy. Rubrika prošla pilotním testováním a zdokonalením, aby byla zajištěna mezihodnotitelská spolehlivost.

Hodnocení hodnotí pět odlišných domén se specifikovaným přidělením bodů (celkem 10 bodů):

• Komunikace na začátku konzultace (0-3 body): 30 % celkového skóre
• Obecná anamnéza (0-3,5 bodu): 35 % celkového skóre
• Cílená anamnéza (0-1,5 bodu): 15 % celkového skóre
• Diagnostika a léčebné uvažování (0-1 bod): 10 % celkového skóre
• Komunikace na konci konzultace (0-1 bod): 10 % celkového skóre

Skóre 6 bodů odpovídá úspěšnému absolvování zkoušky založené na OSCE. Studenti však obdrží informaci, že tato studie neměla zkušební účely a nijak neovlivnila jejich známky.

Dva konzultanti-revmatologové provedli všechna hodnocení OSCE, zaslepení k přidělení do intervenční nebo kontrolní skupiny. Hodnotitelům byly poskytnuty pouze hodnotící rubriky a neměli znalost o tom, kteří studenti obdrželi zpětnou vazbu generovanou AI. Toto zaslepení bylo udržováno po celé období sběru dat.