Tekoälyn luoma palaute sosiaalisen robotiikan virtuaalipotilaissa

Tämän hankkeen yleisenä tavoitteena on tutkia, onko suoraa palautetta sisältävä järjestelmä, joka on integroitu tekoälyllä varustettuun sosiaalisen robotiikan VP-alustaan, tehokkaampi lääketieteen opiskelijoiden kliinisen päättelyn ja viestintätaitojen koulutuksessa kuin sama tekoälyllä varustettu sosiaalisen robotiikan VP-alusta ilman palautejärjestelmää?

Laajempi tietämys tässä tutkimuskentässä edistää uuden teknologian optimoitua käyttöä yhdessä muiden koulutusresurssien kanssa merkityksellisten oppimistulosten saavuttamiseksi, mukaan lukien ohjaus ja potilaskohtaamiset. Lyhyen ja pitkän aikavälin tavoitteena on parantaa lääketieteen koulutusympäristöä varmistaakseen parempaa terveydenhuoltoa reumaattisista sairauksista kärsiville potilaille, samalla kun se soveltuu myös muihin lääketieteen aloihin. Vaikka tätä koulutustoimintaa vielä hienosäädetään, se tarjoaa opiskelijoille mahdollisuuden harjoitella turvallisessa ja interaktiivisessa ympäristössä.

Tausta:

Nykyterveydenhuollossa suurin osa palveluista tarjotaan avohoidon poliklinikoilla ja päivystysosastoilla, mikä koskee myös reumatologiaa. Kuitenkin merkittävä osa terveydenhuoltoalan ammattikorkeakoulututkintojen (HPE) koulutuksesta jatkuu vielä sairaalaympäristöissä, missä on haasteellista varmistaa, että sairaalassa hoidettavat potilaat vastaavat tiettyjä oppimistavoitteita. Sairaalahoitoa tarvitsevat potilaat kärsivät tyypillisesti pitkäaikaisista sairauksista, joilla on usein monimutkaiset sairauden ilmenemismuodot ja komplikaatiot sekä merkittävät lääketieteelliset komorbiditeetit. COVID-19-pandemia korosti lisäesteitä opiskelijoille osallistua opettajiin, potilaisiin ja vertaisiin. Tämä tilanne, yhdistettynä aiempiin ehdotuksiin vaihtoehtoisista lähestymistavoista teoreettiseen ja käytännön taitojen koulutukseen HPE:ssä, korostaa kiireellistä tarvetta innovatiivisille oppimistoiminnoille, jotka mahdollistavat merkitykselliset vuorovaikutukset opiskelijoiden ja HPE-opetussuunnitelmissa esitettyjen potilastapausten välillä.

Virtuaaliset potilaat (VP) ovat interaktiivisia digitaalisia simulaatioita kliinisistä tilanteista, jotka on suunniteltu koulutustarkoituksiin ja jotka esitetään erilaisilla järjestelmillä ja lähestymistavoilla. VP-simulaatioiden perusosa on niiden interaktiivinen käyttöliittymä, jonka avulla käyttäjät voivat vuorovaikuttaa potilaiden kanssa monin tavoin: kerätä lääketieteellistä historiaa, suorittaa fyysisiä tutkimuksia ja toteuttaa tutkimusstrategioita. Nämä kattavat vuorovaikutusmahdollisuudet antavat käyttäjille mahdollisuuden kerätä olennaista tietoa diagnoosien tekemiseksi ja sopivien hoitosuunnitelmien päättämiseksi heidän VP:illeen.

Karoliinisen yliopistosairaalan reumatologian klinikka on täydentänyt lääketieteen opiskelijoiden kliinisiä harjoitteluja viimeisten 15 vuoden ajan varmistaakseen, että opiskelijat vuorovaikuttavat edustavien potilaiden kanssa sisällyttämällä VP-tapauksia tietokoneohjelmistoja, kuten ReumaCase ja Virtual Interactive Case simulator (VIC), käyttäen. Nämä alustat edustavat puolilinjaisia VP-järjestelmiä, jotka mahdollistavat käyttäjien navigoinnin vapaasti ennalta määrättyjen pisteiden välillä potilaan alkuperäisestä esittelystä päätökseen diagnostisista ja hoitopäätöksistä. HPE-tutkimus on tuottanut uusia oppimislähestymistapoja, mukaan lukien optimoidut VP-toteutusstrategiat ja suosituksia kliinisen päättelyn (CR) taitojen kehittämiseksi VP-harjoittelun kautta. Vaikka HPE-opiskelijat tunnistavat VP:t arvokkaiksi koulutusvälineiksi CR-koulutukseen, he myöntävät, että nämä simulaatiot puuttuvat todellisten potilaskohtaamisten monimutkaisuudesta ja interaktiivisuudesta.

Vaikka CR-taidot ovat tärkeitä lääketieteen koulutuksessa, jotkut väittävät, että empatia on yksi tärkeimmistä terveydenhuollon ammattilaisten potilashoidossa tarvittavista taidoista. Terveydenhuollon tarjoajien empatiataidot on osoitettu liittyvän parempiin terveystuloksiin potilaille ja vähentävän sairaalahoidon riskiä. Lääketieteen perusopetuksessa empaattista käyttäytymistä harjoitellaan tyypillisesti roolileikeillä opiskelijoiden, näyttelijöiden tai opettajien kanssa, jotka esittävät standardoituja potilaita, jotka edustavat tyypillisiä oppikirjan lääketieteellisiä tiloja. Kuitenkin standardoidut potilaat voivat olla kallis vaihtoehto, ja saatavuusnäkökohdat voivat joskus estää empaattisen käyttäytymisen harjoittelun. Vaihtoehto tälle voisivat olla VP:t, jotka mahdollistavat aidommat ja interaktiivisemmat viestintämuodot.

Viimeaikaiset teknologiset edistysaskeleet ovat tuoneet käyttöön tehostettuja interaktiivisia menetelmiä käyttäjien ja VP:iden välillä, erityisesti tekoälyn (AI) ja sosiaalisen robotiikan kautta. Tutkijat kehittivät uuden alustan, joka on nimetty Social AI-enhanced Robotic Interface (SARI), yhdistäen sosiaalisen robotin Furhatin suureen kielimalliin (LLM) Chat-Generative Pretrained Transformer (Chat-GPT). Tämä uusi alusta on otettu käyttöön lääketieteen opiskelijoille Karoliinisen yliopistosairaalan Reumatologian klinikalla täydentämään heidän koulutustaan kliinisten harjoittelujen aikana perinteisten tietokonepohjaisten VP-kohtaamisten (VIC) ohella. Alustavat tulokset viittaavat siihen, että opiskelijat kokevat, että SARI tarjoaa aidomman ja interaktiivisemman VP-kokemuksen CR-taitojen kehittämisessä verrattuna perinteiseen tietokonepohjaiseen alustaan.

Tämä hanke pyrkii arvioimaan SARI:n tehokkuutta VP-alustana lääketieteen opiskelijoille, vertailemalla, tehostaako SARI yhdistettynä integroituun tekoälyn luomaan suoraan palautejärjestelmään edelleen kliinistä suorituskykyä lääketieteellisen historian otossa.

Ennen tätä tutkimusta tutkijat ovat kehittäneet yhteensä kymmenen VP-tapausta, jotka on otettu käyttöön ja joita käytetään tällä hetkellä kliinisiin harjoitteluihin Karoliinisen yliopistosairaalan Reumatologian osastolla. Puolella näistä tapauksista on kehitetty tietokonepohjaisessa VIC-alustassa ja puolella tekoälyllä tehostetussa sosiaalisen robotiikan SARI-alustassa. VP-tapaukset molemmissa alustoissa on kehitetty erillisten suositusten mukaisesti VP-alustojen kehittämiselle ja niitä arvioidaan jatkuvasti lääketieteen opiskelijoiden toimesta suoran (suullinen palaute ja arviointilomakkeet) ja epäsuoran (tutkimusdatan analyysistä) palautteen kautta.

Kaikki VP-tapaukset ovat nyt osa koulutustoimintaa "Virtuaalinen avohoitoklinikka", joka toimii täydennyksenä reumatologian kliinisille harjoitteluille. Tässä toiminnassa kaikki Karoliinisen instituutin kuudennen lukukauden lääketieteen opiskelijat osallistuvat yhden ja puolen työpäivän ajanjakson aikana yhden viikon reumatologian harjoittelun aikana. "Virtuaalinen avohoitoklinikka" on jatkunut klinikalla keväästä 2024 lähtien, majoittaen noin 150 opiskelijaa joka lukukausi kuuden viikon ajanjakson aikana. Tässä koulutustoiminnassa kaikki opiskelijat suorittavat kaikki yksilölliset VP-tapaukset ja osallistuvat seurantaseminaareihin konsultoivien reumatologien kanssa jokaisen tapauksen jälkeen keskustellakseen tapauksen sisällöstä ja esitetyistä reumaattisista sairauksista. Toiminnan alussa kaikkia opiskelijoita pyydetään osallistumaan tutkimushankkeeseen arvioimalla VP-tapauksia parantaakseen ja tutkiakseen niiden lisäarvoa käyttäen validoituja indeksejä VP-alustojen kehittämiselle. Kun opiskelijat suostuvat osallistumaan ja allekirjoittavat tietoon perustuvan suostumuksen, jokaisen opiskelijan vuorovaikutus SARI:n kanssa tallennetaan äänitiedostona ja litteroidaan reaaliaikaisesti. Tähän päivään mennessä noin 400 opiskelijaa on vuorovaikuttanut viiden VP-tapauksen kanssa SARI:ssa, mikä on johtanut lähes 2000 yksilölliseen VP-vuorovaikutukseen.

Tutkijat ovat suorittaneet alustavan arvioinnin SARI:sta ja vertailleet sen suorituskykyä lääketieteen opiskelijoiden itse koetussa CR-taitojen hankkimisessa verrattuna VIC:iin, hyödyntäen sekamäärällistä ja laadullista metodologiaa vuonna 2023. Viisitoista lääketieteen opiskelijaa sisällytettiin ja suorittivat saman VP-tapauksen sekä SARI:ssa että VIC:ssä. Opiskelijoiden itse koettua VP-kokemusta, keskittyen CR-koulutukseen, arvioitiin käyttäen aiemmin validoitua indeksiä VP-alustojen kehittämiselle [23]. Lisäksi syvähaastatteluita suoritettiin kahdeksan lääketieteen opiskelijan kanssa. Tämä alustava arviointi osoitti merkittäviä etuja SARI:n hyväksi teemassa aitous sekä VP-kohtaamisen oppimisvaikutuksen osalta VP-arviointikyselyn ennalta määriteltyjen teemojen mukaisesti. Näiden ennalta määriteltyjen teemojen analyysin ohella teemoittelevaa analyysiä suoritettiin syvähaastatteluiden datasta, mikä johti neljään teemaan. Opiskelijat kokivat SARI:n ylivertaisena VIC:iin verrattuna CR:n, viestinnän ja emotionaalisten taitojen koulutuksessa.

Kevään 2024 aikana yhteensä 23 opiskelijaa Virtuaalisesta avohoitoklinikasta osallistui syvähaastatteluihin jatkohankkeena, joka käsitteli heidän näkemyksiään SARI:n ja VIC:n lisäarvosta CR-taitojen hankkimisessa. Tätä tutkimusta varten tutkijat loivat 4 lisä VP-tapausta kummassakin alustassa. Lisäksi kaikki opiskelijat osallistuivat seminaareihin jokaisen tapauksen suorittamisen jälkeen, muistuttaakseen ohjausta todellisten potilaskohtaamisten aikana. Teemoitteleva analyysi täysin litteroiduista haastatteluista johti samankaltaisiin löydöksiin: opiskelijat pitivät SARI:a aitompana ja kiinnostavampana verrattuna VIC:iin, ja kokivat, että SARI mahdollisti erittäin interaktiiviset viestintämahdollisuudet ja kykeni ilmaisemaan tunteita, tarjoten yhdessä realistisen kokemuksen. SARI helpotti aktiivista oppimista, hypoteesien muodostamista ja adaptiivista ajattelua suuremmassa määrin kuin VIC sallimalla opiskelijoiden muotoilla omia kysymyksiään sen sijaan, että valitsisivat ennalta määrättyjen vaihtoehtojen välillä lääketieteellisen historian keräämiseksi.

Ennen VP-vuorovaikutuksia opiskelijat saavat jäsennellyn koulutuksen lääketieteellisen historian otossa, käsittäen sekä yleiset näkökohdat (sovellettavissa kaikilla lääketieteen erikoisaloilla) että reumatologiaan liittyvät komponentit. Tämä valmistava koulutus varmistaa, että opiskelijoilla on perustiedot ennen vuorovaikutusta VP-tapausten kanssa.

Opiskelijat työskentelevät tyypillisesti pareittain tai kolmen opiskelijan pienryhmissä VP-vuorovaikutusten aikana, yksi opiskelija toimien johtavana roolissa jokaisessa potilaskohtaamisessa. Tämä yhteistyöhön perustuva lähestymistapa on yhdenmukainen näyttöjen kanssa, jotka tukevat vertaisoppimista VP-pohjaisessa kliinisessä päättelykoulutuksessa. Johtava opiskelija suorittaa ensisijaisen vuorovaikutuksen VP:n kanssa, kun taas muut ryhmän jäsenet tarkkailevat ja voivat osallistua myöhempään keskusteluun ja diagnoosien muodostukseen.

Social AI-enhanced Robotic Interface (SARI):

SARI edustaa uutta VP-modaliiteettia, joka yhdistää sosiaalisen robotiikan suureen kielimalliin (LLM) tekoälyyn. Alusta yhdistää Furhat-sosiaalisen robotin (kehitetty KTH:n kuninkaallisessa teknillisessä korkeakoulussa, Tukholma) OpenAI:n GPT-4o-mini-kielimalleihin.

Furhat-robotti koostuu fysikaalisesta robotin päästä, joka on kiinnitetty jalustalle, ja sisältää takaprojektioidun animoidun kasvon, joka näyttää kasvonilmeitä ja huulien liikkeitä puheen kanssa synkronoidusti. Robotti sisältää mikrofoniryhmän puheentunnistusta varten ja kaiuttimet äänilähtöä varten. Robotin fyysinen läsnäolo huoneessa luo sen, mitä tutkijat kutsuvat "tilannekohtaiseksi vuorovaikutukseksi", jossa robotti vie todellista fyysistä tilaa sen sijaan, että olisi vain näyttöpohjainen käyttöliittymä.

VP-dialogijärjestelmä toimii seuraavan teknisen työnkulun kautta:

1. Puheentunnistus: Opiskelijan puhe tallennetaan robotin mikrofoniryhmän kautta ja muunnetaan tekstiksi käyttäen automaattista puheentunnistusta (ASR) -teknologiaa.

2. Dialoginkäsittely: Litteroitu opiskelijan syöte yhdistetään:

   • Yksityiskohtaiseen potilastapauksen kuvaukseen (mukaan lukien lääketieteellinen historia, oireet, tutkimustulokset ja persoonallisuuspiirteet)
   • Viimeisiin 10 dialogikierrokseen (ylläpitääkseen keskustelun kontekstia välttäen liiallista token-käyttöä)
   • Järjestelmäohjeisiin, jotka kehottavat LLM:ää vastaamaan potilaan näkökulmasta sen sijaan, että toimisi yleisenä avustajana
3. Vastausten generointi: LLM generoi kontekstuaalisesti sopivia vastauksia potilastapauksen ja keskusteluhistorian perusteella.
4. Tunnemallinnus: Tiettyinä ankkuripisteinä keskustelun aikana LLM generoi myös ohjeita sopiville kasvonilmeille (esim. huolestunut, helpottunut, ahdistunut, hämmentynyt) keskustelun kontekstin perusteella. Järjestelmä valitsee ennalta määritellystä joukosta ilmeitä, jotka ovat saatavilla Furhat-ohjelmistossa.
5. Puhesynteesi: Generoidut tekstivastaukset muunnetaan luonnollisen kuuloisiksi puheiksi käyttäen tekstistä puheeksi (TTS) -teknologiaa, animoidun kasvon näyttäessä synkronoituja huulien liikkeitä ja valittua tunnellista ilmeitä.
6. Litterointi: Kaikki dialogi litteroidaan automaattisesti reaaliaikaisesti ja tallennetaan turvallisesti myöhempää palautteen generointia ja tutkimusanalyysiä varten.

Jokainen VP-tapaus noudattaa vakiintuneita periaatteita VP-kehitykselle, mukaan lukien:

• Selkeät oppimistavoitteet, jotka ovat linjassa opetussuunnitelman vaatimusten kanssa
• Realistiset potilaiden esittelyt perustuen tyypillisiin kliinisiin skenaarioihin
• Sopiva monimutkaisuustaso kuudennen lukukauden lääketieteen opiskelijoille
• Yleisten tilojen ja diagnostisesti haastavien esitysten integrointi
• Asiaankuuluvien psykososiaalisten tekijöiden ja potilaiden huolenaiheiden sisällyttäminen

Kaikki VP-tapaukset esitetään englanniksi vastatakseen kansainvälisiä vaihto-opiskelijoita, jotka osallistuvat ohjelmaan. Vakiintuneet laboratoriotestipaneelit tapauskohtaisilla tuloksilla tarjotaan jokaisen tapauksen yhteydessä.

VP-tapaukset edustavat erilaisia reumatologisia sairauksia, mukaan lukien tulehdukselliset nivelreumat, sidekudostaudeet ja liikuntaelinsairaudet. Jokainen tapaus vaatii opiskelijoilta kattavan lääketieteellisen historian ottoa, mukaan lukien oireiden karakterisointi, toiminnallinen arviointi, lääkehistoria ja asiaankuuluvat järjestelmien katsaukset.

Tässä tutkimuksessa interventiona käytetty palautejärjestelmä käyttää kehittynyttä kaksivaiheista algoritmia, joka on kehitetty iteratiivisesti yhteistyössä konsultoivien reumatologien kanssa:

Vaihe 1: Arviointimalli

Ensimmäinen vaihe analysoi täydellisen opiskelija-VP-dialogin litteroinnin käyttäen ennalta määriteltyä arviointirubriikkia. Tämä rubriikki arvioi useita kliinisen suorituskyvyn ulottuvuuksia:

Viestintätaidot:

• Konsultaation avaaminen asianmukaisesti
• Suhteen rakentaminen potilaan kanssa
• Selkeän, ammattikieltä vapaana kielen käyttö
• Aktiivisen kuuntelun osoittaminen
• Empatian näyttäminen ja potilaiden huolenaiheiden käsittely
• Konsultaation päättäminen asianmukaisesti

Yleinen lääketieteellisen historian otto:

• Aiemman lääketieteellisen historian tutkiminen
• Nykyiset lääkkeet ja allergiat
• Perhehistoria asiaankuuluvista sairauksista
• Sosiaalihistoria (ammatti, asumistilanne, tukiverkot)
• Elämäntapatekijät (tupakointi, alkoholi, liikunta)
• Järjestelmien katsaus

Reumatologiaan liittyvä historian otto:

• Systemaattinen niveloireiden arviointi
• Kivun karakterisointi (alku, sijainti, kesto, laatu, säteily, pahentavat/helpottavat tekijät)
• Toiminnallisen vaikutuksen arviointi (päivittäiset toiminnot, työkyky)
• Aamuaamujäykkyyden kesto ja malli
• Niveliin liittymättömät ilmenemismuodot
• Mallintunnistus tulehduksellisille vs. mekaanisille oireille

Kliinisen päättelyn komponentit:

• Systemaattinen lähestymistapa tiedonkeruuseen
• Oirekuvioiden ja kliinisen merkityksen tunnistaminen
• Sopiva erotusdiagnoosien harkinnan laajuus
• Looginen eteneminen historian otossa

Arviointimalli käyttää LLM:ää arvioidakseen jokaista dialogia tätä rubriikkia vastaan, generoiden jäsenneltyjä arviointeja vahvuuksista ja parannettavista alueista näillä alueilla.

Vaihe 2: Palautteen generointi

Toinen vaihe muuttaa Vaiheesta 1 saatujen jäsennellyn arvioinnin luettavaksi, rakentavaksi kirjalliseksi palautteeksi. Palautteen generointi käyttää huolellisesti muotoiltuja kehotteita, jotka ohjaavat LLM:ää:

• Esittämään palautetta tuottavassa, kouluttavassa sävyssä
• Tarjoamaan konkreettisia esimerkkejä opiskelijan dialogista
• Tunnustamaan vahvuuksia ennen parannettavien alueiden käsittelyä
• Tarjoamaan konkreettisia ehdotuksia parantamiseksi
• Keskittymään oppimiseen sen sijaan, että arvioisi

Palautteen sisältö ja laajuus Opiskelijat saavat noin yhden sivun (300-500 sanaa) jäsenneltyä kirjallista palautetta välittömästi jokaisen viidestä määritellystä VP-kohtaamisesta. Palaute keskittyy erityisesti lääketieteellisen historian ottoon eikä käsittele diagnoosien tarkkuutta tai hoitopäätöksiä, koska nämä näkökohdat käsitellään myöhemmissä seminaareissa konsultoivien reumatologien kanssa.

Kontrolliryhmä suorittaa identtiset VP-tapaukset käyttäen samaa SARI-alustaa, mutta ei saa tekoälyn generoimaa palautetta. Kuitenkin molemmat ryhmät saavat vastaavan altistuksen sosiaalisen robotiikan VP-teknologialle, osallistuvat identtisiin tapauskohtaisiin seminaareihin tapauksen suorittamisen jälkeen konsultoivien reumatologien kanssa ja pääsevät käsiksi dialogin litterointeihin itsearviointia varten. Ainoa systemaattinen ero on tekoälyn generoidun palautteen läsnäolo tai puuttuminen.

Arviointi suoritetaan käyttäen objektiivista rakenteellista kliinistä tutkimusta (OSCE) perustuvaa rakennetta standardoitujen potilaiden (SP) kanssa kaikkien saatavilla olevien VP:iden vuorovaikutuksen jälkeen SARI:ssa. SP:t saavat kirjallisen tapauksen tiedot, jotka kuvaavat potilaan esitystä, oirehistoriaa ja asiaankuuluvaa taustaa. SP:t saavat myös koulutuksen johdonmukaisiin vastauksiin yleisiin kysymysmuotoihin sekä ohjeita asianmukaisiin tunnereaktioihin, ei-verbaaliseen viestintään ja odottamattomien kysymysten käsittelyyn.

Tässä tutkimuksessa käytetty OSCE-rubriikki kehitettiin yhteistyössä kokeneiden konsultoivien reumatologien kanssa perustuen luottamukseen perustuviin ammatillisiin toimintoihin (EPA) lääketieteellisen historian ottoon liittyville kompetensseille. Rubriikki läpikäsi pilottitestauksen ja hienosäätöä varmistaakseen arvioijien välisen luotettavuuden.

Arviointi arvioi viittä erillistä aluetta määritellyillä pistejakoilla (yhteensä 10 pistettä):

• Viestintä konsultaation alussa (0-3 pistettä): 30 % kokonaispisteistä
• Yleinen lääketieteellinen historia (0-3,5 pistettä): 35 % kokonaispisteistä
• Kohdennettu lääketieteellinen historia (0-1,5 pistettä): 15 % kokonaispisteistä
• Diagnostiikka ja hoitopäätelmien päättely (0-1 piste): 10 % kokonaispisteistä
• Viestintä konsultaation lopussa (0-1 piste): 10 % kokonaispisteistä

6 pistettä vastaa hyväksyttyä tulosta OSCE-pohjaisessa tutkimuksessa. Kuitenkin opiskelijat saavat tiedon, että tällä tutkimuksella ei ollut tenttitarkoitusta eikä se vaikuttanut heidän arvosanoihinsa millään tavalla.

Kaksi konsultoivaa reumatologiaa suoritti kaikki OSCE-arvioinnit, sokeutettuna interventio- tai kontrolliryhmän allokaatioon. Arvioijille annettiin vain arviointirubriikki, eikä heillä ollut tietoa siitä, mitkä opiskelijat olivat saaneet tekoälyn generoimaa palautetta. Tämä sokeutus säilytettiin koko tiedonkeruun ajan.