Suurikielimalli iäkkäiden neurokognitiivisen ymmärtämisen ja seurannan tueksi (LUMEN)

1. Tausta ja perustelut Dementian diagnoosi perustuu kliiniseen historiaan, kognitiivisiin arviointeihin ja omaishoitajilta saatavaan lisätietoon.
   Järjestetyn ja luotettavan lisähistorian saaminen on kuitenkin haastavaa omaishoitajien kuormituksen, muistojen vääristymisen ja muistiklinikoiden aikarajoitusten vuoksi.
   Suuret kielimallit (LLM) voivat parantaa tätä prosessia ohjaamalla jäsenneltyä historianottoa, erottamalla kliinisesti merkityksellisiä yksityiskohtia ja standardoimalla tiedonkeruuta.

   LUMEN (Large Language Model for Understanding and Monitoring Elderly Neurocognition) on tekoälyavusteinen keskustelutyökalu, jonka tarkoituksena on auttaa omaishoitajia antamaan jäsenneltyä lisähistoriaa ennen kliinisiä dementian arviointeja.
   Royal College of Psychiatristsin, Alzheimer's Research UK Northern Networkin ja Newcastle Biomedical Research Networkin siemenrahoittama LUMEN kehitettiin parantamaan diagnoosien tarkkuutta, vähentämään omaishoitajien kuormitusta ja tehostamaan muistiklinikoiden työnkulkua.

   Tämä tutkimus arvioi LUMENin käytettävyyttä, käytettävyyttä ja hyväksyttävyyttä todellisissa kliinisissä ympäristöissä sisäkkäisen laadullisen toteutettavuustutkimuksen kautta.
   Rekrytoimme omaishoitajia ja kliinikoita käyttämään LUMENia ja arvioimaan sen tehokkuutta lisähistorian keräämisessä.
   Tutkimus sisältää myös yhteiskehitystyöpajoja yhteisöryhmien kanssa kielen, kulttuurisen osallisuuden ja saavutettavuuden kysymysten tutkimiseksi.
   Tulokset ohjaavat tulevia parannuksia ja laajempaa validointitutkimusta.

2. Tutkimustavoitteet

Tämän tutkimuksen tavoitteena on:

1. Arvioida LUMENin käytettävyyttä - Mittaa omaishoitajien ja kliinikkojen kokemuksia validoitujen asteikkojen avulla (System Usability Scale [SUS] ja NASA Task Load Index [NASA-TLX]).
2. Tutkia hyväksyttävyyttä ja toteutuksen esteitä sekä edistäjiä - Suorita laadullisia haastatteluja ja yhteiskehitystyöpajoja LUMENin suunnittelun hienosäätämiseksi, varmistaen saavutettavuuden erilaisissa käyttäjäryhmissä.
3. Verrata LUMENin tuotoksia kliinikkojen arviointeihin - Tutki LUMENin generoimien raporttien ja kliinikkojen keräämien historioiden yhteneväisyyttä käyttäen Cohenin kappaa arvioijien välistä luotettavuutta varten.

3. Suoritettu taustatyö LUMEN kehitettiin yhteistyössä kliinikkojen ja sidosryhmien kanssa käyttäen muokattua Delphi-prosessia, johon osallistui 150 kliinikkoa, pääasiassa vanhuspsykiatreja.
Tämä tuotti 2600 kysymystä, jotka on kytketty validoituihin dementiatyökaluihin, varmistaen kliinisen merkityksellisyyden.
Varhaisessa teknisessä testauksessa arvioitiin avoimen lähdekoodin LLM-malleja (esim. Mistral 7B, LLaMA2 7B) käyttäen simuloituja kliinisiä tapauskuvauksia.
ROC-käyräanalyysi osoitti AUC-arvon 0,89 dementiaan liittyvien kertomusten erottamisessa, ja Cohenin kappa 0,82 osoitti korkean arvioijien välisen luotettavuuden LUMENin tuotosten ja kliinikkojen arviointien välillä.
Varhainen PPIE (Potilaan ja yleisön osallistuminen ja sitoutuminen) -palautteessa korostettiin tarve yksinkertaisemmalle kielelle, kulttuuriselle herkkyydelle ja parannetulle käyttäjäkokemukselle.
Näitä oivalluksia hienosäädetään edelleen ehdotettujen yhteiskehitystyöpajojen kautta.

4. Tutkimuksen suunnittelu ja metodologia Tässä tutkimuksessa käytetään monimenetelmäistä lähestymistapaa, yhdistäen kvantitatiivisen käytettävyystestauksen laadullisiin haastatteluihin LUMENin toteutettavuuden ja hyväksyttävyyden arvioimiseksi.

4.1. Osallistujat ja rekrytointi

• Omaishoitajat (n=20-30 paria): Rekrytoitu Northumbrian NHS:n muistiklinikoiden kautta.
  Kelpoiset omaishoitajat ovat aikuisia (≥18 vuotta), jotka tuntevat potilaan hyvin, hallitsevat englannin kielen perustaidot ja voivat antaa tietoon perustuvan suostumuksen.
• Potilaat (n=20-30): Yksilöt (≥65 vuotta), jotka käyvät muistiklinikalla kognitiivista arviointia varten.
• Kliinikot (n=8-10): Dementiahoidon asiantuntijoita (neurologit, psykiatrit, geriatrit, edenneet sairaanhoitajat) vähintään 2 vuoden kokemuksella.

4.2. Tutkimusmenettelyt

1. Perustietojen kerääminen:

   • Demografiset tiedot (ikä, sukupuoli, etninen tausta, sosioekonominen asema).
   • Kliininen diagnoosi (jos saatavilla).
   • Kognitiiviset testitulokset (MoCA/ACE).

2. LUMEN-vuorovaikutus:

   • Omaishoitajat käyttävät LUMENia kannettavalla tietokoneella tai tabletilla tarjotakseen jäsenneltyä lisähistoriaa (noin 20-30 min).
   • Kliinikot tarkastelevat LUMENin generoimia historioita arvioidakseen täydellisyyttä ja kliinistä hyödyllisyyttä.

3. Käytettävyys- ja kognitiivisen kuormituksen arviointi:

   • SUS (System Usability Scale): 10-kohdainen Likert-asteikon kyselylomake, joka arvioi helppokäyttöisyyttä (pistemäärä ≥70 = hyvä käytettävyys).
   • NASA-TLX (Task Load Index): Arvioi koettua kognitiivista kuormitusta (pisteet 0-29 = matala kuormitus).

4. Laadullinen arviointi:

   • Puolistrukturoidut haastattelut (n=10 omaishoitajaa, n=4-5 kliinikkoa).
   • Yhteiskehitystyöpajat yhteisöryhmien kanssa kielen, kulttuurisen edustuksen ja saavutettavuuden tutkimiseksi.

5. Tutkiva analyysi:

   • Arvioijien välinen luotettavuus (Cohenin kappa): Yhteneväisyys LUMENin tuotosten ja kliinikkojen arviointien välillä.
   • Diagnostinen tarkkuus (AUROC-käyräanalyysi): LUMENin arviointien vertailu kliinisiin diagnooseihin.

5. Välitavoitteet ja aikataulut

Tutkimus kestää 12 kuukautta (huhtikuu 2025 - huhtikuu 2026), keskeisillä vaiheilla seuraavasti:

Vaihe Kuukausi Toiminnot Valmistelu ja eettinen hyväksyntä 1-3 Lopullinen IRAS-hyväksyntä, NHS R&D-hyväksynnät, tiimin perustaminen Rekrytointi ja tiedonkeruu 4-9 Potilas-omaishoitajaparien rekrytointi, kliinikkojen rekrytointi, LUMEN-testaus Käytettävyystyöpajat 6-8 Yhteiskehitystyöpajat, laadulliset haastattelut Tietojen analysointi ja hienosäätö 9-10 Teema-analyysi, SUS/NASA-TLX-pisteytys, LLM-hienosäätö Lopullinen raportointi ja seuraavat vaiheet 11-12 Tulosten levittäminen, apurahahakemusten valmistelu laajamittaiselle validointitutkimukselle 6. Odotettu vaikutus Tämä tutkimus tuottaa kriittistä toteutettavuustietoa, jota käytetään laajemman kliinisen validointitutkimuksen ja myöhemmän NHS-integraation ohjaamiseen.
Odotettuja tuloksia ovat:

• Hienosäädetty, yhteissuunniteltu LUMEN-prototyyppi parannetulla käytettävyydellä ja saavutettavuudella.
• Kvantitatiivista näyttöä käytettävyydestä ja kognitiivisesta kuormituksesta, tukien tulevia rahoitushakemuksia.
• Alustavia oivalluksia tekoälyavusteisesta lisähistorianotosta, luoden perustan sääntelyhyväksynnälle lääketieteellisenä laitesoftana (SaMD).
• Mahdollisuus varhaiseen NHS-otantoon MHRA-kehyksen alaisuudessa, virtaviivaistaen dementiadiagnostiikkaa.