Stort språkmodell for forståelse og overvåking av eldres nevrokognisjon (LUMEN)

1. Bakgrunn og rasjonalitet Demensdiagnose avhenger av klinisk historie, kognitive vurderinger og supplerende informasjon fra omsorgspersoner. Imidlertid er det utfordrende å få strukturert og pålitelig supplerende historie på grunn av omsorgsbyrde, tilbakekallingsbias og tidsbegrensninger i minneklinikker. Store språkmodeller (LLM-er) har potensial til å forbedre denne prosessen ved å veilede strukturert historieinnhenting, trekke ut klinisk relevante detaljer og standardisere informasjonsinnsamling.

   LUMEN (Large Language Model for Understanding and Monitoring Elderly Neurocognition) er et AI-drevet samtaleverktøy designet for å hjelpe omsorgspersoner med å gi strukturert supplerende historie før kliniske demensvurderinger. Med seed-finansiering fra Royal College of Psychiatrists, Alzheimer's Research UK Northern Network og Newcastle Biomedical Research Network, ble LUMEN utviklet for å forbedre diagnostisk nøyaktighet, redusere omsorgsbyrde og øke arbeidsflyteffektiviteten i minneklinikker.

   Denne studien vil evaluere gjennomførbarheten, brukervennligheten og akseptabeliteten til LUMEN i virkelige kliniske omgivelser gjennom en nestet kvalitativ gjennomførbarhetsstudie. Vi vil rekruttere omsorgspersoner og klinikere til å samhandle med LUMEN og vurdere dens effektivitet i innhenting av supplerende historie. Studien vil også inkludere medutviklingsverksteder med lokalsamfunnsgrupper for å utforske spørsmål rundt språk, kulturell inkludering og tilgjengelighet. Funn vil danne grunnlag for fremtidige forbedringer og en større valideringsstudie.

2. Forskningsmål

Denne studien har som mål å:

1. Evaluer LUMENs brukervennlighet - Måle omsorgspersoners og klinikeres erfaringer ved hjelp av validerte skalaer (System Usability Scale [SUS] og NASA Task Load Index [NASA-TLX]).
2. Utforske akseptabelitet og implementeringsbarrierer og -faktorer - Gjennomføre kvalitative intervjuer og medutviklingsverksteder for å forbedre LUMENs design, og sikre tilgjengelighet på tvers av forskjellige brukergrupper.
3. Sammenligne LUMENs resultater med klinikervurderinger - Undersøke samsvaret mellom LUMEN-genererte rapporter og kliniker-innhentet historie ved hjelp av Cohens Kappa for pålitelighet mellom vurderere.

3. Bakgrunnsarbeid utført LUMEN ble medutviklet med klinikere og interessenter ved hjelp av en modifisert Delphi-prosess som involverte 150 klinikere, hovedsakelig eldrepsykiatere. Dette resulterte i 2600 spørsmål tilknyttet validerte demensverktøy, noe som sikrer klinisk relevans. Tidlig teknisk testing evaluerte åpne kildekode-LLM-er (f.eks. Mistral 7B, LLaMA2 7B) ved hjelp av simulerte kliniske vignetter. ROC-kurveanalyse viste en AUC på 0,89 for å skille demensrelaterte narrativer, og Cohens Kappa 0,82 indikerte høy pålitelighet mellom vurderere mellom LUMENs resultater og klinikervurderinger. Tidlig PPIE (Patient and Public Involvement and Engagement)-tilbakemelding fremhevet behovet for enklere språk, kulturell følsomhet og forbedret brukeropplevelse. Disse innsiktene vil bli ytterligere raffinert gjennom de foreslåtte medutviklingsverkstedene.

4. Studiedesign og metodologi Denne studien vil bruke en blandet metode-tilnærming, som kombinerer kvantitativ brukervennlighetstesting med kvalitative intervjuer for å evaluere LUMENs gjennomførbarhet og akseptabelitet.

4.1. Deltakere og rekruttering

• Omsorgspersoner (n=20-30 diader): Rekruttert via Northumbria NHS Memory Clinics. Kvalifiserte omsorgspersoner vil være voksne (≥18 år) som kjenner pasienten godt, har grunnleggende engelsk lese- og skriveferdigheter og kan gi informert samtykke.
• Pasienter (n=20-30): Personer (≥65 år) som besøker en minneklinikk for kognitiv vurdering.
• Klinikere (n=8-10): Spesialister i demensomsorg (nevrologer, psykiatere, geriatere, avanserte sykepleierpraktikanter) med ≥2 års erfaring.

4.2. Studiefremgangsmåte

1. Baseline datainnsamling:

   • Demografi (alder, kjønn, etnisitet, sosioøkonomisk status).
   • Klinisk diagnose (hvor tilgjengelig).
   • Kognitive testresultater (MoCA/ACE).

2. LUMEN-interaksjon:

   • Omsorgspersoner vil bruke LUMEN på en bærbar datamaskin eller nettbrett for å gi strukturert supplerende historie (ca. 20-30 min).
   • Klinikere vil gjennomgå LUMEN-generert historie for å vurdere fullstendighet og klinisk nytte.

3. Brukervennlighet og kognitiv belastningsvurdering:

   • SUS (System Usability Scale): 10-punkts Likert-skala spørreskjema som vurderer brukervennlighet (score ≥70 = god brukervennlighet).
   • NASA-TLX (Task Load Index): Evaluerer opplevd kognitiv arbeidsbelastning (score 0-29 = lav arbeidsbelastning).

4. Kvalitativ evaluering:

   • Semistrukturerte intervjuer (n=10 omsorgspersoner, n=4-5 klinikere).
   • Medutviklingsverksteder med lokalsamfunnsgrupper for å utforske språk, kulturell representasjon og tilgjengelighet.

5. Utforskende analyse:

   • Pålitelighet mellom vurderere (Cohens Kappa): Samsvar mellom LUMENs resultater og klinikervurderinger.
   • Diagnostisk nøyaktighet (AUROC-kurveanalyse): Sammenligning av LUMENs vurderinger med kliniske diagnoser.

5. Milepæler og tidsrammer

Studien vil vare i 12 måneder (april 2025 - april 2026), med følgende hovedfaser:

Fase Måned Aktiviteter Forberedelse og etikk 1-3 Endelig IRAS-godkjenning, NHS R&D-godkjenninger, teamoppsett Rekruttering og datainnsamling 4-9 Pasient-omsorgsperson diade rekruttering, klinikerrekruttering, LUMEN-testing Brukervennlighetsverksteder 6-8 Medutviklingsverksteder, kvalitative intervjuer Dataanalyse og forbedring 9-10 Tematisk analyse, SUS/NASA-TLX-scoring, LLM-forbedringer Endelig rapportering og neste skritt 11-12 Formidling, søknadsforberedelse for storskala valideringsstudie 6. Forventet innvirkning Denne studien vil generere kritisk gjennomførbarhetsdata for å informere en større klinisk valideringsstudie og påfølgende NHS-integrasjon. Forventede resultater inkluderer:

• En raffinert, medutviklet LUMEN-prototype med forbedret brukervennlighet og tilgjengelighet.
• Kvantitativt bevis på brukervennlighet og kognitiv arbeidsbelastning, som støtter fremtidige finansieringssøknader.
• Foreløpige innsikter i AI-assistert supplerende historieinnhenting, som legger grunnlaget for regulatorisk godkjenning som et programvare som medisinsk utstyr (SaMD).
• Potensial for tidlig NHS-implementering under MHRA-rammeverket, som effektiviserer demensdiagnostikk.