Stor Sprogmodel til Forståelse og Overvågning af Ældres Neurokognition (LUMEN)

1. Baggrund og Rationel Demensdiagnose er afhængig af klinisk historie, kognitive vurderinger og supplerende oplysninger fra pårørende. Det er dog udfordrende at opnå struktureret og pålidelig supplerende historie på grund af pårørendes byrde, erindringsbias og tidsbegrænsninger på hukommelsesklinikker. Store sprogmodeller (LLM'er) har potentiale til at forbedre denne proces ved at guide struktureret historieindhentning, udtrække klinisk relevante detaljer og standardisere informationsindsamling.

   LUMEN (Large Language Model for Understanding and Monitoring Elderly Neurocognition) er et AI-drevet samtaleværktøj designet til at hjælpe pårørende med at give struktureret supplerende historie før kliniske demensvurderinger. Startfinansieret af Royal College of Psychiatrists, Alzheimer's Research UK Northern Network og Newcastle Biomedical Research Network, blev LUMEN udviklet til at forbedre diagnostisk nøjagtighed, reducere pårørendes byrde og forbedre arbejdsgangseffektiviteten på hukommelsesklinikker.

   Denne undersøgelse vil evaluere LUMENs gennemførlighed, brugervenlighed og accept i virkelige kliniske omgivelser gennem en indlejret kvalitativ gennemførlighedsundersøgelse. Vi vil rekruttere pårørende og klinikere til at interagere med LUMEN og vurdere dens effektivitet i indhentning af supplerende historier. Undersøgelsen vil også inkorporere samskabelsesworkshops med fællesskabsgrupper for at udforske sproglige, kulturelle inklusions- og tilgængelighedsproblemer. Resultater vil informere fremtidige forbedringer og en større valideringsundersøgelse.

2. Forskningsmål

Denne undersøgelse har til formål at:

1. Evaluere LUMENs brugervenlighed - Måle pårørende og klinikeres oplevelser ved hjælp af validerede skalaer (System Usability Scale [SUS] og NASA Task Load Index [NASA-TLX]).
2. Udforske accept og implementeringsbarrierer og faciliteter - Udføre kvalitative interviews og samskabelsesworkshops for at forfine LUMENs design og sikre tilgængelighed på tværs af forskellige brugergrupper.
3. Sammenligne LUMENs output med klinikervurderinger - Undersøge overensstemmelsen mellem LUMEN-genererede rapporter og klinikerindhentede historier ved hjælp af Cohens Kappa for interbedømmelsespålidelighed.

3. Tidligere Arbejde LUMEN blev samudviklet med klinikere og interessenter ved hjælp af en modificeret Delphi-proces med 150 klinikere, primært gerontopsykiatere. Dette resulterede i 2.600 spørgsmål kortlagt til validerede demensværktøjer for at sikre klinisk relevans. Tidlig teknisk test evaluerede open-source LLM'er (f.eks. Mistral 7B, LLaMA2 7B) ved hjælp af simulerede kliniske vignetter. ROC-kurveanalyse demonstrerede et AUC på 0,89 for at skelne demensrelaterede narrativer, og Cohens Kappa 0,82 indikerede høj interbedømmelsespålidelighed mellem LUMENs output og klinikervurderinger. Tidlig PPIE-feedback (Patient and Public Involvement and Engagement) fremhævede behovet for enklere sprog, kulturel følsomhed og forbedret brugeroplevelse. Disse indsigter vil blive yderligere forfinet gennem de foreslåede samskabelsesworkshops.

4. Undersøgelsesdesign og Metodologi Denne undersøgelse vil anvende en mixed-methods-tilgang, der kombinerer kvantitativ brugervenlighedstestning med kvalitative interviews for at evaluere LUMENs gennemførlighed og accept.

4.1. Deltagere og Rekruttering

• Pårørende (n=20-30 dya): Rekrutteret via Northumbria NHS Hukommelsesklinikker. Kvalificerede pårørende vil være voksne (≥18 år), der kender patienten godt, har grundlæggende engelsk læsefærdighed og kan give informeret samtykke.
• Patienter (n=20-30): Personer (≥65 år), der deltager på en hukommelsesklinik til kognitiv vurdering.
• Klinikere (n=8-10): Specialister i demenspleje (neurologer, psykiatere, geriatere, avancerede sygeplejersker) med ≥2 års erfaring.

4.2. Undersøgelsesprocedure

1. Baseline Dataindsamling:

   • Demografi (alder, køn, etnicitet, socioøkonomisk status).
   • Klinisk diagnose (hvor tilgængelig).
   • Kognitive testresultater (MoCA/ACE).

2. LUMEN Interaktion:

   • Pårørende vil bruge LUMEN på en laptop eller tablet til at give struktureret supplerende historie (~20-30 min).
   • Klinikere vil gennemgå LUMEN-genererede historier for at vurdere fuldstændighed og klinisk anvendelighed.

3. Brugervenlighed og Kognitiv Belastningsvurdering:

   • SUS (System Usability Scale): 10-punkts Likert-skala spørgeskema, der vurderer brugervenlighed (score ≥70 = god brugervenlighed).
   • NASA-TLX (Task Load Index): Evaluerer opfattet kognitiv arbejdsbyrde (score 0-29 = lav arbejdsbyrde).

4. Kvalitativ Evaluering:

   • Semistrukturerede interviews (n=10 pårørende, n=4-5 klinikere).
   • Samskabelsesworkshops med fællesskabsgrupper for at udforske sprog, kulturel repræsentation og tilgængelighed.

5. Eksplorativ Analyse:

   • Interbedømmelsespålidelighed (Cohens Kappa): Overensstemmelse mellem LUMEN-output og klinikervurderinger.
   • Diagnostisk nøjagtighed (AUROC-kurveanalyse): Sammenligning af LUMENs vurderinger med kliniske diagnoser.

5. Milepæle og Tidsplaner

Undersøgelsen vil køre i 12 måneder (april 2025 - april 2026) med følgende nøglefaser:

Fase Måned Aktiviteter Forberedelse & Etik 1-3 Endelig IRAS-godkendelse, NHS R&D-godkendelser, teamopsætning Rekruttering & Dataindsamling 4-9 Patient-pårørende dya rekruttering, klinikerrekruttering, LUMEN-testning Brugervenligheds Workshops 6-8 Samskabelsesworkshops, kvalitative interviews Dataanalyse & Forfinelse 9-10 Tematisk analyse, SUS/NASA-TLX-scoring, LLM-forfinelser Endelig Rapportering & Næste Trin 11-12 Formidling, ansøgningsforberedelse til storstilet valideringsundersøgelse 6. Forventet Indvirkning Denne undersøgelse vil generere kritisk gennemførlighedsdata til at informere en større klinisk valideringsundersøgelse og efterfølgende NHS-integration. Forventede resultater inkluderer:

• Et forfinet, samdesignet LUMEN-prototype med forbedret brugervenlighed og tilgængelighed.
• Kvantitativ evidens for brugervenlighed og kognitiv arbejdsbyrde, der understøtter fremtidige finansieringsansøgninger.
• Foreløbige indsigter i AI-assisteret supplerende historieindhentning, der lægger grundlag for regulatorisk godkendelse som Software as a Medical Device (SaMD).
• Potentiale for tidlig NHS-adoption under MHRA-rammen, der strømliner demensdiagnostik.