Stor språkmodell för förståelse och övervakning av äldres neurokognition (LUMEN)

1. Bakgrund och motivering Demensdiagnos bygger på klinisk historia, kognitiva bedömningar och kompletterande information från vårdgivare. Att erhålla strukturerade och tillförlitliga kompletterande historier är dock utmanande på grund av vårdgivarbörda, minnesbias och tidsbegränsningar på minneskliniker. Stora språkmodeller (LLM:er) har potential att förbättra denna process genom att vägleda strukturerad historieupptagning, extrahera kliniskt relevanta detaljer och standardisera informationsinsamling.

   LUMEN (Large Language Model for Understanding and Monitoring Elderly Neurocognition) är ett AI-drivet konversationsverktyg utformat för att hjälpa vårdgivare att tillhandahålla strukturerade kompletterande historier före kliniska demensutredningar. LUMEN, som har fått startfinansiering från Royal College of Psychiatrists, Alzheimer's Research UK Northern Network och Newcastle Biomedical Research Network, utvecklades för att öka diagnostisk noggrannhet, minska vårdgivarbörda och förbättra arbetsflödeseffektivitet på minneskliniker.

   Denna studie kommer att utvärdera genomförbarhet, användbarhet och acceptans av LUMEN i verkliga kliniska miljöer genom en inbäddad kvalitativ genomförbarhetsstudie. Vi kommer att rekrytera vårdgivare och kliniker för att interagera med LUMEN och bedöma dess effektivitet i att samla kompletterande historier. Studien kommer även att inkludera samproduktionsworkshops med samhällsgrupper för att utforska frågor kring språk, kulturell inkludering och tillgänglighet. Resultaten kommer att vägleda framtida förbättringar och en större valideringsstudie.

2. Forskningsmål

Denna studie syftar till att:

1. Utvärdera LUMENs användbarhet – Mät vårdgivares och klinikers upplevelser med validerade skalor (System Usability Scale [SUS] och NASA Task Load Index [NASA-TLX]).
2. Utforska acceptans och implementeringshinder och -främjare – Genomföra kvalitativa intervjuer och samproduktionsworkshops för att förfina LUMENs design och säkerställa tillgänglighet över olika användargrupper.
3. Jämföra LUMENs utdata med klinikerbedömningar – Undersöka överensstämmelsen mellan LUMEN-genererade rapporter och klinikerframkallade historier med Cohen's Kappa för bedömaröverensstämmelse.

3. Bakgrundsarbete LUMEN samutvecklades med kliniker och intressenter genom en modifierad Delphi-process med 150 kliniker, främst ålderspsykiatriker. Detta genererade 2 600 frågor kopplade till validerade demensverktyg, vilket säkerställde klinisk relevans. Tidig teknisk testning utvärderade öppen källkod LLM:er (t.ex. Mistral 7B, LLaMA2 7B) med simulerade kliniska vinjetter. ROC-kurveanalys visade AUC 0,89 för att särskilja demensrelaterade narrativ, och Cohen's Kappa 0,82 indikerade hög bedömaröverensstämmelse mellan LUMENs utdata och klinikerbedömningar. Tidig PPIE-feedback (Patient and Public Involvement and Engagement) framhöll behov av enklare språk, kulturell känslighet och förbättrad användarupplevelse. Dessa insikter kommer att förfinas ytterligare genom de föreslagna samproduktionsworkshopparna.

4. Studiedesign och metodologi Denna studie kommer att använda en blandad metodik som kombinerar kvantitativ användbarhetstestning med kvalitativa intervjuer för att utvärdera LUMENs genomförbarhet och acceptans.

4.1. Deltagare och rekrytering

• Anhöriga (n=20–30 diader): Rekryteras via Northumbria NHS minneskliniker. Behöriga anhöriga kommer att vara vuxna (≥18 år) som känner patienten väl, har grundläggande engelsk litteracitet och kan ge informerat samtycke.
• Patienter (n=20–30): Individer (≥65 år) som besöker en minnesklinik för kognitiv bedömning.
• Kliniker (n=8–10): Specialister inom demensvård (neurologer, psykiatriker, geriatriker, avancerade sjuksköterskor) med ≥2 års erfarenhet.

4.2. Studieprocedurer

1. Basal datainsamling:

   • Demografi (ålder, kön, etnicitet, socioekonomisk status).
   • Klinisk diagnos (där tillgänglig).
   • Kognitiva testresultat (MoCA/ACE).

2. LUMEN-interaktion:

   • Anhöriga kommer att använda LUMEN på en bärbar dator eller surfplatta för att tillhandahålla strukturerade kompletterande historier (~20–30 min).
   • Kliniker kommer att granska LUMEN-genererade historier för att bedöma fullständighet och klinisk nytta.

3. Användbarhets- och kognitiv belastningsbedömning:

   • SUS (System Usability Scale): 10-punkts Likert-skaleenkät som bedömer användarvänlighet (poäng ≥70 = god användbarhet).
   • NASA-TLX (Task Load Index): Utvärderar upplevd kognitiv arbetsbelastning (poäng 0–29 = låg arbetsbelastning).

4. Kvalitativ utvärdering:

   • Semistrukturerade intervjuer (n=10 anhöriga, n=4–5 kliniker).
   • Samproduktionsworkshops med samhällsgrupper för att utforska språk, kulturell representation och tillgänglighet.

5. Explorativ analys:

   • Bedömaröverensstämmelse (Cohen's Kappa): Överensstämmelse mellan LUMENs utdata och klinikerbedömningar.
   • Diagnostisk noggrannhet (AUROC-kurveanalys): Jämförelse av LUMENs bedömningar med kliniska diagnoser.

5. Milstolpar och tidsramar

Studien kommer att pågå i 12 månader (april 2025 – april 2026), med följande huvudfaser:

Fas Månad Aktiviteter Förberedelse & etik 1–3 Slutlig IRAS-godkännande, NHS R&D-godkännanden, teamuppsättning Rekrytering & datainsamling 4–9 Rekrytering av patient-anhörig-diader, klinikerrekrytering, LUMEN-testning Användbarhetsworkshops 6–8 Samproduktionsworkshops, kvalitativa intervjuer Dataanalys & förfining 9–10 Tematisk analys, SUS/NASA-TLX-poängsättning, LLM-förfiningar Slutrapportering & nästa steg 11–12 Spridning, ansökningsförberedelser för storskalig valideringsstudie 6. Förväntad påverkan Denna studie kommer att generera kritiska genomförbarhetsdata för att vägleda en större klinisk valideringsstudie och efterföljande NHS-integration. Förväntade utfall inkluderar:

• En förfinad, samutformad LUMEN-prototyp med förbättrad användbarhet och tillgänglighet.
• Kvantitativt stöd för användbarhet och kognitiv arbetsbelastning, vilket understödjer framtida finansieringsansökningar.
• Preliminära insikter om AI-assisterad kompletterande historieupptagning, som lägger grunden för regulatoriskt godkännande som Software as a Medical Device (SaMD).
• Potential för tidig NHS-adoption under MHRA-ramverket, vilket effektiviserar demensdiagnostik.