Groot Taalmodel voor het Begrijpen en Monitoren van Neurocognitie bij Ouderen (LUMEN)

1. Achtergrond en onderbouwing De diagnose dementie berust op de klinische voorgeschiedenis, cognitieve beoordelingen en aanvullende informatie van mantelzorgers. Het verkrijgen van gestructureerde en betrouwbare aanvullende voorgeschiedenissen is echter een uitdaging vanwege de belasting van mantelzorgers, herinneringsbias en tijdsdruk in geheugenklinieken. Grote taalmodellen (LLM's) hebben het potentieel om dit proces te verbeteren door gestructureerde anamnese te begeleiden, klinisch relevante details te extraheren en het verzamelen van informatie te standaardiseren.

   LUMEN (Large Language Model for Understanding and Monitoring Elderly Neurocognition) is een AI-gestuurd gespreksinstrument dat is ontworpen om mantelzorgers te helpen gestructureerde aanvullende voorgeschiedenissen te verstrekken vóór klinische dementiebeoordelingen. Gefinancierd met startkapitaal door het Royal College of Psychiatrists, het Alzheimer's Research UK Northern Network en het Newcastle Biomedical Research Network, is LUMEN ontwikkeld om de diagnostische nauwkeurigheid te verbeteren, de belasting van mantelzorgers te verminderen en de werkstroomefficiëntie in geheugenklinieken te verbeteren.

   Deze studie zal de haalbaarheid, bruikbaarheid en acceptatie van LUMEN in realistische klinische settings evalueren door middel van een geneste kwalitatieve haalbaarheidsstudie. We zullen mantelzorgers en clinici werven om met LUMEN te interacteren en de effectiviteit ervan bij het verzamelen van aanvullende voorgeschiedenissen te beoordelen. De studie zal ook co-productieworkshops met gemeenschapsgroepen omvatten om kwesties rond taal, culturele inclusiviteit en toegankelijkheid te onderzoeken. De bevindingen zullen toekomstige verfijningen en een grotere validatiestudie informeren.

2. Onderzoeksdoelen

Deze studie beoogt:

1. De bruikbaarheid van LUMEN evalueren - Ervaringen van mantelzorgers en clinici meten met gevalideerde schalen (System Usability Scale [SUS] en NASA Task Load Index [NASA-TLX]).
2. Acceptatie en implementatiebelemmeringen en -facilitatoren onderzoeken - Kwalitatieve interviews en co-productieworkshops uitvoeren om het ontwerp van LUMEN te verfijnen, waarbij toegankelijkheid voor diverse gebruikersgroepen wordt gewaarborgd.
3. De uitvoer van LUMEN vergelijken met klinische beoordelingen - De overeenkomst tussen door LUMEN gegenereerde rapporten en door clinici verkregen voorgeschiedenissen onderzoeken met behulp van Cohen's Kappa voor interbeoordelaarsbetrouwbaarheid.

3. Uitgevoerd achtergrondwerk LUMEN is mede ontwikkeld met clinici en belanghebbenden via een aangepast Delphi-proces met 150 clinici, voornamelijk ouderenpsychiaters. Dit resulteerde in 2.600 vragen gekoppeld aan gevalideerde dementie-instrumenten, waardoor klinische relevantie werd gewaarborgd. Vroege technische tests evalueerden open-source LLM's (bijv. Mistral 7B, LLaMA2 7B) met gesimuleerde klinische vignetten. ROC-curveanalyse toonde een AUC van 0,89 voor het onderscheiden van dementiegerelateerde verhalen, en Cohen's Kappa 0,82 duidde op hoge interbeoordelaarsbetrouwbaarheid tussen de uitvoer van LUMEN en klinische beoordelingen. Vroege PPIE-feedback (Patient and Public Involvement and Engagement) benadrukte de behoefte aan eenvoudigere taal, culturele sensitiviteit en verbeterde gebruikerservaring. Deze inzichten worden verder verfijnd via de voorgestelde co-productieworkshops.

4. Studieontwerp en methodologie Deze studie zal een mixed-methods benadering gebruiken, waarbij kwantitatieve bruikbaarheidstests worden gecombineerd met kwalitatieve interviews om de haalbaarheid en acceptatie van LUMEN te evalueren.

4.1. Deelnemers en werving

• Mantelzorgers (n=20-30 dyaden): Geworven via Northumbria NHS Geheugenklinieken. In aanmerking komende mantelzorgers zijn volwassenen (≥18 jaar) die de patiënt goed kennen, basiskennis Engels hebben en geïnformeerde toestemming kunnen geven.
• Patiënten (n=20-30): Personen (≥65 jaar) die een geheugenkliniek bezoeken voor cognitieve beoordeling.
• Clinici (n=8-10): Specialisten in dementiezorg (neurologen, psychiaters, geriaters, verpleegkundig specialisten) met ≥2 jaar ervaring.

4.2. Studiewerkwijzen

1. Baseline gegevensverzameling:

   • Demografie (leeftijd, geslacht, etniciteit, sociaaleconomische status).
   • Klinische diagnose (indien beschikbaar).
   • Cognitieve testscores (MoCA/ACE).

2. LUMEN-interactie:

   • Mantelzorgers gebruiken LUMEN op een laptop of tablet om gestructureerde aanvullende voorgeschiedenissen te verstrekken (~20-30 min).
   • Clinici beoordelen door LUMEN gegenereerde voorgeschiedenissen op volledigheid en klinische bruikbaarheid.

3. Bruikbaarheids- en cognitieve belastingbeoordeling:

   • SUS (System Usability Scale): 10-item Likert-schaal vragenlijst die gebruiksgemak beoordeelt (score ≥70 = goede bruikbaarheid).
   • NASA-TLX (Task Load Index): Evalueert waargenomen cognitieve werklast (scores 0-29 = lage werklast).

4. Kwalitatieve evaluatie:

   • Halfgestructureerde interviews (n=10 mantelzorgers, n=4-5 clinici).
   • Co-productieworkshops met gemeenschapsgroepen om taal, culturele representatie en toegankelijkheid te onderzoeken.

5. Exploratieve analyse:

   • Interbeoordelaarsbetrouwbaarheid (Cohen's Kappa): Overeenkomst tussen LUMEN-uitvoer en klinische beoordelingen.
   • Diagnostische nauwkeurigheid (AUROC-curveanalyse): Vergelijking van LUMEN-beoordelingen met klinische diagnoses.

5. Meestijden en tijdschema's

De studie loopt 12 maanden (april 2025 - april 2026), met de volgende belangrijke fasen:

Fase Maand Activiteiten Voorbereiding & Ethiek 1-3 Definitieve IRAS-goedkeuring, NHS R&D-goedkeuringen, teamopzet Werving & Gegevensverzameling 4-9 Werving patiënt-mantelzorger dyaden, werving clinici, LUMEN-testing Bruikbaarheidsworkshops 6-8 Co-productieworkshops, kwalitatieve interviews Gegevensanalyse & Verfijning 9-10 Thematische analyse, SUS/NASA-TLX-scoring, LLM-verfijningen Eindrapportage & Volgende stappen 11-12 Verspreiding, subsidievoorbereiding voor grootschalige validatiestudie 6. Verwacht effect Deze studie genereert kritieke haalbaarheidsgegevens om een grotere klinische validatiestudie en daaropvolgende NHS-integratie te informeren. Verwachte uitkomsten omvatten:

• Een verfijnd, mede-ontworpen LUMEN-prototype met verbeterde bruikbaarheid en toegankelijkheid.
• Kwantitatief bewijs over bruikbaarheid en cognitieve werklast, ter ondersteuning van toekomstige subsidieaanvragen.
• Voorlopige inzichten in AI-ondersteunde aanvullende anamnese, als basis voor regelgevende goedkeuring als Software as a Medical Device (SaMD).
• Potentieel voor vroege NHS-adoptie onder het MHRA-raamwerk, waardoor dementiediagnostiek wordt gestroomlijnd.