Großes Sprachmodell zum Verständnis und zur Überwachung der Neurokognition bei älteren Menschen (LUMEN)

1. Hintergrund und Begründung Die Diagnose von Demenz stützt sich auf die klinische Anamnese, kognitive Tests und Zusatzinformationen von Pflegepersonen. Allerdings ist die Erhebung strukturierter und zuverlässiger Zusatzanamnesen aufgrund der Belastung der Pflegepersonen, Erinnerungsverzerrungen und Zeitmangel in Gedächtnissprechstunden schwierig. Große Sprachmodelle (Large Language Models, LLMs) haben das Potenzial, diesen Prozess zu verbessern, indem sie die strukturierte Anamneseerhebung anleiten, klinisch relevante Details extrahieren und die Informationssammlung standardisieren.

   LUMEN (Large Language Model for Understanding and Monitoring Elderly Neurocognition) ist ein KI-gestütztes Konversationstool, das Pflegepersonen dabei unterstützen soll, vor klinischen Demenzbewertungen strukturierte Zusatzanamnesen zu liefern. Mit Startfinanzierung durch das Royal College of Psychiatrists, das Alzheimer's Research UK Northern Network und das Newcastle Biomedical Research Network wurde LUMEN entwickelt, um die diagnostische Genauigkeit zu erhöhen, die Belastung der Pflegepersonen zu verringern und die Arbeitsablaufeffizienz in Gedächtnissprechstunden zu verbessern.

   Diese Studie wird die Machbarkeit, Benutzerfreundlichkeit und Akzeptanz von LUMEN in realen klinischen Umgebungen durch eine eingebettete qualitative Machbarkeitsstudie evaluieren. Wir werden Pflegepersonen und Kliniker rekrutieren, um mit LUMEN zu interagieren und seine Wirksamkeit bei der Erfassung von Zusatzanamnesen zu bewerten. Die Studie wird auch Co-Produktion-Workshops mit Gemeinschaftsgruppen einbeziehen, um Fragen zu Sprache, kultureller Inklusivität und Zugänglichkeit zu untersuchen. Die Ergebnisse werden zukünftige Verfeinerungen und eine größere Validierungsstudie informieren.

2. Forschungsziele

Diese Studie zielt darauf ab:

1. Die Benutzerfreundlichkeit von LUMEN zu bewerten – Die Erfahrungen von Pflegepersonen und Klinikern mithilfe validierter Skalen (System Usability Scale [SUS] und NASA Task Load Index [NASA-TLX]) messen.
2. Akzeptanz und Implementierungsbarrieren sowie -förderfaktoren zu untersuchen – Qualitative Interviews und Co-Produktion-Workshops durchführen, um das Design von LUMEN zu verfeinern und die Zugänglichkeit über diverse Nutzergruppen hinweg sicherzustellen.
3. Die Ausgaben von LUMEN mit klinischen Bewertungen zu vergleichen – Die Übereinstimmung zwischen LUMEN-generierten Berichten und klinisch erhobenen Anamnesen mithilfe von Cohens Kappa für die Inter-Rater-Reliabilität untersuchen.

3. Bisherige Hintergrundarbeit LUMEN wurde gemeinsam mit Klinikern und Stakeholdern unter Verwendung eines modifizierten Delphi-Prozesses mit 150 Klinikern, hauptsächlich Alterspsychiatern, entwickelt. Dies führte zu 2.600 Fragen, die auf validierte Demenzinstrumente abgebildet sind, um klinische Relevanz sicherzustellen. Frühe technische Tests bewerteten Open-Source-LLMs (z.B. Mistral 7B, LLaMA2 7B) anhand simulierter klinischer Vignetten. ROC-Kurvenanalysen zeigten eine AUC von 0,89 für die Unterscheidung demenzbezogener Narrative, und Cohens Kappa von 0,82 deutete auf eine hohe Inter-Rater-Reliabilität zwischen LUMENs Ausgaben und klinischen Bewertungen hin. Frühes PPIE-Feedback (Patient and Public Involvement and Engagement) betonte den Bedarf an einfacherer Sprache, kultureller Sensibilität und verbessertem Nutzererlebnis. Diese Erkenntnisse werden durch die vorgeschlagenen Co-Produktion-Workshops weiter verfeinert.

4. Studiendesign und Methodik Diese Studie wird einen Mixed-Methods-Ansatz verwenden, der quantitative Usability-Tests mit qualitativen Interviews kombiniert, um die Machbarkeit und Akzeptanz von LUMEN zu evaluieren.

4.1. Teilnehmer und Rekrutierung

• Pflegepersonen (n=20-30 Dyaden): Rekrutiert über Northumbria NHS Memory Clinics. Berechtigte Pflegepersonen sind Erwachsene (≥18 Jahre), die den Patienten gut kennen, über grundlegende Englischkenntnisse verfügen und eine informierte Einwilligung geben können.
• Patienten (n=20-30): Personen (≥65 Jahre), die eine Gedächtnissprechstunde zur kognitiven Bewertung aufsuchen.
• Kliniker (n=8-10): Spezialisten in der Demenzversorgung (Neurologen, Psychiater, Geriater, Advanced Nurse Practitioners) mit ≥2 Jahren Erfahrung.

4.2. Studienablauf

1. Basisdatenerhebung:

   • Demografische Daten (Alter, Geschlecht, Ethnizität, sozioökonomischer Status).
   • Klinische Diagnose (sofern verfügbar).
   • Kognitive Testergebnisse (MoCA/ACE).

2. LUMEN-Interaktion:

   • Pflegepersonen werden LUMEN auf einem Laptop oder Tablet verwenden, um strukturierte Zusatzanamnesen bereitzustellen (~20-30 Min.).
   • Kliniker werden LUMEN-generierte Anamnesen überprüfen, um Vollständigkeit und klinischen Nutzen zu bewerten.

3. Benutzerfreundlichkeits- und kognitive Belastungsbewertung:

   • SUS (System Usability Scale): 10-Punkte-Likert-Skalen-Fragebogen zur Bewertung der Benutzerfreundlichkeit (Score ≥70 = gute Benutzerfreundlichkeit).
   • NASA-TLX (Task Load Index): Bewertet die wahrgenommene kognitive Belastung (Scores 0-29 = niedrige Belastung).

4. Qualitative Evaluation:

   • Halbstrukturierte Interviews (n=10 Pflegepersonen, n=4-5 Kliniker).
   • Co-Produktion-Workshops mit Gemeinschaftsgruppen zur Untersuchung von Sprache, kultureller Repräsentation und Zugänglichkeit.

5. Explorative Analyse:

   • Inter-Rater-Reliabilität (Cohens Kappa): Übereinstimmung zwischen LUMEN-Ausgaben und klinischen Bewertungen.
   • Diagnosegenauigkeit (AUROC-Kurvenanalyse): Vergleich von LUMENs Bewertungen mit klinischen Diagnosen.

5. Meilensteine und Zeitpläne

Die Studie läuft über 12 Monate (April 2025 – April 2026) mit folgenden Hauptphasen:

Phase Monat Aktivitäten Vorbereitung & Ethik 1-3 Endgültige IRAS-Genehmigung, NHS R&D-Genehmigungen, Teameinrichtung Rekrutierung & Datenerhebung 4-9 Rekrutierung von Patient-Pflegeperson-Dyaden, Klinikerrekrutierung, LUMEN-Tests Benutzerfreundlichkeits-Workshops 6-8 Co-Produktion-Workshops, qualitative Interviews Datenanalyse & Verfeinerung 9-10 Thematische Analyse, SUS/NASA-TLX-Auswertung, LLM-Verfeinerungen Abschlussbericht & nächste Schritte 11-12 Verbreitung, Zuschussvorbereitung für groß angelegte Validierungsstudie 6. Erwartete Auswirkungen Diese Studie wird kritische Machbarkeitsdaten generieren, um eine größere klinische Validierungsstudie und anschließende NHS-Integration zu informieren. Erwartete Ergebnisse umfassen:

• Ein verfeinerter, co-designtes LUMEN-Prototyp mit verbesserter Benutzerfreundlichkeit und Zugänglichkeit.
• Quantitative Nachweise zur Benutzerfreundlichkeit und kognitiven Belastung zur Unterstützung zukünftiger Finanzierungsanträge.
• Vorläufige Einblicke in KI-gestützte Zusatzanamneseerhebung als Grundlage für regulatorische Zulassung als Software as a Medical Device (SaMD).
• Potenzial für frühe NHS-Übernahme unter dem MHRA-Rahmen zur Straffung der Demenzdiagnostik.