Velký jazykový model pro porozumění a monitorování neurokognice seniorů (LUMEN)

1. Pozadí a zdůvodnění Diagnóza demence se opírá o klinickou anamnézu, kognitivní vyšetření a doplňující informace od pečovatelů. Získávání strukturovaných a spolehlivých doplňujících anamnéz je však náročné kvůli zátěži pečovatelů, zkreslení vzpomínek a časovým omezením v paměťových klinikách. Velké jazykové modely (LLM) mají potenciál tento proces zlepšit tím, že vedou strukturované odběry anamnéz, extrahují klinicky relevantní detaily a standardizují sběr informací.

   LUMEN (Large Language Model for Understanding and Monitoring Elderly Neurocognition) je konverzační nástroj využívající umělou inteligenci, navržený k pomoci pečovatelům při poskytování strukturovaných doplňujících anamnéz před klinickými vyšetřeními demence. LUMEN byl vyvinut s počátečním financováním od Royal College of Psychiatrists, Alzheimer's Research UK Northern Network a Newcastle Biomedical Research Network s cílem zvýšit diagnostickou přesnost, snížit zátěž pečovatelů a zlepšit efektivitu práce na paměťových klinikách.

   Tato studie vyhodnotí proveditelnost, použitelnost a přijatelnost LUMENu v reálných klinických podmínkách prostřednictvím vnořené kvalitativní studie proveditelnosti. Rekrutujeme pečovatele a kliniky, aby s LUMENem interagovali a vyhodnotili jeho účinnost při shromažďování doplňujících anamnéz. Studie také zahrne workshopy spoluvytváření se skupinami komunity, aby prozkoumala otázky týkající se jazyka, kulturní inkluzivity a přístupnosti. Zjištění poskytnou podklady pro budoucí vylepšení a větší validační studii.

2. Výzkumné cíle

Tato studie si klade za cíl:

1. Vyhodnotit použitelnost LUMENu – Měření zkušeností pečovatelů a kliniků pomocí ověřených škál (System Usability Scale [SUS] a NASA Task Load Index [NASA-TLX]).
2. Prozkoumat přijatelnost a překážky a podpůrné faktory implementace – Provést kvalitativní rozhovory a workshopy spoluvytváření k vylepšení designu LUMENu a zajištění přístupnosti pro různé uživatelské skupiny.
3. Porovnat výstupy LUMENu s hodnoceními kliniků – Prozkoumat soulad mezi zprávami generovanými LUMENem a anamnézami získanými kliniky pomocí Cohenova Kappa pro spolehlivost mezi hodnotiteli.

3. Provedená přípravná práce LUMEN byl spoluvyvíjen s kliniky a zainteresovanými stranami pomocí upraveného Delphi procesu zahrnujícího 150 kliniků, převážně psychiatrů pro geriatrii. Tím vzniklo 2600 otázek mapovaných na ověřené nástroje pro demenci, což zajišťuje klinickou relevanci. Rané technické testování vyhodnocovalo open-source LLM (např. Mistral 7B, LLaMA2 7B) pomocí simulovaných klinických vinět. Analýza ROC křivky ukázala AUC 0,89 pro rozlišení vyprávění souvisejících s demencí a Cohenovo Kappa 0,82 naznačovalo vysokou spolehlivost mezi hodnotiteli u výstupů LUMENu a hodnocení kliniků. Raná zpětná vazba z PPIE (Patient and Public Involvement and Engagement) zdůraznila potřebu jednoduššího jazyka, kulturní citlivosti a lepší uživatelské zkušenosti. Tyto poznatky budou dále upřesněny prostřednictvím navrhovaných workshopů spoluvytváření.

4. Design studie a metodologie Tato studie použije smíšené metody, kombinující kvantitativní testování použitelnosti s kvalitativními rozhovory k vyhodnocení proveditelnosti a přijatelnosti LUMENu.

4.1. Účastníci a nábor

• Pečovatelé (n=20-30 dvojic): Nábor prostřednictvím paměťových klinik NHS Northumbria. Oprávnění pečovatelé budou dospělí (≥18 let), kteří pacienta dobře znají, mají základní znalost angličtiny a mohou poskytnout informovaný souhlas.
• Pacienti (n=20-30): Jednotlivci (≥65 let) navštěvující paměťovou kliniku pro kognitivní vyšetření.
• Klinici (n=8-10): Specialisté v péči o demenci (neurologové, psychiatři, geriatři, pokročilé sestry) s ≥2 roky zkušeností.

4.2. Postupy studie

1. Sběr základních dat:

   • Demografie (věk, pohlaví, etnická příslušnost, socioekonomický status).
   • Klinická diagnóza (kde je k dispozici).
   • Skóre kognitivních testů (MoCA/ACE).

2. Interakce s LUMENem:

   • Pečovatelé použijí LUMEN na notebooku nebo tabletu k poskytnutí strukturovaných doplňujících anamnéz (~20-30 min).
   • Klinici zkontrolují anamnézy generované LUMENem, aby posoudili úplnost a klinickou užitečnost.

3. Vyhodnocení použitelnosti a kognitivní zátěže:

   • SUS (System Usability Scale): 10-položkový dotazník Likertovy škály hodnotící snadnost použití (skóre ≥70 = dobrá použitelnost).
   • NASA-TLX (Task Load Index): Vyhodnocuje vnímanou kognitivní zátěž (skóre 0-29 = nízká zátěž).

4. Kvalitativní vyhodnocení:

   • Polo-strukturované rozhovory (n=10 pečovatelů, n=4-5 kliniků).
   • Workshopy spoluvytváření se skupinami komunity prozkoumající jazyk, kulturní zastoupení a přístupnost.

5. Průzkumná analýza:

   • Spolehlivost mezi hodnotiteli (Cohenovo Kappa): Shoda mezi výstupy LUMENu a hodnoceními kliniků.
   • Diagnostická přesnost (analýza AUROC křivky): Porovnání hodnocení LUMENu s klinickými diagnózami.

5. Milníky a časové rámce

Studie bude probíhat 12 měsíců (duben 2025 – duben 2026) s klíčovými fázemi následovně:

Fáze Měsíc Aktivity Příprava & Etika 1-3 Konečné schválení IRAS, schválení NHS R&D, nastavení týmu Nábor & Sběr dat 4-9 Nábor dvojic pacient-pečovatel, nábor kliniků, testování LUMENu Workshopy použitelnosti 6-8 Workshopy spoluvytváření, kvalitativní rozhovory Analýza dat & Vylepšení 9-10 Tématická analýza, skórování SUS/NASA-TLX, vylepšení LLM Závěrečné reportování & Další kroky 11-12 Diseminace, příprava grantu pro rozsáhlou validační studii 6. Očekávaný dopad Tato studie vygeneruje kritická data proveditelnosti pro informování větší klinické validační studie a následné integrace do NHS. Očekávané výsledky zahrnují:

• Vylepšený, spolunavržený prototyp LUMENu s lepší použitelností a přístupností.
• Kvantitativní důkazy o použitelnosti a kognitivní zátěži, podporující budoucí žádosti o financování.
• Předběžné poznatky o AI-pomocném odběru doplňujících anamnéz, vytvářející základ pro regulační schválení jako Software as a Medical Device (SaMD).
• Potenciál pro časné přijetí v NHS v rámci rámce MHRA, zjednodušující diagnostiku demence.