Duży Model Językowy do Zrozumienia i Monitorowania Neurokognicji Osób Starszych (LUMEN)

1. Tło i uzasadnienie Diagnoza demencji opiera się na wywiadzie klinicznym, ocenach poznawczych oraz informacjach uzupełniających od opiekunów. Jednak uzyskanie ustrukturyzowanych i wiarygodnych historii uzupełniających jest trudne ze względu na obciążenie opiekunów, tendencyjność pamięci oraz ograniczenia czasowe w klinikach pamięci. Duże modele językowe (LLM) mają potencjał, aby usprawnić ten proces poprzez prowadzenie ustrukturyzowanego zbierania wywiadu, wyodrębnianie klinicznie istotnych szczegółów oraz standaryzację gromadzenia informacji.

   LUMEN (Large Language Model for Understanding and Monitoring Elderly Neurocognition) to narzędzie konwersacyjne wspierane przez sztuczną inteligencję, zaprojektowane, aby pomóc opiekunom w dostarczaniu ustrukturyzowanych historii uzupełniających przed klinicznymi ocenami demencji. Sfinansowany początkowo przez Royal College of Psychiatrists, Alzheimer's Research UK Northern Network oraz Newcastle Biomedical Research Network, LUMEN został opracowany w celu zwiększenia dokładności diagnostycznej, zmniejszenia obciążenia opiekunów oraz poprawy efektywności przepływu pracy w klinikach pamięci.

   Niniejsze badanie oceni wykonalność, użyteczność i akceptowalność LUMEN w rzeczywistych warunkach klinicznych poprzez zagnieżdżone jakościowe badanie wykonalności. Zrekrutujemy opiekunów i klinicystów do interakcji z LUMEN i oceny jego skuteczności w zbieraniu historii uzupełniających. Badanie będzie również obejmować warsztaty współtworzenia z grupami społecznościowymi w celu zbadania kwestii związanych z językiem, inkluzywnością kulturową i dostępnością. Wyniki posłużą do przyszłych udoskonaleń i większego badania walidacyjnego.

2. Cele badawcze

Niniejsze badanie ma na celu:

1. Ocenę użyteczności LUMEN - Zmierzenie doświadczeń opiekunów i klinicystów przy użyciu zwalidowanych skal (System Usability Scale [SUS] oraz NASA Task Load Index [NASA-TLX]).
2. Zbadanie akceptowalności oraz barier i czynników ułatwiających wdrożenie - Przeprowadzenie wywiadów jakościowych i warsztatów współtworzenia w celu udoskonalenia projektu LUMEN, zapewniając dostępność dla różnych grup użytkowników.
3. Porównanie wyników LUMEN z ocenami klinicystów - Zbadanie zgodności między raportami generowanymi przez LUMEN a historiami uzyskanymi przez klinicystów przy użyciu współczynnika kappa Cohena do oceny niezależności między oceniającymi.

3. Przeprowadzone prace wstępne LUMEN został współtworzony z klinicystami i zainteresowanymi stronami przy użyciu zmodyfikowanego procesu Delphi z udziałem 150 klinicystów, głównie psychiatrów geriatrycznych. To zaowocowało 2600 pytaniami powiązanymi ze zwalidowanymi narzędziami do oceny demencji, zapewniając trafność kliniczną. Wczesne testy techniczne oceniły otwarte modele LLM (np. Mistral 7B, LLaMA2 7B) przy użyciu symulowanych wizyt klinicznych. Analiza krzywej ROC wykazała AUC 0,89 dla rozróżniania narracji związanych z demencją, a współczynnik kappa Cohena 0,82 wskazał na wysoką niezależność między wynikami LUMEN a ocenami klinicystów. Wczesne opinie PPIE (Zaangażowanie i Współudział Pacjentów i Społeczeństwa) podkreśliły potrzebę prostszego języka, wrażliwości kulturowej oraz poprawy doświadczenia użytkownika. Te spostrzeżenia zostaną dalej udoskonalone poprzez proponowane warsztaty współtworzenia.

4. Projekt i metodologia badania Niniejsze badanie zastosuje podejście metod mieszanych, łącząc ilościowe testowanie użyteczności z wywiadami jakościowymi w celu oceny wykonalności i akceptowalności LUMEN.

4.1. Uczestnicy i rekrutacja

• Opiekunowie (n=20-30 par): Rekrutowani za pośrednictwem Klinik Pamięci NHS Northumbria. Kwalifikujący się opiekunowie będą dorosłymi (≥18 lat), którzy dobrze znają pacjenta, posiadają podstawową znajomość języka angielskiego i mogą wyrazić świadomą zgodę.
• Pacjenci (n=20-30): Osoby (≥65 lat) zgłaszające się do kliniki pamięci na ocenę poznawczą.
• Klinicyści (n=8-10): Specjaliści w opiece nad demencją (neurolodzy, psychiatrzy, geriatrzy, zaawansowani praktycy pielęgniarscy) z ≥2 latami doświadczenia.

4.2. Procedury badania

1. Zbieranie danych wyjściowych:

   • Dane demograficzne (wiek, płeć, pochodzenie etniczne, status społeczno-ekonomiczny).
   • Diagnoza kliniczna (jeśli dostępna).
   • Wyniki testów poznawczych (MoCA/ACE).

2. Interakcja z LUMEN:

   • Opiekunowie użyją LUMEN na laptopie lub tablecie, aby dostarczyć ustrukturyzowane historie uzupełniające (~20-30 min).
   • Klinicyści przejrzą historie wygenerowane przez LUMEN, aby ocenić ich kompletność i użyteczność kliniczną.

3. Ocena użyteczności i obciążenia poznawczego:

   • SUS (System Usability Scale): 10-punktowy kwestionariusz w skali Likerta oceniający łatwość użytkowania (wynik ≥70 = dobra użyteczność).
   • NASA-TLX (Task Load Index): Ocenia postrzegane obciążenie poznawcze (wyniki 0-29 = niskie obciążenie).

4. Ocena jakościowa:

   • Półustrukturyzowane wywiady (n=10 opiekunów, n=4-5 klinicystów).
   • Warsztaty współtworzenia z grupami społecznościowymi w celu zbadania języka, reprezentacji kulturowej i dostępności.

5. Analiza eksploracyjna:

   • Niezależność między oceniającymi (współczynnik kappa Cohena): Zgodność między wynikami LUMEN a ocenami klinicystów.
   • Dokładność diagnostyczna (analiza krzywej AUROC): Porównanie ocen LUMEN z diagnozami klinicznymi.

5. Kamienie milowe i harmonogramy

Badanie będzie trwało 12 miesięcy (kwiecień 2025 - kwiecień 2026), z kluczowymi fazami następująco:

Faza Miesiąc Działania Przygotowanie i etyka 1-3 Ostateczna aprobata IRAS, zatwierdzenia NHS R&D, organizacja zespołu Rekrutacja i zbieranie danych 4-9 Rekrutacja par pacjent-opiekun, rekrutacja klinicystów, testowanie LUMEN Warsztaty użyteczności 6-8 Warsztaty współtworzenia, wywiady jakościowe Analiza danych i udoskonalenia 9-10 Analiza tematyczna, punktacja SUS/NASA-TLX, udoskonalenia LLM Raport końcowy i kolejne kroki 11-12 Upowszechnianie, przygotowanie wniosku grantowego na duże badanie walidacyjne 6. Oczekiwany wpływ Niniejsze badanie wygeneruje kluczowe dane wykonalności, aby poinformować większe kliniczne badanie walidacyjne i późniejszą integrację z NHS. Oczekiwane rezultaty obejmują:

• Udoskonalony, współprojektowany prototyp LUMEN z poprawioną użytecznością i dostępnością.
• Ilościowe dowody na użyteczność i obciążenie poznawcze, wspierające przyszłe wnioski o finansowanie.
• Wstępne spostrzeżenia dotyczące wspieranego przez AI zbierania historii uzupełniających, stanowiące podstawę do zatwierdzenia regulacyjnego jako Software as a Medical Device (SaMD).
• Potencjał wczesnego wdrożenia w NHS w ramach ram MHRA, usprawniającego diagnostykę demencji.