Grande Modello Linguistico per la Comprensione e il Monitoraggio della Neurocognizione degli Anziani (LUMEN)

1. Background e Razionale La diagnosi di demenza si basa sulla storia clinica, sulle valutazioni cognitive e sulle informazioni collaterali fornite dai caregiver. Tuttavia, ottenere storie collaterali strutturate e affidabili è difficile a causa del carico del caregiver, del bias di richiamo e dei vincoli di tempo nelle cliniche della memoria. I grandi modelli linguistici (LLM) hanno il potenziale di migliorare questo processo guidando la raccolta strutturata della storia, estraendo dettagli clinicamente rilevanti e standardizzando la raccolta di informazioni.

   LUMEN (Large Language Model for Understanding and Monitoring Elderly Neurocognition) è uno strumento conversazionale basato sull'intelligenza artificiale progettato per assistere i caregiver nel fornire storie collaterali strutturate prima delle valutazioni cliniche per la demenza. Finanziato con fondi iniziali dal Royal College of Psychiatrists, dall'Alzheimer's Research UK Northern Network e dal Newcastle Biomedical Research Network, LUMEN è stato sviluppato per migliorare l'accuratezza diagnostica, ridurre il carico del caregiver e aumentare l'efficienza del flusso di lavoro nelle cliniche della memoria.

   Questo studio valuterà la fattibilità, l'usabilità e l'accettabilità di LUMEN in contesti clinici reali attraverso uno studio di fattibilità qualitativo annidato. Recluteremo caregiver e clinici per interagire con LUMEN e valutarne l'efficacia nel raccogliere storie collaterali. Lo studio includerà anche workshop di co-produzione con gruppi della comunità per esplorare questioni relative al linguaggio, all'inclusività culturale e all'accessibilità. I risultati informeranno futuri perfezionamenti e uno studio di validazione più ampio.

2. Obiettivi della Ricerca

Questo studio mira a:

1. Valutare l'usabilità di LUMEN - Misurare le esperienze di caregiver e clinici utilizzando scale validate (System Usability Scale [SUS] e NASA Task Load Index [NASA-TLX]).
2. Esplorare l'accettabilità e le barriere/facilitatori di implementazione - Condurre interviste qualitative e workshop di co-produzione per perfezionare il design di LUMEN, garantendo l'accessibilità tra diversi gruppi di utenti.
3. Confrontare gli output di LUMEN con le valutazioni dei clinici - Investigare l'allineamento tra i report generati da LUMEN e le storie raccolte dai clinici utilizzando il Kappa di Cohen per l'affidabilità inter-osservatore.

3. Lavoro di Sfondo Svolto LUMEN è stato co-sviluppato con clinici e stakeholder utilizzando un processo Delphi Modificato che ha coinvolto 150 clinici, principalmente psichiatri geriatrici. Questo ha prodotto 2.600 domande mappate su strumenti validati per la demenza, garantendo la rilevanza clinica. Test tecnici preliminari hanno valutato LLM open-source (es. Mistral 7B, LLaMA2 7B) utilizzando vignette cliniche simulate. L'analisi della curva ROC ha dimostrato un'ASC di 0,89 per distinguere narrazioni correlate alla demenza, e un Kappa di Cohen di 0,82 ha indicato un'elevata affidabilità inter-osservatore tra gli output di LUMEN e le valutazioni dei clinici. Feedback preliminari di PPIE (Patient and Public Involvement and Engagement) hanno evidenziato la necessità di un linguaggio più semplice, sensibilità culturale e miglioramento dell'esperienza utente. Queste intuizioni saranno ulteriormente perfezionate attraverso i workshop di co-produzione proposti.

4. Disegno dello Studio e Metodologia Questo studio utilizzerà un approccio a metodi misti, combinando test di usabilità quantitativi con interviste qualitative per valutare la fattibilità e l'accettabilità di LUMEN.

4.1. Partecipanti e Reclutamento

• Caregiver (n=20-30 diadi): Reclutati tramite le Cliniche della Memoria del NHS Northumbria. I caregiver idonei saranno adulti (≥18 anni) che conoscono bene il paziente, hanno una conoscenza base dell'inglese e possono fornire consenso informato.
• Pazienti (n=20-30): Individui (≥65 anni) che si recano in una clinica della memoria per una valutazione cognitiva.
• Clinici (n=8-10): Specialisti nella cura della demenza (neurologi, psichiatri, geriatri, infermieri specializzati) con ≥2 anni di esperienza.

4.2. Procedure dello Studio

1. Raccolta Dati Basale:

   • Dati demografici (età, genere, etnia, stato socioeconomico).
   • Diagnosi clinica (ove disponibile).
   • Punteggi dei test cognitivi (MoCA/ACE).

2. Interazione con LUMEN:

   • I caregiver utilizzeranno LUMEN su laptop o tablet per fornire storie collaterali strutturate (~20-30 min).
   • I clinici esamineranno le storie generate da LUMEN per valutarne completezza e utilità clinica.

3. Valutazione Usabilità e Carico Cognitivo:

   • SUS (System Usability Scale): Questionario a 10 item su scala Likert che valuta la facilità d'uso (punteggio ≥70 = buona usabilità).
   • NASA-TLX (Task Load Index): Valuta il carico di lavoro cognitivo percepito (punteggi 0-29 = carico basso).

4. Valutazione Qualitativa:

   • Interviste semi-strutturate (n=10 caregiver, n=4-5 clinici).
   • Workshop di co-produzione con gruppi della comunità per esplorare linguaggio, rappresentazione culturale e accessibilità.

5. Analisi Esplorativa:

   • Affidabilità inter-osservatore (Kappa di Cohen): Accordo tra output di LUMEN e valutazioni dei clinici.
   • Accuratezza diagnostica (analisi curva AUROC): Confronto delle valutazioni di LUMEN con le diagnosi cliniche.

5. Tappe e Tempistiche

Lo studio durerà 12 mesi (aprile 2025 - aprile 2026), con fasi chiave come segue:

Fase Mese Attività Preparazione & Etica 1-3 Approvazione finale IRAS, approvazioni R&D NHS, setup team Reclutamento & Raccolta Dati 4-9 Reclutamento diadi paziente-caregiver, reclutamento clinici, test LUMEN Workshop Usabilità 6-8 Workshop di co-produzione, interviste qualitative Analisi Dati & Perfezionamento 9-10 Analisi tematica, punteggi SUS/NASA-TLX, perfezionamenti LLM Reporting Finale & Prossimi Passi 11-12 Disseminazione, preparazione grant per studio di validazione su larga scala 6. Impatto Atteso Questo studio genererà dati critici di fattibilità per informare un più ampio studio di validazione clinica e la successiva integrazione nel NHS. I risultati attesi includono:

• Un prototipo perfezionato e co-progettato di LUMEN con migliorata usabilità e accessibilità.
• Evidenze quantitative su usabilità e carico cognitivo, a supporto di future domande di finanziamento.
• Approfondimenti preliminari sulla raccolta collaterale di storie assistita dall'IA, ponendo le basi per l'approvazione normativa come Software come Dispositivo Medico (SaMD).
• Potenziale per un'adozione precoce nel NHS sotto il quadro MHRA, snellendo la diagnostica della demenza.