Modèle de Langage à Grande Échelle pour la Compréhension et la Surveillance de la Neurocognition des Personnes Âgées (LUMEN)

1. Contexte et justification Le diagnostic de démence repose sur l'histoire clinique, les évaluations cognitives et les informations complémentaires fournies par les aidants. Cependant, l'obtention d'histoires complémentaires structurées et fiables est difficile en raison de la charge pesant sur les aidants, des biais de rappel et des contraintes de temps dans les cliniques de la mémoire. Les grands modèles de langage (LLM) ont le potentiel d'améliorer ce processus en guidant la prise d'histoire structurée, en extrayant des détails cliniquement pertinents et en standardisant la collecte d'informations.

   LUMEN (Large Language Model for Understanding and Monitoring Elderly Neurocognition) est un outil conversationnel alimenté par l'IA conçu pour aider les aidants à fournir des histoires complémentaires structurées avant les évaluations cliniques de démence. Financé initialement par le Royal College of Psychiatrists, le Alzheimer's Research UK Northern Network et le Newcastle Biomedical Research Network, LUMEN a été développé pour améliorer la précision diagnostique, réduire la charge des aidants et optimiser l'efficacité des flux de travail dans les cliniques de la mémoire.

   Cette étude évaluera la faisabilité, l'utilisabilité et l'acceptabilité de LUMEN dans des contextes cliniques réels à travers une étude de faisabilité qualitative imbriquée. Nous recruterons des aidants et des cliniciens pour interagir avec LUMEN et évaluer son efficacité dans la collecte d'histoires complémentaires. L'étude intégrera également des ateliers de co-création avec des groupes communautaires pour explorer les questions liées à la langue, à l'inclusivité culturelle et à l'accessibilité. Les résultats éclaireront les améliorations futures et une étude de validation plus large.

2. Objectifs de recherche

Cette étude vise à :

1. Évaluer l'utilisabilité de LUMEN - Mesurer les expériences des aidants et des cliniciens à l'aide d'échelles validées (System Usability Scale [SUS] et NASA Task Load Index [NASA-TLX]).
2. Explorer l'acceptabilité et les obstacles et facilitateurs de mise en œuvre - Réaliser des entretiens qualitatifs et des ateliers de co-création pour affiner la conception de LUMEN, en garantissant son accessibilité à divers groupes d'utilisateurs.
3. Comparer les sorties de LUMEN aux évaluations des cliniciens - Étudier l'alignement entre les rapports générés par LUMEN et les histoires recueillies par les cliniciens en utilisant le Kappa de Cohen pour la fiabilité inter-évaluateurs.

3. Travaux de fond réalisés LUMEN a été co-développé avec des cliniciens et des parties prenantes en utilisant un processus Delphi modifié impliquant 150 cliniciens, principalement des psychiatres gériatriques. Cela a produit 2 600 questions alignées sur des outils validés de démence, garantissant la pertinence clinique. Des tests techniques précoces ont évalué des LLM open-source (par exemple, Mistral 7B, LLaMA2 7B) à l'aide de vignettes cliniques simulées. L'analyse de la courbe ROC a démontré une AUC de 0,89 pour distinguer les récits liés à la démence, et un Kappa de Cohen de 0,82 a indiqué une fiabilité inter-évaluateurs élevée entre les sorties de LUMEN et les évaluations des cliniciens. Les retours précoces de l'Engagement et de l'Implication des Patients et du Public (PPIE) ont souligné le besoin d'un langage plus simple, d'une sensibilité culturelle et d'une meilleure expérience utilisateur. Ces idées seront affinées davantage à travers les ateliers de co-création proposés.

4. Conception et méthodologie de l'étude Cette étude utilisera une approche à méthodes mixtes, combinant des tests d'utilisabilité quantitatifs avec des entretiens qualitatifs pour évaluer la faisabilité et l'acceptabilité de LUMEN.

4.1. Participants et recrutement

• Aidants (n=20-30 dyades) : Recrutés via les cliniques de la mémoire du NHS de Northumbria. Les aidants éligibles seront des adultes (≥18 ans) qui connaissent bien le patient, ont une alphabétisation de base en anglais et peuvent fournir un consentement éclairé.
• Patients (n=20-30) : Personnes (≥65 ans) se rendant dans une clinique de la mémoire pour une évaluation cognitive.
• Cliniciens (n=8-10) : Spécialistes des soins de démence (neurologues, psychiatres, gériatres, infirmiers praticiens avancés) avec ≥2 ans d'expérience.

4.2. Procédures de l'étude

1. Collecte de données de base :

   • Démographie (âge, sexe, origine ethnique, statut socio-économique).
   • Diagnostic clinique (si disponible).
   • Scores aux tests cognitifs (MoCA/ACE).

2. Interaction avec LUMEN :

   • Les aidants utiliseront LUMEN sur un ordinateur portable ou une tablette pour fournir des histoires complémentaires structurées (~20-30 min).
   • Les cliniciens examineront les histoires générées par LUMEN pour évaluer leur exhaustivité et leur utilité clinique.

3. Évaluation de l'utilisabilité et de la charge cognitive :

   • SUS (System Usability Scale) : Questionnaire à 10 items sur une échelle de Likert évaluant la facilité d'utilisation (score ≥70 = bonne utilisabilité).
   • NASA-TLX (Task Load Index) : Évalue la charge cognitive perçue (scores 0-29 = faible charge).

4. Évaluation qualitative :

   • Entretiens semi-structurés (n=10 aidants, n=4-5 cliniciens).
   • Ateliers de co-création avec des groupes communautaires pour explorer la langue, la représentation culturelle et l'accessibilité.

5. Analyse exploratoire :

   • Fiabilité inter-évaluateurs (Kappa de Cohen) : Accord entre les sorties de LUMEN et les évaluations des cliniciens.
   • Précision diagnostique (analyse de la courbe AUROC) : Comparaison des évaluations de LUMEN avec les diagnostics cliniques.

5. Jalons et délais

L'étude durera 12 mois (avril 2025 - avril 2026), avec les phases clés suivantes :

Phase Mois Activités Préparation et Éthique 1-3 Approbation finale IRAS, approbations R&D du NHS, mise en place de l'équipe Recrutement et Collecte de Données 4-9 Recrutement des dyades patient-aidant, recrutement des cliniciens, tests LUMEN Ateliers d'Utilisabilité 6-8 Ateliers de co-création, entretiens qualitatifs Analyse des Données et Affinement 9-10 Analyse thématique, notation SUS/NASA-TLX, affinements LLM Rapport Final et Prochaines Étapes 11-12 Diffusion, préparation de demande de financement pour une étude de validation à grande échelle 6. Impact attendu Cette étude générera des données de faisabilité critiques pour éclairer une étude de validation clinique plus large et une intégration ultérieure au NHS. Les résultats attendus incluent :

• Un prototype de LUMEN affiné et co-conçu avec une meilleure utilisabilité et accessibilité.
• Des preuves quantitatives sur l'utilisabilité et la charge cognitive, soutenant les futures demandes de financement.
• Des aperçus préliminaires sur la prise d'histoire complémentaire assistée par l'IA, jetant les bases de l'approbation réglementaire en tant que Logiciel en tant que Dispositif Médical (SaMD).
• Un potentiel d'adoption précoce par le NHS dans le cadre du cadre du MHRA, rationalisant le diagnostic de la démence.