Modelo de Lenguaje a Gran Escala para la Comprensión y Monitoreo de la Neurocognición en Personas Mayores (LUMEN)

1. Antecedentes y fundamentos El diagnóstico de demencia se basa en la historia clínica, evaluaciones cognitivas e información complementaria de los cuidadores. Sin embargo, obtener historias complementarias estructuradas y fiables es un desafío debido a la carga del cuidador, el sesgo de recuerdo y las limitaciones de tiempo en las clínicas de memoria. Los modelos de lenguaje grandes (LLM) tienen el potencial de mejorar este proceso guiando la toma de historias estructuradas, extrayendo detalles clínicamente relevantes y estandarizando la recopilación de información.

   LUMEN (Large Language Model for Understanding and Monitoring Elderly Neurocognition) es una herramienta conversacional impulsada por IA diseñada para ayudar a los cuidadores a proporcionar historias complementarias estructuradas antes de las evaluaciones clínicas de demencia. Financiado inicialmente por el Royal College of Psychiatrists, la Alzheimer's Research UK Northern Network y la Newcastle Biomedical Research Network, LUMEN se desarrolló para mejorar la precisión diagnóstica, reducir la carga del cuidador y aumentar la eficiencia del flujo de trabajo en las clínicas de memoria.

   Este estudio evaluará la viabilidad, usabilidad y aceptabilidad de LUMEN en entornos clínicos del mundo real a través de un estudio de viabilidad cualitativo anidado. Reclutaremos cuidadores y clínicos para interactuar con LUMEN y evaluar su eficacia en la recopilación de historias complementarias. El estudio también incorporará talleres de coproducción con grupos comunitarios para explorar cuestiones relacionadas con el lenguaje, la inclusión cultural y la accesibilidad. Los hallazgos informarán futuros refinamientos y un estudio de validación más amplio.

2. Objetivos de la investigación

Este estudio tiene como objetivo:

1. Evaluar la usabilidad de LUMEN: medir las experiencias de cuidadores y clínicos utilizando escalas validadas (System Usability Scale [SUS] y NASA Task Load Index [NASA-TLX]).
2. Explorar la aceptabilidad y las barreras y facilitadores de la implementación: realizar entrevistas cualitativas y talleres de coproducción para refinar el diseño de LUMEN, asegurando la accesibilidad entre diversos grupos de usuarios.
3. Comparar los resultados de LUMEN con las evaluaciones clínicas: investigar la alineación entre los informes generados por LUMEN y las historias obtenidas por los clínicos utilizando el coeficiente Kappa de Cohen para la fiabilidad interevaluador.

3. Trabajo de antecedentes realizado LUMEN fue codesarrollado con clínicos y partes interesadas utilizando un proceso Delphi modificado que involucró a 150 clínicos, principalmente psiquiatras de la tercera edad. Esto produjo 2.600 preguntas mapeadas a herramientas validadas de demencia, asegurando relevancia clínica. Las pruebas técnicas iniciales evaluaron LLM de código abierto (por ejemplo, Mistral 7B, LLaMA2 7B) utilizando viñetas clínicas simuladas. El análisis de la curva ROC demostró un AUC de 0,89 para distinguir narrativas relacionadas con la demencia, y un coeficiente Kappa de Cohen de 0,82 indicó una alta fiabilidad interevaluador entre los resultados de LUMEN y las valoraciones clínicas. Los comentarios iniciales de PPIE (Participación e Implicación de Pacientes y Público) destacaron la necesidad de un lenguaje más simple, sensibilidad cultural y una mejor experiencia de usuario. Estas ideas se refinarán aún más a través de los talleres de coproducción propuestos.

4. Diseño y metodología del estudio Este estudio empleará un enfoque de métodos mixtos, combinando pruebas cuantitativas de usabilidad con entrevistas cualitativas para evaluar la viabilidad y aceptabilidad de LUMEN.

4.1. Participantes y reclutamiento

• Cuidadores (n=20-30 díadas): Reclutados a través de las Clínicas de Memoria del NHS de Northumbria. Los cuidadores elegibles serán adultos (≥18 años) que conozcan bien al paciente, tengan conocimientos básicos de inglés y puedan dar su consentimiento informado.
• Pacientes (n=20-30): Individuos (≥65 años) que acuden a una clínica de memoria para evaluación cognitiva.
• Clínicos (n=8-10): Especialistas en atención de demencia (neurólogos, psiquiatras, geriatras, enfermeras especialistas) con ≥2 años de experiencia.

4.2. Procedimientos del estudio

1. Recogida de datos basales:

   • Datos demográficos (edad, género, etnia, nivel socioeconómico).
   • Diagnóstico clínico (cuando esté disponible).
   • Puntuaciones de pruebas cognitivas (MoCA/ACE).

2. Interacción con LUMEN:

   • Los cuidadores usarán LUMEN en un ordenador portátil o tableta para proporcionar historias complementarias estructuradas (~20-30 min).
   • Los clínicos revisarán las historias generadas por LUMEN para evaluar su integridad y utilidad clínica.

3. Evaluación de usabilidad y carga cognitiva:

   • SUS (System Usability Scale): Cuestionario de 10 ítems en escala Likert que evalúa la facilidad de uso (puntuación ≥70 = buena usabilidad).
   • NASA-TLX (Task Load Index): Evalúa la carga cognitiva percibida (puntuaciones 0-29 = baja carga).

4. Evaluación cualitativa:

   • Entrevistas semiestructuradas (n=10 cuidadores, n=4-5 clínicos).
   • Talleres de coproducción con grupos comunitarios para explorar lenguaje, representación cultural y accesibilidad.

5. Análisis exploratorio:

   • Fiabilidad interevaluador (coeficiente Kappa de Cohen): Concordancia entre los resultados de LUMEN y las evaluaciones clínicas.
   • Precisión diagnóstica (análisis de curva AUROC): Comparación de las evaluaciones de LUMEN con los diagnósticos clínicos.

5. Hitos y cronogramas

El estudio se ejecutará durante 12 meses (abril 2025 - abril 2026), con fases clave de la siguiente manera:

Fase Mes Actividades Preparación y Ética 1-3 Aprobación final de IRAS, aprobaciones de I+D del NHS, configuración del equipo Reclutamiento y Recogida de Datos 4-9 Reclutamiento de díadas paciente-cuidador, reclutamiento de clínicos, pruebas de LUMEN Talleres de Usabilidad 6-8 Talleres de coproducción, entrevistas cualitativas Análisis de Datos y Refinamiento 9-10 Análisis temático, puntuación SUS/NASA-TLX, refinamientos de LLM Informe Final y Próximos Pasos 11-12 Diseminación, preparación de subvención para estudio de validación a gran escala 6. Impacto esperado Este estudio generará datos críticos de viabilidad para informar un estudio de validación clínica más amplio y la posterior integración en el NHS. Los resultados esperados incluyen:

• Un prototipo refinado y codesarrollado de LUMEN con mejor usabilidad y accesibilidad.
• Evidencia cuantitativa sobre usabilidad y carga cognitiva, respaldando futuras solicitudes de financiación.
• Ideas preliminares sobre la toma de historias complementarias asistida por IA, sentando las bases para la aprobación regulatoria como Software como Dispositivo Médico (SaMD).
• Potencial para una adopción temprana en el NHS bajo el marco de la MHRA, optimizando el diagnóstico de demencia.