Aprendizaje profundo multimodal para el diagnóstico y evaluación de la enfermedad de Alzheimer

Nuestro objetivo es realizar el diagnóstico y evaluación precoz de la EA y el DCL basándose en el aprendizaje profundo multimodal. Inicialmente, el trastorno de la marcha, la disfunción de la identificación de la expresión facial y la alteración del habla y el lenguaje son de gran importancia en la aparición y el desarrollo de la EA y el deterioro cognitivo leve. Sin embargo, debido a la gran complejidad y sigilo de estos síntomas clínicos, no se han llegado a conclusiones uniformes. Por lo tanto, intentamos aplicar métodos de aprendizaje automático para reconocer la información de video y audio. De esta forma, exploraremos las características cambiantes de la marcha, la expresión y el lenguaje en la EA y el DCL, y analizaremos su eficacia diagnóstica como marcadores diagnósticos, aportando finalmente nuevas ideas y datos experimentales para el diagnóstico de la EA y el DCL. En segundo lugar, es necesario integrar y analizar exhaustivamente la información médica multimodal. Nuestro objetivo es proponer una estrategia diagnóstica óptima teniendo en cuenta los diferentes grados de dependencia de la información médica multimodal en el diagnóstico. Además, al observar los cambios en la información médica multimodal con el progreso de la EA y el deterioro cognitivo leve, esperamos construir un modelo de predicción del diagnóstico y pronóstico de la EA.

Los métodos son los siguientes:

1. Recopilación de información médica multimodal Se recopilaría cuidadosamente una variedad de información médica multimodal, incluidos los datos demográficos de referencia, el principal síntoma y el historial médico, la evaluación de la función de los órganos periféricos, los exámenes de laboratorio, los exámenes de imágenes, los exámenes neuroelectrofisiológicos, los exámenes neurocognitivos y psicológicos, la información sobre la marcha y la expresión. , y lenguaje, y muestras biológicas, etc.

2. Revelar los cambios de la marcha, expresión y lenguaje en pacientes con EA y DCL, y verificar su eficacia diagnóstica.

   Para obtener información médica multimodal sobre la marcha, se utilizó el modelo OpenPose para extraer puntos clave humanos y construir un diagrama de estructura del esqueleto humano. Sobre la base de redes neuronales gráficas y redes neuronales convolucionales, se lleva a cabo un análisis de acción instantánea de imágenes de un solo cuadro. Y luego, utilizando el modelo Transformer, se lleva a cabo el análisis de la secuencia de la marcha integrando video de múltiples fotogramas. Para obtener información médica multimodal sobre la expresión facial, se utilizará el algoritmo Dlib para extraer puntos clave faciales, combinado con imágenes de expresión facial, y el Transformer espaciotemporal. El modelo se utilizará para el análisis de la expresión facial. Para información médica multimodal sobre lenguaje, se utilizará el modelo ASRT para el reconocimiento de voz y la extracción de contenido de texto. Simultáneamente, se aplicarán la transformada de Fourier en el dominio de la frecuencia y la transformada wavelet para extraer información en el dominio de la frecuencia y analizar las características del habla integrando el contenido del lenguaje, la entonación de la voz, la velocidad del habla y otra información. Según el modelo de atención, los resultados del análisis de la marcha, la expresión y el lenguaje de la EA y el deterioro cognitivo leve se compararán con los del grupo de control para revelar las características de la EA y el deterioro cognitivo leve y proporcionar evidencia para el diagnóstico de la enfermedad.

3. Analizar los diferentes grados de dependencia de la información multimodal en el diagnóstico de las enfermedades de EA y DCL, y establecer una estrategia de diagnóstico óptima. En el proceso de aprendizaje supervisado se utilizará el método basado en mecanismos de atención para analizar la influencia de la información multimodal en los resultados finales. . Al mismo tiempo, a partir del mapa de conocimiento, se agregarían al modelo los indicadores bioquímicos sanguíneos del paciente, información genómica y otros campos de conocimiento. Basado en la inferencia de probabilidad bayesiana y la teoría de la inferencia causal, el método de programación causal se utilizará para modelar el análisis causal de la información y los resultados del diagnóstico de diferentes modos. Basado en el método AutoML, se combinará y optimizará información multimodal, y se establecerá una estrategia de diagnóstico óptima confiable de acuerdo con los resultados experimentales.
4. Explorar los cambios de la información médica multimodal con la progresión de la enfermedad y construir un modelo de predicción para el diagnóstico temprano y la progresión de la enfermedad de EA.

Al considerar la información médica multimodal como condición de control, el modelo Transformer se usará para modelar información de secuencia temporal y el modelo de difusión condicional se usará para generar cambios en las imágenes de resonancia magnética de los pacientes y otra información relacionada con la progresión de la enfermedad, proporcionando la base para la progresión de la enfermedad. predicción. Basado en la tecnología de modelo multimodal grande, la salida del modelo será interferida y ajustada en referencia al juicio y descripción de los médicos profesionales, para generar la predicción de acuerdo con el juicio de los médicos profesionales y, finalmente, construir el diagnóstico temprano interpretable y Modelo de predicción de la progresión de la enfermedad.