Apprentissage profond multimodal pour le diagnostic et l'évaluation de la maladie d'Alzheimer

Notre objectif est de réaliser un diagnostic et une évaluation précoces de la MA et du MCI sur la base d'un apprentissage profond multimodal. Initialement, les troubles de la marche, le dysfonctionnement de l'identification des expressions faciales et les troubles de la parole et du langage revêtent une grande importance dans l'apparition et le développement de la MA et du MCI. Cependant, en raison de la grande complexité et du caractère furtif de ces symptômes cliniques, aucune conclusion uniforme n’a été tirée. Par conséquent, nous essayons d’appliquer des méthodes d’apprentissage automatique pour reconnaître les informations vidéo et audio. De cette manière, nous explorerons les caractéristiques changeantes de la démarche, de l'expression et du langage dans la MA et le MCI, et analyserons leur efficacité diagnostique en tant que marqueurs diagnostiques, fournissant enfin de nouvelles idées et données expérimentales pour le diagnostic de la MA et du MCI. Deuxièmement, les informations médicales multimodales doivent être intégrées et analysées de manière exhaustive. Notre objectif est de proposer une stratégie diagnostique optimale faisant référence aux différents degrés de dépendance à l'information médicale multimodale dans le diagnostic. De plus, en observant les changements dans l'information médicale multimodale avec les progrès de la MA et du MCI, nous espérons construire un modèle prédictif du diagnostic et du pronostic de la MA.

Les méthodes sont les suivantes :

1. Collecte d'informations médicales multimodales Une variété d'informations médicales multimodales seraient soigneusement collectées, notamment les données démographiques de base, la plainte principale et les antécédents médicaux, l'évaluation de la fonction des organes périphériques, l'examen de laboratoire, l'examen d'imagerie, l'examen neuroélectrophysiologique, l'examen neurocognitif et psychologique, les informations sur la démarche, l'expression. , et la langue, et les échantillons biologiques, etc.

2. Révéler les changements de démarche, d'expression et de langage chez les patients atteints de MA et de MCI, et vérifier leur efficacité diagnostique.

   Pour les informations médicales multimodales sur la démarche, le modèle OpenPose a été utilisé pour extraire les points clés humains et construire un diagramme de structure du squelette humain. Sur la base de réseaux de neurones graphiques et de réseaux de neurones convolutifs, une analyse d'action instantanée d'images à image unique est effectuée. Ensuite, à l'aide du modèle Transformer, l'analyse de la séquence de démarche est effectuée en intégrant une vidéo multi-images. Pour les informations médicales multimodales sur l'expression faciale, l'algorithme Dlib sera utilisé pour extraire les points clés du visage, combinés avec des images d'expression faciale, et le Transformer spatio-temporel. Le modèle sera utilisé pour l'analyse des expressions faciales. Pour les informations médicales multimodales sur le langage, le modèle ASRT sera utilisé pour la reconnaissance vocale et l'extraction de contenu textuel. Simultanément, la transformée de Fourier dans le domaine fréquentiel et la transformée en ondelettes seront appliquées pour extraire des informations dans le domaine fréquentiel et analyser les caractéristiques de la parole en intégrant le contenu linguistique, l'intonation vocale, la vitesse de parole et d'autres informations. Sur la base du modèle d'attention, les résultats de l'analyse de la démarche, de l'expression et du langage de la MA et du MCI seront comparés à ceux du groupe témoin pour révéler les caractéristiques de la MA et du MCI et fournir des preuves du diagnostic de la maladie.

3. Analyser les différents degrés de dépendance à l'information multimodale dans le diagnostic des maladies MA et MCI, et établir une stratégie de diagnostic optimale. Dans le processus d'apprentissage supervisé, la méthode basée sur le mécanisme d'attention sera utilisée pour analyser l'influence de l'information multimodale sur les résultats finaux. . En même temps, sur la base de la carte des connaissances, les indicateurs biochimiques sanguins du patient, les informations génomiques et d'autres domaines de connaissances seraient ajoutés au modèle. Basée sur l'inférence de probabilité bayésienne et la théorie de l'inférence causale, la méthode de programmation causale sera utilisée pour modéliser l'analyse causale des informations et les résultats de diagnostic de différents modes. Sur la base de la méthode AutoML, les informations multimodales seront combinées et optimisées, et une stratégie de diagnostic optimale fiable sera établie en fonction des résultats expérimentaux.
4. Explorer les changements dans les informations médicales multimodales avec la progression de la maladie et construire un modèle de prédiction pour le diagnostic précoce et la progression de la MA.

En visualisant les informations médicales multimodales comme condition de contrôle, le modèle Transformer sera utilisé pour modéliser les informations de séquence temporelle, et le modèle de diffusion conditionnelle sera utilisé pour générer des changements d'image IRM des patients et d'autres informations liées à la progression de la maladie, fournissant ainsi la base de la progression de la maladie. prédiction. Sur la base de la grande technologie de modèle multimodal, la sortie du modèle sera interférée et ajustée en se référant au jugement et à la description des médecins professionnels, pour générer la prédiction conformément au jugement des médecins professionnels, et enfin construire le diagnostic précoce interprétable et modèle de prédiction de la progression de la maladie.