Deep Learning multimodale per la diagnosi e la valutazione della malattia di Alzheimer

Il nostro obiettivo è effettuare la diagnosi precoce e la valutazione di AD e MCI sulla base del deep learning multimodale. Inizialmente, il disturbo dell'andatura, la disfunzione nell'identificazione dell'espressione facciale e il disturbo della parola e del linguaggio sono di grande importanza nell'insorgenza e nello sviluppo di AD e MCI. Tuttavia, a causa dell’elevata complessità e segretezza di questi sintomi clinici, non sono state tratte conclusioni uniformi. Pertanto, tentiamo di applicare metodi di apprendimento automatico per riconoscere le informazioni video e audio. In questo modo, esploreremo le mutevoli caratteristiche dell'andatura, dell'espressione e del linguaggio nell'AD e nel MCI e analizzeremo la loro efficacia diagnostica come marcatori diagnostici, fornendo infine nuove idee e dati sperimentali per la diagnosi di AD e MCI. In secondo luogo, le informazioni mediche multimodali devono essere integrate e analizzate in modo completo. Il nostro obiettivo è proporre una strategia diagnostica ottimale facendo riferimento ai diversi gradi di dipendenza dalle informazioni mediche multimodali nella diagnosi. Inoltre, osservando i cambiamenti nell'informazione medica multimodale con il progresso dell'AD e del MCI, ci aspettiamo di costruire un modello predittivo della diagnosi e della prognosi dell'AD.

I metodi sono i seguenti:

1. Raccolta di informazioni mediche multimodali Verrebbe raccolta attentamente una varietà di informazioni mediche multimodali, inclusi i dati demografici di base, il disturbo principale e l'anamnesi medica, la valutazione della funzionalità degli organi periferici, l'esame di laboratorio, l'esame per immagini, l'esame neuroelettrofisiologico, l'esame neurocognitivo e psicologico, le informazioni sull'andatura, l'espressione , e linguaggio, e campioni biologici, ecc.

2. Rivelare i cambiamenti dell’andatura, dell’espressione e del linguaggio nei pazienti con AD e MCI e verificarne l’efficacia diagnostica.

   Per informazioni mediche multimodali sull'andatura, è stato utilizzato il modello OpenPose per estrarre i punti chiave umani e costruire un diagramma della struttura dello scheletro umano. Sulla base delle reti neurali a grafo e delle reti neurali convoluzionali, viene eseguita l'analisi dell'azione istantanea delle immagini a fotogramma singolo. Quindi, utilizzando il modello Transformer, l'analisi della sequenza dell'andatura viene eseguita integrando video multi-frame. Per informazioni mediche multimodali sull'espressione facciale, l'algoritmo Dlib verrà utilizzato per estrarre i punti chiave del viso, combinati con immagini di espressione facciale e il Transformer spaziotemporale il modello verrà utilizzato per l'analisi dell'espressione facciale. Per le informazioni mediche multimodali sul linguaggio, verrà utilizzato il modello ASRT per il riconoscimento vocale e l'estrazione del contenuto testuale. Contemporaneamente, la trasformata di Fourier e la trasformata wavelet nel dominio della frequenza verranno applicate per estrarre informazioni nel dominio della frequenza e analizzare le caratteristiche del parlato integrando il contenuto linguistico, l'intonazione della voce, la velocità del parlato e altre informazioni. Sulla base del modello di attenzione, i risultati dell'analisi dell'andatura, dell'espressione e del linguaggio di AD e MCI verranno confrontati con quelli del gruppo di controllo per rivelare le caratteristiche di AD e MCI e fornire prove per la diagnosi della malattia.

3. Analizzare i diversi gradi di dipendenza dalle informazioni multimodali nella diagnosi delle malattie di AD e MCI e stabilire una strategia diagnostica ottimale Nel processo di apprendimento supervisionato, il metodo basato sul meccanismo di attenzione verrà utilizzato per analizzare l'influenza delle informazioni multimodali sui risultati finali . Allo stesso tempo, sulla base della mappa della conoscenza, al modello verrebbero aggiunti gli indicatori biochimici del sangue del paziente, le informazioni genomiche e altri campi della conoscenza. Basato sull'inferenza della probabilità bayesiana e sulla teoria dell'inferenza causale, il metodo di programmazione causale verrà utilizzato per modellare l'analisi causale delle informazioni e dei risultati diagnostici di diverse modalità. Sulla base del metodo AutoML, le informazioni multimodali verranno combinate e ottimizzate e verrà stabilita una strategia diagnostica ottimale affidabile in base ai risultati sperimentali.
4. Esplorare i cambiamenti delle informazioni mediche multimodali con la progressione della malattia e costruire un modello di previsione per la diagnosi precoce e la progressione della malattia dell'AD.

Considerando le informazioni mediche multimodali come condizione di controllo, il modello Transformer verrà utilizzato per modellare le informazioni sulla sequenza temporale e il modello di diffusione condizionale verrà utilizzato per generare cambiamenti nell'immagine MRI dei pazienti e altre informazioni relative alla progressione della malattia, fornendo la base per la progressione della malattia predizione. Basato sulla tecnologia del modello multimodale di grandi dimensioni, l'output del modello verrà interferito e adattato facendo riferimento al giudizio e alla descrizione dei medici professionisti, per generare la previsione in linea con il giudizio dei medici professionisti e infine costruire la diagnosi precoce interpretabile e modello di previsione della progressione della malattia.