Aprendizado profundo multimodal para diagnóstico e avaliação da doença de Alzheimer

Nosso objetivo é fazer o diagnóstico e avaliação precoce da DA e do MCI com base no aprendizado profundo multimodal. Inicialmente, o distúrbio da marcha, a disfunção de identificação da expressão facial e o comprometimento da fala e da linguagem são de grande importância na ocorrência e no desenvolvimento da DA e do DCL. No entanto, devido à elevada complexidade e furtividade destes sintomas clínicos, não foram tiradas conclusões uniformes. Portanto, tentamos aplicar métodos de aprendizado de máquina para reconhecer as informações de vídeo e áudio. Desta forma, exploraremos as características mutáveis ​​da marcha, expressão e linguagem na DA e no MCI, e analisaremos a sua eficácia diagnóstica como marcadores diagnósticos, fornecendo finalmente novas ideias e dados experimentais para o diagnóstico da DA e do MCI. Em segundo lugar, a informação médica multimodal precisa de ser integrada e analisada de forma abrangente. Nosso objetivo é propor uma estratégia diagnóstica ideal referente aos diferentes graus de dependência da informação médica multimodal no diagnóstico. Além disso, observando as mudanças na informação médica multimodal com o progresso da DA e do MCI, esperamos construir um modelo de previsão do diagnóstico e prognóstico da DA.

Os métodos são os seguintes:

1. Coleta de informações médicas multimodais Uma variedade de informações médicas multimodais seriam cuidadosamente coletadas, incluindo dados demográficos iniciais, queixa principal e histórico médico, avaliação da função de órgãos periféricos, exame laboratorial, exame de imagem, exame neuroeletrofisiológico, exame neurocognitivo e psicológico, informações sobre marcha, expressão e linguagem e amostras biológicas, etc.

2. Revelar as alterações de marcha, expressão e linguagem em pacientes com DA e CCL e verificar sua eficácia diagnóstica.

   Para obter informações médicas multimodais sobre a marcha, o modelo OpenPose foi usado para extrair pontos-chave humanos e construir um diagrama da estrutura do esqueleto humano. Com base em redes neurais gráficas e redes neurais convolucionais, é realizada a análise de ação instantânea de imagens de quadro único. E então, utilizando o modelo Transformer, a análise da sequência da marcha é realizada integrando vídeo multiquadro. Para informações médicas multimodais sobre expressão facial, o algoritmo Dlib será usado para extrair pontos-chave faciais, combinados com imagens de expressão facial, e o transformador espaço-temporal modelo será usado para análise de expressão facial. Para informações médicas multimodais sobre linguagem, o modelo ASRT será utilizado para reconhecimento de fala e extração de conteúdo de texto. Simultaneamente, a transformada de Fourier no domínio da frequência e a transformada wavelet serão aplicadas para extrair informações no domínio da frequência e analisar as características da fala, integrando o conteúdo do idioma, a entonação da voz, a velocidade da fala e outras informações. Com base no modelo de atenção, os resultados da análise da marcha, expressão e linguagem da DA e do MCI serão comparados com os do grupo controle para revelar as características da DA e do MCI e fornecer evidências para o diagnóstico da doença.

3. Analisando os diferentes graus de dependência da informação multimodal no diagnóstico de doenças da DA e MCI e estabelecendo uma estratégia de diagnóstico ideal No processo de aprendizagem supervisionada, o método baseado no mecanismo de atenção será utilizado para analisar a influência da informação multimodal nos resultados finais . Ao mesmo tempo, com base no mapa de conhecimento, seriam acrescentados ao modelo os indicadores bioquímicos sanguíneos do paciente, informações genômicas e outras áreas do conhecimento. Com base na inferência de probabilidade bayesiana e na teoria da inferência causal, o método de programação causal será usado para modelar a análise causal de informações e resultados de diagnóstico de diferentes modos. Com base no método AutoML, as informações multimodais serão combinadas e otimizadas, e uma estratégia de diagnóstico ideal confiável será estabelecida de acordo com os resultados experimentais.
4. Explorar as mudanças da informação médica multimodal com a progressão da doença e construir um modelo de previsão para o diagnóstico precoce e progressão da doença da DA.

Vendo informações médicas multimodais como condição de controle, o modelo Transformer será usado para modelar informações de sequência temporal, e o modelo de difusão condicional será usado para gerar alterações nas imagens de ressonância magnética dos pacientes e outras informações relacionadas à progressão da doença, fornecendo a base para a progressão da doença predição. Com base na grande tecnologia do modelo multimodal, a saída do modelo será interferida e ajustada referente ao julgamento e descrição dos médicos profissionais, para gerar a previsão alinhada com o julgamento dos médicos profissionais e, finalmente, construir o diagnóstico precoce interpretável e modelo de previsão de progressão da doença.