Multimodal Deep Learning til diagnosticering og vurdering af Alzheimers sygdom

Vores mål er at foretage en tidlig diagnose og vurdering af AD og MCI baseret på multimodal dyb læring. Indledningsvis er gangforstyrrelser, ansigtsudtryksidentifikationsdysfunktion og tale- og sprogsvækkelse af stor betydning for forekomsten og udviklingen af ​​AD og MCI. På grund af disse kliniske symptomers høje kompleksitet og skjulte karakter er der imidlertid ikke draget ensartede konklusioner. Derfor forsøger vi at anvende maskinlæringsmetoder til at genkende video- og lydinformationen. På denne måde vil vi udforske de skiftende karakteristika for gang, udtryk og sprog i AD og MCI, og analysere deres diagnostiske effektivitet som diagnostiske markører, og endelig give nye ideer og eksperimentelle data til diagnosticering af AD og MCI. For det andet skal multimodal medicinsk information integreres og analyseres grundigt. Vi sigter mod at foreslå en optimal diagnostisk strategi, der henviser til de forskellige grader af afhængighed af multimodal medicinsk information i diagnosticering. Derudover forventer vi at opbygge en forudsigelsesmodel for AD-diagnose og prognose, idet vi observerer ændringerne i multimodal medicinsk information med udviklingen af ​​AD og MCI.

Metoderne er som følger:

1. Indsamling af multimodal medicinsk information En række multimodale medicinske oplysninger vil blive indsamlet omhyggeligt, herunder demografiske basisdata, hovedklage og sygehistorie, vurdering af perifere organfunktion, laboratorieundersøgelse, billeddiagnostisk undersøgelse, neuroelektrofysiologisk undersøgelse, neurokognitiv og psykologisk undersøgelse, information om gang, udtryk , og sprog, og biologiske prøver mv.

2. Afsløring af ændringer i gang, udtryk og sprog hos patienter med AD og MCI, og verificering af deres diagnostiske effektivitet.

   Til multimodal medicinsk information om gang blev OpenPose-modellen brugt til at udtrække menneskelige nøglepunkter og konstruere et menneskeligt skeletstrukturdiagram. Baseret på grafiske neurale netværk og konvolutionelle neurale netværk udføres øjeblikkelig handlingsanalyse af enkeltbilleder. Og ved at bruge Transformer-modellen udføres gangsekvensanalyse ved at integrere multi-frame video. For multimodal medicinsk information om ansigtsudtryk vil Dlib-algoritmen blive brugt til at udtrække ansigtets nøglepunkter, kombineret med ansigtsudtryksbilleder og den spatiotemporale transformer model vil blive brugt til ansigtsudtryksanalyse. Til multimodal medicinsk information om sprog vil ASRT-modellen blive brugt til talegenkendelse og udtræk af tekstindhold. Samtidig vil frekvensdomænet Fourier-transformation og wavelet-transformation blive anvendt til at udtrække frekvensdomæneinformation og analysere taleegenskaberne ved at integrere sprogindhold, stemmeintonation, talehastighed og anden information. Baseret på opmærksomhedsmodellen vil gang-, udtryks- og sproganalyseresultaterne af AD og MCI blive sammenlignet med resultaterne fra kontrolgruppen for at afsløre kendetegnene ved AD og MCI og give bevis for sygdomsdiagnose.

3. Analyse af de forskellige grader af afhængighed af multimodal information i diagnosticering af AD- og MCI-sygdomme, og etablering af en optimal diagnosestrategi I den superviserede læringsproces vil den opmærksomhedsmekanisme-baserede metode blive brugt til at analysere multimodal informations indflydelse på de endelige resultater . Samtidig vil man med udgangspunkt i videnskortet tilføje patientens biokemiske blodindikatorer, genomisk information og andre vidensområder til modellen. Baseret på Bayesiansk sandsynlighedsinferens og kausal inferens teori, vil kausal programmeringsmetoden blive brugt til at modellere den kausale analyse af information og diagnoseresultater af forskellige tilstande. Baseret på AutoML-metoden vil multimodal information blive kombineret og optimeret, og en pålidelig optimal diagnosestrategi vil blive etableret i henhold til eksperimentelle resultater.
4. Udforske ændringerne af multimodal medicinsk information med udviklingen af ​​sygdommen, og opbygge en forudsigelsesmodel for tidlig diagnose og sygdomsprogression af AD.

Ved at se multimodal medicinsk information som kontrolbetingelsen, vil Transformer-modellen blive brugt til at modellere tidssekvensinformation, og den betingede diffusionsmodel vil blive brugt til at generere patienters MR-billedændringer og anden sygdomsprogressionsrelateret information, der danner grundlaget for sygdomsprogression forudsigelse. Baseret på den store multimodale modelteknologi vil modellens output blive forstyrret og justeret med henvisning til professionelle lægers vurdering og beskrivelse, for at generere forudsigelsen i overensstemmelse med professionelle lægers vurdering og til sidst konstruere den fortolkbare tidlige diagnose og forudsigelsesmodel for sygdomsprogression.