Multimodal dyplæring for diagnostisering og vurdering av Alzheimers sykdom

Vårt mål er å gjøre tidlig diagnose og vurdering av AD og MCI basert på multimodal dyp læring. I utgangspunktet er gangforstyrrelse, ansiktsuttrykksidentifikasjonsdysfunksjon og tale- og språkvansker av stor betydning for forekomst og utvikling av AD og MCI. På grunn av den høye kompleksiteten og snikheten til disse kliniske symptomene er det imidlertid ikke gjort noen ensartede konklusjoner. Derfor prøver vi å bruke maskinlæringsmetoder for å gjenkjenne video- og lydinformasjonen. På denne måten vil vi utforske de skiftende egenskapene til gang, uttrykk og språk i AD og MCI, og analysere deres diagnostiske effektivitet som diagnostiske markører, og til slutt gi nye ideer og eksperimentelle data for diagnostisering av AD og MCI. For det andre må multimodal medisinsk informasjon integreres og analyseres omfattende. Vi tar sikte på å foreslå en optimal diagnostisk strategi som refererer til de ulike gradene av avhengighet av multimodal medisinsk informasjon i diagnostisering. Ved å observere endringene i multimodal medisinsk informasjon med utviklingen av AD og MCI, forventer vi dessuten å bygge en prediksjonsmodell for AD-diagnose og prognose.

Metodene er som følger:

1. Innsamling av multimodal medisinsk informasjon En rekke multimodal medisinsk informasjon vil bli samlet inn nøye, inkludert grunnlinje demografiske data, hovedklage og medisinsk historie, vurdering av perifere organfunksjon, laboratorieundersøkelse, bildeundersøkelse, nevroelektrofysiologisk undersøkelse, nevrokognitiv og psykologisk undersøkelse, informasjon om gang, uttrykk. , og språk, og biologiske prøver, etc.

2. Å avsløre endringene i gang, uttrykk og språk hos pasienter med AD og MCI, og verifisere deres diagnostiske effekt.

   For multimodal medisinsk informasjon om gange, ble OpenPose-modellen brukt til å trekke ut menneskelige nøkkelpunkter og konstruere et menneskelig skjelettstrukturdiagram. Basert på grafiske nevrale nettverk og konvolusjonelle nevrale nettverk, utføres øyeblikkelig handlingsanalyse av enkeltbildebilder. Og deretter ved å bruke Transformer-modellen, utføres gangsekvensanalyse ved å integrere multi-frame video. For multimodal medisinsk informasjon om ansiktsuttrykk, vil Dlib-algoritmen bli brukt til å trekke ut ansiktsnøkkelpunkter, kombinert med ansiktsuttrykksbilder, og den spatiotemporale transformatoren modell vil bli brukt til ansiktsuttrykksanalyse. For multimodal medisinsk informasjon om språk, vil ASRT-modellen bli brukt for talegjenkjenning og utvinning av tekstinnhold. Samtidig vil frekvensdomenet Fourier-transformasjon og wavelet-transformasjon brukes for å trekke ut frekvensdomeneinformasjon og analysere talefunksjonene ved å integrere språkinnhold, stemmeintonasjon, talehastighet og annen informasjon. Basert på oppmerksomhetsmodellen, vil gang-, uttrykks- og språkanalyseresultatene til AD og MCI sammenlignes med resultatene til kontrollgruppen for å avsløre egenskapene til AD og MCI og gi bevis for sykdomsdiagnose.

3. Analysere de ulike gradene av avhengighet av multimodal informasjon ved diagnostisering av AD- og MCI-sykdommer, og etablere en optimal diagnosestrategi I den veiledede læringsprosessen vil den oppmerksomhetsmekanismebaserte metoden bli brukt for å analysere påvirkningen av multimodal informasjon på de endelige resultatene. . Samtidig vil pasientens biokjemiske blodindikatorer, genomisk informasjon og andre kunnskapsfelt bli lagt til modellen basert på kunnskapskartet. Basert på Bayesiansk sannsynlighetsinferens og kausal inferensteori, vil kausal programmeringsmetoden bli brukt til å modellere årsaksanalysen av informasjon og diagnoseresultater for ulike moduser. Basert på AutoML-metoden vil multimodal informasjon kombineres og optimaliseres, og en pålitelig optimal diagnosestrategi vil bli etablert i henhold til eksperimentelle resultater.
4. Utforske endringene av multimodal medisinsk informasjon med utviklingen av sykdommen, og bygge en prediksjonsmodell for tidlig diagnose og sykdomsprogresjon av AD.

Ved å se på multimodal medisinsk informasjon som kontrollbetingelsen, vil Transformer-modellen bli brukt til å modellere tidssekvensinformasjon, og den betingede diffusjonsmodellen vil bli brukt til å generere pasienters MR-bildeendringer og annen sykdomsprogresjonsrelatert informasjon, som gir grunnlaget for sykdomsprogresjon. forutsigelse. Basert på den store multimodale modellteknologien, vil resultatet av modellen bli forstyrret og justert med henvisning til vurdering og beskrivelse av profesjonelle leger, for å generere prediksjonen i tråd med skjønn fra profesjonelle leger, og til slutt konstruere den tolkbare tidlige diagnosen og prediksjonsmodell for sykdomsprogresjon.