Multimodaal diep leren voor de diagnose en beoordeling van de ziekte van Alzheimer

Ons doel is om de vroege diagnose en beoordeling van AD en MCI te maken op basis van multimodaal diep leren. In eerste instantie zijn loopstoornissen, disfunctie van de identificatie van gezichtsuitdrukkingen en spraak- en taalstoornissen van groot belang bij het optreden en de ontwikkeling van AD en MCI. Vanwege de hoge complexiteit en heimelijkheid van deze klinische symptomen zijn er echter geen uniforme conclusies getrokken. Daarom proberen we machine learning-methoden toe te passen om de video- en audio-informatie te herkennen. Op deze manier zullen we de veranderende kenmerken van gang, expressie en taal bij AD en MCI onderzoeken, en hun diagnostische effectiviteit als diagnostische markers analyseren, en uiteindelijk nieuwe ideeën en experimentele gegevens opleveren voor de diagnose van AD en MCI. Ten tweede moet multimodale medische informatie worden geïntegreerd en uitgebreid geanalyseerd. We streven ernaar een optimale diagnostische strategie voor te stellen die verwijst naar de verschillende mate van afhankelijkheid van multimodale medische informatie bij de diagnose. Bovendien verwachten we, door de veranderingen in multimodale medische informatie te observeren met de voortgang van AD en MCI, een voorspellend model voor de diagnose en prognose van AD te bouwen.

De methoden zijn als volgt:

1. Verzamelen van multimodale medische informatie Een verscheidenheid aan multimodale medische informatie zou zorgvuldig worden verzameld, waaronder demografische basisgegevens, de belangrijkste klacht en de medische geschiedenis, beoordeling van de perifere orgaanfunctie, laboratoriumonderzoek, beeldvormend onderzoek, neuro-elektrofysiologisch onderzoek, neurocognitief en psychologisch onderzoek, informatie over het lopen, expressie , en taal, en biologische monsters, enz.

2. Het onthullen van de veranderingen in gang, expressie en taal bij patiënten met AD en MCI, en het verifiëren van hun diagnostische werkzaamheid.

   Voor multimodale medische informatie over het lopen werd het OpenPose-model gebruikt om menselijke sleutelpunten te extraheren en een menselijk skeletstructuurdiagram te construeren. Op basis van grafische neurale netwerken en convolutionele neurale netwerken wordt een onmiddellijke actieanalyse van single-frame beelden uitgevoerd. En vervolgens met behulp van het Transformer-model wordt loopsequentieanalyse uitgevoerd door multi-frame video te integreren. Voor multimodale medische informatie over gezichtsuitdrukking zal het Dlib-algoritme worden gebruikt om gezichtssleutelpunten te extraheren, gecombineerd met gezichtsuitdrukkingsbeelden, en de spatiotemporele Transformer model zal worden gebruikt voor gezichtsuitdrukkingsanalyse. Voor multimodale medische informatie over taal zal het ASRT-model worden gebruikt voor spraakherkenning en extractie van tekstinhoud. Tegelijkertijd zullen de Fourier-transformatie en wavelet-transformatie in het frequentiedomein worden toegepast om informatie uit het frequentiedomein te extraheren en de spraakkenmerken te analyseren door taalinhoud, stemintonatie, spraaksnelheid en andere informatie te integreren. Op basis van het aandachtsmodel zullen de loop-, expressie- en taalanalyseresultaten van AD en MCI worden vergeleken met die van de controlegroep om de kenmerken van AD en MCI te onthullen en bewijs te leveren voor de diagnose van de ziekte.

3. Analyseren van de verschillende mate van afhankelijkheid van multimodale informatie bij de diagnose van AD- en MCI-ziekten, en vaststellen van een optimale diagnosestrategie. In het begeleide leerproces zal de op aandachtsmechanisme gebaseerde methode worden gebruikt om de invloed van multimodale informatie op de uiteindelijke resultaten te analyseren . Tegelijkertijd zouden op basis van de kenniskaart de biochemische bloedindicatoren van de patiënt, genomische informatie en andere kennisgebieden aan het model worden toegevoegd. Gebaseerd op Bayesiaanse waarschijnlijkheidsinferentie en causale inferentietheorie, zal de causale programmeringsmethode worden gebruikt om de causale analyse van informatie en diagnoseresultaten van verschillende modi te modelleren. Op basis van de AutoML-methode zal multimodale informatie worden gecombineerd en geoptimaliseerd, en zal een betrouwbare optimale diagnosestrategie worden opgesteld op basis van experimentele resultaten.
4. Het onderzoeken van de veranderingen van multimodale medische informatie met de progressie van de ziekte, en het bouwen van een voorspellend model voor vroege diagnose en ziekteprogressie van AD.

Door multimodale medische informatie als de controleconditie te beschouwen, zal het Transformer-model worden gebruikt om tijdsequentie-informatie te modelleren, en zal het conditionele diffusiemodel worden gebruikt om MRI-beeldveranderingen van patiënten en andere ziekteprogressiegerelateerde informatie te genereren, die de basis vormen voor ziekteprogressie. voorspelling. Gebaseerd op de grote multimodale modeltechnologie zal de output van het model worden verstoord en aangepast, verwijzend naar het oordeel en de beschrijving van professionele artsen, om de voorspelling te genereren in overeenstemming met het oordeel van professionele artsen, en uiteindelijk de interpreteerbare vroege diagnose te construeren en voorspellingsmodel voor ziekteprogressie.