Multimodalne głębokie uczenie się w diagnostyce i ocenie choroby Alzheimera

Naszym celem jest dokonanie wczesnej diagnozy i oceny AD i MCI w oparciu o multimodalne głębokie uczenie się. Początkowo duże znaczenie w występowaniu i rozwoju AD i MCI mają zaburzenia chodu, zaburzenia rozpoznawania wyrazu twarzy oraz zaburzenia mowy i języka. Jednak ze względu na dużą złożoność i niejawność tych objawów klinicznych nie wyciągnięto jednolitych wniosków. Dlatego staramy się zastosować metody uczenia maszynowego do rozpoznawania informacji wideo i audio. W ten sposób zbadamy zmieniające się cechy chodu, ekspresji i języka w AD i MCI oraz przeanalizujemy ich skuteczność diagnostyczną jako markerów diagnostycznych, ostatecznie dostarczając nowych pomysłów i danych eksperymentalnych do diagnozy AD i MCI. Po drugie, należy zintegrować i wszechstronnie przeanalizować multimodalne informacje medyczne. Naszym celem jest zaproponowanie optymalnej strategii diagnostycznej, uwzględniającej różne stopnie zależności w diagnostyce od multimodalnej informacji medycznej. Ponadto, obserwując zmiany w wielomodalnej informacji medycznej wraz z postępem AD i MCI, spodziewamy się zbudować model prognostyczny diagnostyki i rokowania AD.

Metody są następujące:

1. Zbieranie multimodalnych informacji medycznych. Gromadzone będą różnorodne multimodalne informacje medyczne, w tym podstawowe dane demograficzne, główne dolegliwości i historia choroby, ocena funkcji narządów obwodowych, badania laboratoryjne, badania obrazowe, badania neuroelektrofizjologiczne, badania neurokognitywne i psychologiczne, informacje na temat chodu, ekspresji. i język, próbki biologiczne itp.

2. Ujawnienie zmian chodu, ekspresji i języka u pacjentów z AZS i MCI oraz weryfikacja ich skuteczności diagnostycznej.

   W przypadku multimodalnych informacji medycznych na temat chodu wykorzystano model OpenPose w celu wyodrębnienia kluczowych punktów człowieka i skonstruowania diagramu struktury ludzkiego szkieletu. W oparciu o grafowe sieci neuronowe i splotowe sieci neuronowe przeprowadzana jest analiza natychmiastowego działania obrazów pojedynczych klatek. Następnie, wykorzystując model Transformera, przeprowadza się analizę sekwencji chodu poprzez integrację wieloklatkowego wideo. W przypadku multimodalnych informacji medycznych na temat wyrazu twarzy algorytm Dlib zostanie użyty do wyodrębnienia kluczowych punktów twarzy w połączeniu z obrazami wyrazu twarzy oraz Transformatorem czasoprzestrzennym model zostanie wykorzystany do analizy wyrazu twarzy. W przypadku multimodalnych informacji medycznych dotyczących języka, do rozpoznawania mowy i ekstrakcji treści tekstowej zostanie wykorzystany model ASRT. Jednocześnie transformata Fouriera w dziedzinie częstotliwości i transformata falkowa zostaną zastosowane w celu wyodrębnienia informacji w domenie częstotliwości i przeanalizowania cech mowy poprzez integrację treści językowej, intonacji głosu, szybkości mowy i innych informacji. W oparciu o model uwagi wyniki analizy chodu, ekspresji i języka w przypadku AD i MCI zostaną porównane z wynikami grupy kontrolnej, aby ujawnić cechy AD i MCI i dostarczyć dowodów na potrzeby diagnozy choroby.

3. Analiza różnych stopni zależności od informacji multimodalnych w diagnostyce chorób AZS i MCI oraz ustalenie optymalnej strategii diagnostycznej W procesie uczenia się pod nadzorem do analizy wpływu informacji multimodalnych na wyniki końcowe zostanie wykorzystana metoda oparta na mechanizmie uwagi . Jednocześnie na podstawie mapy wiedzy do modelu dodane zostaną wskaźniki biochemiczne krwi pacjenta, informacje genomiczne i inne dziedziny wiedzy. W oparciu o Bayesowskie wnioskowanie prawdopodobieństwa i teorię wnioskowania przyczynowego, metoda programowania przyczynowego zostanie wykorzystana do modelowania przyczynowej analizy informacji i wyników diagnozy różnych trybów. W oparciu o metodę AutoML informacje multimodalne zostaną połączone i zoptymalizowane, a na podstawie wyników eksperymentów zostanie ustalona niezawodna optymalna strategia diagnozy.
4. Badanie zmian multimodalnych informacji medycznych wraz z postępem choroby i zbudowanie modelu prognostycznego umożliwiającego wczesną diagnostykę i postęp choroby Alzheimera.

Traktując multimodalne informacje medyczne jako warunek kontrolny, model Transformera zostanie wykorzystany do modelowania informacji o sekwencji czasowej, a model dyfuzji warunkowej zostanie wykorzystany do wygenerowania zmian w obrazie MRI pacjentów i innych informacji związanych z postępem choroby, zapewniając podstawę do progresji choroby prognoza. W oparciu o technologię dużego modelu multimodalnego, wyniki modelu zostaną zakłócone i dostosowane w oparciu o ocenę i opis lekarzy zawodowych, aby wygenerować prognozy zgodne z oceną lekarzy zawodowych, a na koniec skonstruować interpretowalną wczesną diagnozę i model przewidywania postępu choroby.