Multimodální hluboké učení pro diagnostiku a hodnocení Alzheimerovy choroby

Naším cílem je provést včasnou diagnostiku a hodnocení AD a MCI na základě multimodálního hlubokého učení. Zpočátku mají velký význam pro výskyt a rozvoj AD a MCI porucha chůze, dysfunkce identifikace výrazu obličeje a poruchy řeči a řeči. Vzhledem k vysoké složitosti a tajnosti těchto klinických příznaků však nebyly učiněny žádné jednotné závěry. Proto se pokoušíme použít metody strojového učení k rozpoznání obrazových a zvukových informací. Tímto způsobem prozkoumáme měnící se charakteristiky chůze, výrazu a jazyka u AD a MCI a analyzujeme jejich diagnostickou účinnost jako diagnostických markerů, a nakonec poskytneme nové nápady a experimentální data pro diagnostiku AD a MCI. Za druhé, multimodální lékařské informace musí být integrovány a komplexně analyzovány. Naším cílem je navrhnout optimální diagnostickou strategii s ohledem na různé stupně závislosti na multimodální lékařské informaci v diagnostice. Kromě toho, pozorováním změn v multimodálních lékařských informacích s progresí AD a MCI očekáváme, že vytvoříme prediktivní model diagnózy a prognózy AD.

Metody jsou následující:

1. Shromažďování multimodálních lékařských informací Pečlivě by se shromažďovaly různé multimodální lékařské informace, včetně základních demografických údajů, hlavních potíží a anamnézy, hodnocení funkce periferních orgánů, laboratorní vyšetření, zobrazovací vyšetření, neuroelektrofyziologické vyšetření, neurokognitivní a psychologické vyšetření, informace o chůzi, výrazu a jazyk a biologické vzorky atd.

2. Odhalení změn chůze, výrazu a jazyka u pacientů s AD a MCI a ověření jejich diagnostické účinnosti.

   Pro multimodální lékařské informace o chůzi byl použit model OpenPose k extrakci lidských klíčových bodů a sestavení diagramu struktury lidské kostry. Na základě grafových neuronových sítí a konvolučních neuronových sítí je provedena okamžitá akční analýza jednosnímkových snímků. A poté s využitím modelu Transformer je provedena analýza sekvence chůze integrací vícesnímkového videa. Pro multimodální lékařské informace o výrazu obličeje bude použit algoritmus Dlib k extrakci klíčových bodů obličeje v kombinaci s obrázky výrazu obličeje a časoprostorový Transformer model bude použit pro analýzu výrazu obličeje. Pro multimodální lékařské informace o jazyce bude model ASRT použit pro rozpoznávání řeči a extrakci obsahu textu. Současně bude použita Fourierova transformace ve frekvenční doméně a vlnková transformace pro extrakci informací ve frekvenční oblasti a analýzu vlastností řeči integrací obsahu jazyka, intonace hlasu, rychlosti řeči a dalších informací. Na základě modelu pozornosti budou výsledky analýzy chůze, exprese a jazyka AD a MCI porovnány s výsledky kontrolní skupiny, aby se odhalily rysy AD a MCI a poskytly důkazy pro diagnostiku onemocnění.

3. Analýza různých stupňů závislosti na multimodálních informacích v diagnostice onemocnění AD a MCI a stanovení optimální diagnostické strategie V procesu učení pod dohledem bude k analýze vlivu multimodálních informací na konečné výsledky použita metoda založená na mechanismu pozornosti. . Zároveň by se na základě znalostní mapy do modelu přidaly biochemické ukazatele krve pacienta, genomické informace a další oblasti znalostí. Na základě bayesovské pravděpodobnostní inference a teorie kauzální inference bude metoda kauzálního programování použita k modelování kauzální analýzy informací a výsledků diagnostiky různých režimů. Na základě metody AutoML budou kombinovány a optimalizovány multimodální informace a na základě experimentálních výsledků bude stanovena spolehlivá optimální diagnostická strategie.
4. Zkoumání změn multimodálních lékařských informací s progresí onemocnění a vytvoření prediktivního modelu pro časnou diagnózu a progresi onemocnění AD.

Při zobrazení multimodálních lékařských informací jako kontrolního stavu bude model Transformer použit k modelování informací o časové posloupnosti a model podmíněné difúze bude použit ke generování změn MRI obrazu pacientů a dalších informací souvisejících s progresí onemocnění, které poskytují základ pro progresi onemocnění. předpověď. Na základě technologie velkého multimodálního modelu bude výstup modelu ovlivněn a upraven s ohledem na úsudek a popis profesionálních lékařů, aby se vytvořila předpověď v souladu s úsudkem profesionálních lékařů a nakonec se vytvořila interpretovatelná časná diagnóza a model predikce progrese onemocnění.