Multimodaalista syväoppimista Alzheimerin taudin diagnosointiin ja arviointiin

Tavoitteenamme on tehdä AD:n ja MCI:n varhainen diagnoosi ja arviointi multimodaalisen syväoppimisen pohjalta. Aluksi kävelyhäiriöt, ilmeiden tunnistushäiriöt sekä puheen ja kielen heikkeneminen ovat erittäin tärkeitä AD:n ja MCI:n esiintymisessä ja kehittymisessä. Näiden kliinisten oireiden monimutkaisuuden ja vaikeuden vuoksi ei kuitenkaan ole tehty yhtenäisiä johtopäätöksiä. Siksi yritämme soveltaa koneoppimismenetelmiä video- ja äänitietojen tunnistamiseen. Tällä tavalla tutkimme AD:n ja MCI:n kävelyn, ilmeen ja kielen muuttuvia ominaisuuksia ja analysoimme niiden diagnostista tehokkuutta diagnostisina markkereina. Lopulta tarjoamme uusia ideoita ja kokeellista tietoa AD- ja MCI-diagnoosista. Toiseksi multimodaalinen lääketieteellinen tieto on integroitava ja analysoitava kattavasti. Pyrimme ehdottamaan optimaalista diagnostiikkastrategiaa, jossa viitataan erilaisiin riippuvuuksiin multimodaalisista lääketieteellisistä tiedoista diagnoosissa. Lisäksi tarkkailemalla muutoksia multimodaalisessa lääketieteellisessä tiedossa AD:n ja MCI:n etenemisen myötä odotamme rakentavamme ennustavan mallin AD-diagnoosista ja -ennusteesta.

Menetelmät ovat seuraavat:

1. Multimodaalisen lääketieteellisen tiedon kerääminen Monimuotoista multimodaalista lääketieteellistä tietoa kerättäisiin huolellisesti, mukaan lukien demografiset perustiedot, päävalitus ja sairaushistoria, perifeeristen elinten toiminnan arviointi, laboratoriotutkimus, kuvantamistutkimus, neuroelektrofysiologinen tutkimus, neurokognitiivinen ja psykologinen tutkimus, tiedot kävelystä, ilmeestä , ja kieli, ja biologiset näytteet jne.

2. Paljastaa AD- ja MCI-potilaiden kävelyn, ilmeen ja kielen muutokset ja varmistaa heidän diagnostisen tehonsa.

   Multimodaalisen lääketieteellisen tiedon saamiseksi kävelystä OpenPose-mallia käytettiin ihmisen avainpisteiden poimimiseen ja ihmisen luurankorakenteen kaavion luomiseen. Graafisten hermoverkkojen ja konvoluutiohermoverkkojen pohjalta suoritetaan yhden kehyksen kuvien välitön toimintaanalyysi. Ja sitten käyttämällä Transformer-mallia, kävelysekvenssianalyysi suoritetaan integroimalla monikehysvideo. Multimodaalista lääketieteellistä tietoa varten kasvojen ilmeistä Dlib-algoritmia käytetään kasvojen avainpisteiden poimimiseen yhdistettynä kasvojen ilmekuviin ja spatiotemporaaliseen muuntajaan. mallia käytetään ilmeanalyysiin. Multimodaalisen kielen lääketieteellisen tiedon saamiseksi ASRT-mallia käytetään puheentunnistukseen ja tekstisisällön poimimiseen. Samanaikaisesti taajuustason Fourier-muunnoksia ja aallokemuunnoksia käytetään poimimaan taajuusalueen tietoja ja analysoimaan puheen ominaisuuksia integroimalla kielisisältöä, äänen intonaatiota, puheen nopeutta ja muuta tietoa. Tarkkailumallin perusteella AD:n ja MCI:n kävely-, ilme- ja kielianalyysituloksia verrataan kontrolliryhmän tuloksiin AD:n ja MCI:n piirteiden paljastamiseksi ja todisteiden saamiseksi sairauden diagnoosista.

3. Multimodaalisen tiedon eri riippuvuusasteiden analysointi AD- ja MCI-sairauksien diagnosoinnissa ja optimaalisen diagnoosistrategian laatiminen Ohjatussa oppimisprosessissa huomiomekanismiin perustuvalla menetelmällä analysoidaan multimodaalisen tiedon vaikutusta lopputuloksiin. . Samalla malliin lisättäisiin tietokartan perusteella potilaan veren biokemialliset indikaattorit, genomitieto ja muut tietoalueet. Bayesilaisen todennäköisyyspäätelmän ja kausaalipäätelmäteorian pohjalta kausaaliohjelmointimenetelmällä mallinnetaan eri moodien tiedon kausaalianalyysiä ja diagnoosituloksia. AutoML-menetelmän perusteella yhdistetään ja optimoidaan multimodaalista tietoa ja luodaan luotettava optimaalinen diagnoosistrategia koetulosten perusteella.
4. Tutkitaan multimodaalisen lääketieteellisen tiedon muutoksia taudin etenemisen myötä ja rakennetaan ennustemalli AD:n varhaiselle diagnoosille ja taudin etenemiselle.

Kun tarkastellaan multimodaalista lääketieteellistä tietoa kontrollitilanteena, Transformer-mallia käytetään mallintamaan aikasekvenssitietoja ja ehdollisen diffuusiomallin avulla luodaan potilaiden MRI-kuvan muutoksia ja muuta sairauden etenemiseen liittyvää tietoa, joka tarjoaa perustan taudin etenemiselle. ennustus. Suuren multimodaalisen mallin teknologian pohjalta mallin tuottoa häiritään ja säädetään ammattilääkäreiden arvioon ja kuvaukseen perustuen, luodaan ammattilääkäreiden arvion mukainen ennuste ja lopuksi rakennetaan tulkittava varhainen diagnoosi ja taudin etenemisen ennustemalli.