Мультимодальное глубокое обучение для диагностики и оценки болезни Альцгеймера

Наша цель — провести раннюю диагностику и оценку AD и MCI на основе мультимодального глубокого обучения. На начальном этапе большое значение в возникновении и развитии БА и МРН имеют нарушение походки, дисфункция распознавания мимики лица, нарушения речи и языка. Однако из-за высокой сложности и скрытности этих клинических симптомов единых выводов сделано не было. Следовательно, мы пытаемся применить методы машинного обучения для распознавания видео и аудио информации. Таким образом, мы будем изучать изменяющиеся характеристики походки, выражения лица и языка при AD и MCI и анализировать их диагностическую эффективность в качестве диагностических маркеров, наконец, предоставляя новые идеи и экспериментальные данные для диагностики AD и MCI. Во-вторых, мультимодальную медицинскую информацию необходимо интегрировать и всесторонне анализировать. Мы стремимся предложить оптимальную диагностическую стратегию, учитывая различные степени зависимости от мультимодальной медицинской информации в диагностике. Более того, наблюдая за изменениями в мультимодальной медицинской информации по мере развития БА и МРН, мы ожидаем построить прогностическую модель диагностики и прогноза БА.

Методы следующие:

1. Сбор мультимодальной медицинской информации Будет тщательно собрана разнообразная мультимодальная медицинская информация, включая исходные демографические данные, основные жалобы и историю болезни, оценку функции периферических органов, лабораторное обследование, визуализирующее обследование, нейроэлектрофизиологическое обследование, нейрокогнитивное и психологическое обследование, информацию о походке, выражении лица. , и язык, и биологические образцы и т.д.

2. Выявление изменений походки, мимики и языка у пациентов с АД и МКИ и проверка их диагностической эффективности.

   Для получения мультимодальной медицинской информации о походке использовалась модель OpenPose для извлечения ключевых точек человека и построения диаграммы структуры скелета человека. На основе графовых нейронных сетей и сверточных нейронных сетей осуществляется анализ мгновенных действий однокадровых изображений. Затем с использованием модели Transformer выполняется анализ последовательности походки путем интеграции многокадрового видео. Для получения мультимодальной медицинской информации о выражении лица будет использоваться алгоритм Dlib для извлечения ключевых точек лица в сочетании с изображениями выражения лица и пространственно-временным преобразователем. Модель будет использоваться для анализа выражения лица. Для мультимодальной медицинской информации о языке будет использоваться модель ASRT для распознавания речи и извлечения текстового контента. Одновременно будут применяться преобразование Фурье в частотной области и вейвлет-преобразование для извлечения информации о частотной области и анализа особенностей речи путем интеграции языкового содержания, интонации голоса, скорости речи и другой информации. На основе модели внимания результаты анализа походки, выражения и языка пациентов с AD и MCI будут сравниваться с результатами контрольной группы, чтобы выявить особенности AD и MCI и предоставить доказательства для диагностики заболевания.

3. Анализ различных степеней зависимости от мультимодальной информации при диагностике заболеваний AD и MCI и установление оптимальной стратегии диагностики. В контролируемом процессе обучения будет использоваться метод, основанный на механизме внимания, для анализа влияния мультимодальной информации на конечные результаты. . При этом на основе карты знаний в модель будут добавлены биохимические показатели крови пациента, геномная информация и другие области знаний. На основе байесовского вероятностного вывода и теории причинного вывода метод причинного программирования будет использоваться для моделирования причинного анализа информации и результатов диагностики различных режимов. На основе метода AutoML мультимодальная информация будет объединена и оптимизирована, а на основе экспериментальных результатов будет установлена ​​надежная оптимальная стратегия диагностики.
4. Изучение изменений мультимодальной медицинской информации по мере прогрессирования заболевания и построение модели прогнозирования для ранней диагностики и прогрессирования болезни Альцгеймера.

Рассматривая мультимодальную медицинскую информацию как условие контроля, модель Transformer будет использоваться для моделирования информации о временной последовательности, а модель условной диффузии будет использоваться для генерации изменений изображений МРТ пациентов и другой информации, связанной с прогрессированием заболевания, обеспечивая основу для прогрессирования заболевания. прогноз. На основе технологии большой мультимодальной модели выходные данные модели будут подвергаться вмешательству и корректировке с учетом суждений и описаний профессиональных врачей, чтобы сгенерировать прогноз в соответствии с суждениями профессиональных врачей и, наконец, построить интерпретируемый ранний диагноз и Модель прогнозирования прогрессирования заболевания.