알츠하이머병 진단 및 평가를 위한 다중 모드 딥 러닝

우리의 목표는 다중 모드 딥 러닝을 기반으로 AD 및 MCI의 조기 진단 및 평가를 수행하는 것입니다. 초기에는 보행 장애, 얼굴 표정 식별 장애, 말하기 및 언어 장애가 AD 및 MCI의 발생과 발달에 큰 의미를 갖습니다. 그러나 이러한 임상 증상은 매우 복잡하고 은밀하기 때문에 통일된 결론이 내려지지 않았습니다. 따라서 우리는 영상과 음성 정보를 인식하기 위해 기계학습 방법을 적용하려고 시도합니다. 이를 통해 AD와 MCI의 보행, 표현, 언어의 변화하는 특성을 탐색하고 진단 지표로서의 진단 유효성을 분석하여 최종적으로 AD 및 MCI 진단을 위한 새로운 아이디어와 실험 데이터를 제공할 것입니다. 둘째, 복합의료정보를 통합하고 종합적으로 분석해야 한다. 우리는 진단 시 다중 모드 의료 정보에 대한 다양한 의존도를 참조하여 최적의 진단 전략을 제안하는 것을 목표로 합니다. 또한, AD 및 MCI의 진행에 따른 복합의료정보의 변화를 관찰함으로써 AD 진단 및 예후 예측 모델을 구축할 수 있을 것으로 기대한다.

방법은 다음과 같습니다.

1. 다중 모드 의료 정보 수집 기본 인구 통계 데이터, 주요 증상 및 병력, 말초 기관 기능 평가, 실험실 검사, 영상 검사, 신경 전기 생리학 검사, 신경 인지 및 심리 검사, 보행 정보, 표현 등 다양한 다중 모드 의료 정보가 신중하게 수집됩니다. , 언어, 생물학적 샘플 등

2. AD 및 MCI 환자의 보행, 표정, 언어 변화를 규명하고 진단 유효성을 검증합니다.

   보행에 관한 다중모달 의료정보를 위해 OpenPose 모델을 이용하여 인체 핵심 포인트를 추출하고 인체 골격 구조도를 구축하였다. 그래프 신경망과 합성곱 신경망을 기반으로 단일 프레임 영상의 순간적인 동작 분석을 수행합니다. 그리고 Transformer 모델을 활용하여 멀티 프레임 영상을 통합하여 보행 순서 분석을 수행합니다. 얼굴 표정에 대한 멀티모달 의료 정보는 Dlib 알고리즘을 사용하여 얼굴 표정 이미지와 결합된 얼굴 핵심 포인트를 추출하고 시공간 Transformer를 사용합니다. 모델은 표정 분석에 사용됩니다. 언어에 대한 다중 모드 의료 정보의 경우 음성 인식 및 텍스트 콘텐츠 추출에 ASRT 모델이 사용됩니다. 동시에 주파수 영역 푸리에 변환 및 웨이블릿 변환을 적용하여 주파수 영역 정보를 추출하고 언어 내용, 음성 억양, 음성 속도 및 기타 정보를 통합하여 음성 특징을 분석합니다. 주의 모델을 기반으로 AD 및 MCI의 보행, 표정, 언어 분석 결과를 대조군과 비교하여 AD 및 MCI의 특징을 밝히고 질병 진단의 근거를 제공할 것입니다.

3. AD 및 MCI 질환 진단 시 다중 모드 정보에 대한 다양한 의존도를 분석하고 최적의 진단 전략 수립 지도 학습 과정에서 주의 메커니즘 기반 방법을 사용하여 다중 모드 정보가 최종 결과에 미치는 영향을 분석합니다. . 동시에 지식 맵을 기반으로 환자의 혈액 생화학적 지표, 게놈 정보 및 기타 지식 분야가 모델에 추가됩니다. 베이지안 확률 추론과 인과 추론 이론을 기반으로 인과 프로그래밍 방법을 사용하여 다양한 모드의 정보 및 진단 결과에 대한 인과 분석을 모델링합니다. AutoML 방식을 기반으로 다중모달 정보를 결합, 최적화하고, 실험 결과에 따라 신뢰성 있는 최적의 진단 전략을 수립하게 됩니다.
4. 질병의 진행에 따른 복합의료정보 변화를 탐색하고, 알츠하이머병의 조기 진단 및 질병 진행 예측 모델을 구축합니다.

다중모달 의료정보를 제어조건으로 보고 Transformer 모델을 이용하여 시간순서 정보를 모델링하고, 조건확산 모델을 이용하여 환자의 MRI 영상 변화 및 기타 질병 진행 관련 정보를 생성하여 질병 진행의 기초를 제공할 예정이다. 예측. 대형 멀티모달 모델 기술을 기반으로 전문의의 판단과 설명을 참고하여 모델의 출력을 간섭 및 조정하여 전문의의 판단에 맞춰 예측을 생성하고, 최종적으로 해석 가능한 조기 진단 및 진단 솔루션을 구축합니다. 질병 진행 예측 모델.