해석 가능한 안저 질환은 약한 표지를 기반으로 한 시스템 생성 시스템 보고서

1. 망막 질환의 진단에서 다중 모달 안저 영상을위한 AI 모델. AI 모델은 복합 안저 영상을 기반으로 다양한 망막 질환의 진단을 돕는 데 상당한 잠재력을 보여 주었다. 최근 몇 년 동안 AI는 안저 질병 영상 진단 분야에서 빠르게 발전했습니다. 고 진수 진단 모델은 정확하게 주석이 달린 단일 모달 이미지의 대규모 데이터 세트를 사용하여 개발할 수 있습니다. 임상의에게 초기 진단 인상을 제공하는 Fundus Photography는 널리 접근 할 수 있으며 간단한 이미징 장치 또는 모바일 장치를 사용하여 얻을 수 있습니다. 예를 들어, Cen et al. 39 개의 일반적인 망막 질환을 진단하기 위해 249,620 개의 펀더스 사진을 사용하여 딥 러닝 시스템을 훈련시켜 각 상태에 대해 90%를 초과하는 진단 정확도를 달성했습니다.

   그러나 Fundus Photography만으로는 질병 정보가 제한되어있어 유사한 증상으로 질병을 구별하기가 어려워집니다. 또한, 진단 정확도는 이미지 품질과 임상의 전문 지식을 기반으로하며, 이는 사례를 놓치거나 잘못 진단 할 수 있습니다.

   광학 일관성 단층 촬영 (OCT)은 망막 층의 3 차원 분석을 제공하여, 식성 및 하위 유체와 같은 병리의 심각성과 위치를 명확하게 보여줍니다. OCT는 망막 질환에 대한 표준 진단 및 감별 진단 도구가되었으며 연령 관련 황반 변성 및 당뇨병 성 황반 부종과 같은 조건의 정확한 치료 및 추적을 안내하는 데 필수적입니다. AI 지원 OCT 분석은 망막 질환의 추적 및 개인화 된 치료를 더욱 향상시킬 수 있습니다. 예를 들어, Fauw et al. 14,884 개의 OCT 이미지를 사용하여 10 개 이상의 망막 질환을 진단하고 병변의 위치를 ​​매핑합니다.

   망막 질환의 정확한 진단은 또한 동적 및 기능적 증거에 의존합니다. FFA (Fundus fluorescein angiography) 및 Indocyanine 녹색 혈관 조영술 (ICGA)은 병변의 혈관 기능의 위치, 특성 및 평가에 없어서는 안될 필수 요소입니다. 그러나, 혈관 조영상 이미지 해석의 복잡성으로 인해, FFA 및 ICGA 분석에서 AI의 적용은 최근에만 견인력을 얻었다.

   또한, 대부분의 경우 질병 병리를 포괄적으로 찾아서 분석하기 위해 OCT, Fundus Photography 및 혈관 조영술을 포함한 멀티 모달 영상이 필요합니다. 또한, 임상 데이터와 환자 병력을 통합하는 것은 정확한 진단에 중요합니다. 따라서, 임상의가 복잡한 망막 질환을 정확하게 진단하는 데 도움이되는 다중 모달 데이터를 통합 할 수있는 새로운 AI 모델을 개발해야 할 긴급한 필요성이 있습니다.

2. 복잡한 의료 보고서의 AI 지원 세대. 안저 영상의 복잡성과 전문화 된 특성은 이미지 해석을 어렵게 만들고, 정확한 보고서를 생성 할 수있는 임상의의 부족은 안과 의사의 작업량을 더욱 증가시키고 망막 질환의 조기 진단 및 치료를 방해합니다. AI 지원 보고서 생성은 이러한 과제를 해결할 가능성이 있습니다. 단순한 이미지 인식 및 분류와 비교하여 이미지에서 텍스트 해석을 생성하는 AI 모델을 개발하는 것이 더 복잡합니다. 기계가 이미지 콘텐츠에 대한 사람과 같은 이해를 모방해야하기 때문입니다. "Image-to-Text"모델에는 컴퓨터 비전 및 자연어 처리를 포함한 다양한 딥 러닝 알고리즘이 통합되어 있습니다. 초기 모델은 만족스러운 텍스트 생성을 달성하기 위해 수백만 개의 자연 이미지가 필요했는데, 이는 제한된 데이터 세트와 광범위한 텍스트 정보로 인해 의료 이미징에 비현실적입니다. 그러나, 포괄적 인 임상 데이터, 상세한 이미지 분석 및 경험을 기반으로 임상의가 생성 한 임상 보고서는 이러한 모델에 대한 고품질 교육 데이터 세트 역할을 할 수 있습니다.

   현재 상당한 연구 노력은 흉부 엑스레이, 흉부 CT 스캔 및 뇌 MRI와 같은 대규모 데이터 세트 및 표준화 된 보고서 형식의 영역에 중점을두고 있습니다. 널리 사용되는 보고서 생성 데이터베이스에는 Open-IU, MIMIC-CXR 및 PadChest가 포함되며 MIMIC-CXR은 270,000 개 이상의 흉부 방사선 사진 보고서를 포함합니다. 안과에서, 안저 영상 해석의 복잡성과 데이터 세트의 상대적으로 작은 규모로 인해이 분야의 연구는 특히 펀더스 혈관 조영술과 같은 고도로 전문화 된 이미징 방식에 대한 연구가 제한적입니다. 우리 팀은 혈관 조영술 이미지와 해당 보고서를 기반으로 FFA-IR (Fualdus Fluorescein 혈관 조영술 보고서 ​​생성 데이터 세트)을 성공적으로 개발했습니다. 우리의 보고서 생성 모델은 일반적이고 희귀 한 망막 질환에 대한 정확한 이중 언어 보고서 (중국어 및 영어)를 생성 할 수 있으며, 인간 망막 전문가와 비교할 수있는 반면, 보고서 생성 시간을 크게 줄일 수 있습니다.

3. 약한 주석 : 새로운 질병 진단 및 분류 모델을 훈련하기위한 유망한 접근 방식 의료 영상을위한 전통적인 AI 지원 진단 모델은 일반적으로 교육 데이터 세트의 정확도가 모델 성능에 중요하기 때문에 대규모, 정확하게 주석이 달린 고품질 이미지에 의존합니다. 높은 주석 정확도를 보장 할 수없는 경우 데이터 세트 크기를 증가시키는 것이 모델 성능을 향상시키는 유일한 방법입니다. 그러나 Fundus Angiograph 이미지와 같은 복잡한 데이터 세트의 경우 많은 수의 질병과 가변 증상이 기하 급수적으로 주석 난이도를 증가시킵니다. 또한 임상 보고서에는 불완전한 임상 데이터 또는 다양한 수준의 임상 전문 지식으로 인한 불확실성이 포함되어 진단 보고서에서 부정확성을 초래합니다.

약한 주석은 주석 비용을 줄이고 주석 효율성을 높이며 모델 일반화를 향상시키는 유망한 솔루션을 제공합니다. 자연 이미지 처리에서는 약한 주석이 널리 연구되었으며, 대규모 자연 이미지 데이터 세트로 인해 이러한 모델의 교육이 가능합니다. 의료 AI 연구에서 Guo et al. 뇌 CT 보고서에서 파생 된 약하게 주석이 달린 데이터 세트의 사용을 개척하여 4 개의 공통 뇌 병리를 정확하게 식별하고 찾기 위해 저품질 키워드 정보를 자동으로 추출했습니다. 이 접근법은 다양한 센터와 이미징 장치에서 우수한 일반화 성을 보여주었습니다. 그러나 이러한 시스템은 특정 질병을 진단하거나 상세한 보고서를 생성 할 수있는 능력이 부족한 광범위한 범주의 질병 및 단일 모달 이미지로 제한되었습니다.

예비 결과와 문헌을 바탕으로, 우리는 가설을 제안합니다. 지식 그래프 및 변압기와 같은 AI 딥 러닝 알고리즘과 결합 된 약하게 주석이 달린 이미징 보고서는 해석 가능한 다중 모달, 다중 기존의 펀드 보고서 생성 시스템을 구축하는 데 사용될 수 있습니까? 이 프로젝트는 기존 AI 모델을 개선하고 여러 망막 질환에 대한 영상 진단 및 보고서를 생성하는 데 도움이되는 시스템을 개발하는 것을 목표로합니다. 결과는 안과 전문의의 작업량을 줄일뿐만 아니라 고급 펀더스 이미징 기술의 광범위한 채택을 촉진하여 궁극적으로 맹검 망막 질환의 조기 진단 및 치료를 개선합니다.