軽視されたラベリングに基づいて、解釈可能な眼底疾患レポート生成システム

1. 網膜疾患の診断におけるマルチモーダル眼底イメージングのAIモデル。 AIモデルは、マルチモーダルのFundusイメージングに基づいたさまざまな網膜疾患の診断を支援する上で重要な可能性を実証しています。 近年、AIはFundus Disease Imaging Diagnosticsの分野で急速に進歩しています。 高精度の診断モデルは、正確に注釈付きのシングルモーダル画像の大きなデータセットを使用して開発できます。 臨床医に最初の診断印象を提供するFundus Photographyは広くアクセスしやすく、単純なイメージングデバイスやモバイルデバイスを使用して入手できます。 たとえば、Cen et al。 39の一般的な網膜疾患を診断するために、249,620の正確に注釈付きの眼底写真を使用してディープラーニングシステムを訓練し、各条件で90％を超える診断精度を達成しました。

   しかし、Fundus Photographyだけでは疾患情報が限られているため、同様の症状のある疾患を区別することが困難です。 さらに、その診断の精度は、画質と臨床医の専門知識に大きく基づいており、誤診または誤診された症例につながる可能性があります。

   光コヒーレンス断層撮影（OCT）は、網膜層の3次元分析を提供し、網膜内液や網膜下液などの病理学の重症度と位置を明確に明らかにします。 OCTは、網膜疾患の標準的な診断および鑑別診断ツールとなっており、加齢性黄斑変性や糖尿病性黄斑浮腫などの状態の正確な治療とフォローアップを導くために不可欠です。 AIアシストOCT分析は、網膜疾患の追跡処理とパーソナライズされた治療をさらに強化することができます。 たとえば、Fauw et al。 14,884 OCT画像を使用して、10以上の網膜疾患を診断し、病変の位置をマッピングしました。

   網膜疾患の正確な診断は、動的および機能的証拠にも依存しています。 Fundus Fluoresein Angiography（FFA）およびIndocyanine Green Angiography（ICGA）は、病変の血管機能の場所、特性評価、および評価に不可欠です。 ただし、血管造影画像を解釈する複雑さにより、FFAおよびICGA分析でのAIの適用は最近牽引力を獲得しました。

   さらに、ほとんどの場合、疾患の病理を包括的に見つけて分析するために、OCT、Fundus Photography、Angiographyなどのマルチモーダルイメージングが必要です。 さらに、臨床データと患者の病歴を統合することは、正確な診断に不可欠です。 したがって、複雑な網膜疾患の正確な診断を臨床医を支援するために、マルチモーダルデータを統合できる新しいAIモデルを開発する緊急の必要性があります。

2. AIアシストされた複雑な医療報告の世代。 Fundus Imagingの複雑さと特殊な性質により、画像の解釈が困難になり、正確なレポートを生成できる臨床医の不足により、眼科医のワークロードがさらに増加し​​、網膜疾患の早期診断と治療が妨げられます。 AIアシストレポート生成には、これらの課題に対処する可能性があります。 単純な画像認識と分類と比較して、画像からテキストの解釈を生成するAIモデルの開発は、画像コンテンツの人間のような理解を模倣するためにマシンが必要なため、より複雑です。 「画像からテキスト」モデルには、コンピュータービジョンや自然言語処理など、さまざまな深い学習アルゴリズムが組み込まれています。 初期のモデルには、十分なテキスト生成を実現するために何百万もの自然な画像が必要でした。これは、限られたデータセットと広範なテキスト情報のために医療画像には非現実的です。 ただし、包括的な臨床データ、詳細な画像分析、および経験に基づいて、臨床医によって生成された臨床報告は、そのようなモデルの高品質のトレーニングデータセットとして役立ちます。

   現在、重要な研究努力は、胸部X線、胸部CTスキャン、脳MRIなどの大規模なデータセットと標準化されたレポート形式のある領域に焦点を当てています。 広く使用されているレポート生成データベースには、Open-IU、Mimic-CXR、およびPadchestが含まれ、Mimic-CXRには270,000を超える胸部X線写真が含まれています。 眼科では、Fundus Imagingの解釈の複雑さとデータセットの比較的小さいサイズにより、特にFundus Angiographyなどの高度に専門化されたイメージングモダリティの研究は限られています。 私たちのチームは、血管造影画像と対応するレポートに基づいて、Fudsus Fluoresein Angiography Report Generation Dataset（FFA-IR）の開発に成功しました。 私たちのレポート生成モデルは、レポートの生成時間を大幅に削減しながら、正確な正確性を人間の網膜の専門家の正確性と同等の正確な網膜疾患に対して正確なバイリンガルレポート（中国と英語）を生成できます。

3. 弱い注釈：新しい疾患診断と分類モデルのトレーニングのための有望なアプローチは、トレーニングデータセットの精度がモデルのパフォーマンスに重要であるため、通常、大規模で正確に注釈付きの高品質の画像に依存しています。 高い注釈の精度を保証できない場合、データセットサイズを増やすことが、モデルのパフォーマンスを改善する唯一の方法であることがよくあります。 ただし、Fundus Angiography画像などの複雑なデータセットの場合、多数の疾患とさまざまな症状が注釈の難易度を指数関数的に増加させます。 さらに、臨床報告には、臨床データが不完全または臨床医の専門知識のさまざまなレベルのために不確実性が含まれていることが多く、診断レポートの不正確さにつながります。

弱い注釈は、注釈コストを削減し、注釈効率を改善し、モデルの一般化を改善するための有望なソリューションを提供します。 自然画像処理では、大規模な自然画像データセットがそのようなモデルのトレーニングを可能にするため、弱い注釈が広く研究されています。 医療AI研究では、Guo et al。脳CTレポートから派生した弱く注釈付きのデータセットの使用を開拓し、低品質のキーワード情報を自動的に抽出して、4つの一般的な脳の病理を正確に識別して見つけました。 このアプローチは、さまざまなセンターとイメージングデバイスにわたる優れた一般化可能性を実証しました。 ただし、これらのシステムは、幅広いカテゴリの病気や単一モーダル画像に限定されており、特定の疾患を診断したり、詳細な報告を生成したりする能力がありませんでした。

予備的な調査結果と文献に基づいて、仮説を提案します。知識グラフやトランスなどのAIディープ学習アルゴリズムと組み合わせて、軽く注釈付きのイメージングレポートを使用して、解釈可能なマルチモーダルのマルチディスエーズ容認レポート生成システムを構築することができますか？ このプロジェクトは、既存のAIモデルを改良し、複数の網膜疾患の画像診断とレポートを生成するのに役立つシステムを開発することを目的としています。 この結果は、眼科医のワークロードを減らすだけでなく、高度な眼底イメージング技術の広範な採用を促進し、最終的に盲検化網膜疾患の早期診断と治療を改善します。