Un rapporto di generazione di malattie del fondo interpretabile basato su etichettature debolmente

1. Modelli di AI per l'imaging del fondo multimodale nella diagnosi di malattie della retina. I modelli AI hanno dimostrato un potenziale significativo nell'assistenza alla diagnosi di varie malattie della retina basate sull'imaging del fondo multimodale. Negli ultimi anni, l'IA è rapidamente avanzata nel campo della diagnostica di imaging della malattia del fondo. I modelli diagnostici ad alta precisione possono essere sviluppati utilizzando set di dati di grandi dimensioni di immagini a modalità singola con precisione. La fotografia di fondo, che fornisce ai medici un'impressione diagnostica iniziale, è ampiamente accessibile e può essere ottenuta utilizzando semplici dispositivi di imaging o persino dispositivi mobili. Ad esempio, Cen et al. Ha addestrato un sistema di apprendimento profondo utilizzando 249.620 fotografie di fondo con precisione per diagnosticare 39 malattie retiniche comuni, ottenendo accuratezze diagnostiche superiori al 90% per ciascuna condizione.

   Tuttavia, la sola fotografia di fondo offre informazioni limitate per le malattie, rendendo difficile distinguere tra malattie con manifestazioni simili. Inoltre, la sua precisione diagnostica si basa fortemente sulla qualità dell'immagine e sulla competenza del medico, che può portare a casi persi o diagnosticati.

   La tomografia a coerenza ottica (OCT) fornisce un'analisi tridimensionale degli strati retinici, rivelando chiaramente la gravità e la posizione di patologie come il fluido intraaretinale e subretinale. L'OCT è diventato uno strumento diagnostico diagnostico e differenziale standard per le malattie della retina ed è essenziale per guidare il trattamento preciso e il follow-up di condizioni come la degenerazione maculare legata all'età ed edema maculare diabetico. L'analisi OCT assistita dall'IA può migliorare ulteriormente il follow-up e il trattamento personalizzato delle malattie della retina. Ad esempio, Fauw et al. Utilizzavano 14.884 immagini di ottobre per diagnosticare più di 10 malattie della retina e mappare la posizione delle lesioni.

   La diagnosi accurata delle malattie della retina si basa anche su prove dinamiche e funzionali. L'angiografia a fluoresceina del fondo (FFA) e l'angiografia verde indocianina (ICGA) sono indispensabili per la posizione, la caratterizzazione e la valutazione della funzione vascolare della lesione. Tuttavia, a causa della complessità dell'interpretazione delle immagini angiografiche, l'applicazione di AI nell'analisi FFA e ICGA ha ottenuto solo recentemente la trazione.

   Inoltre, la maggior parte dei casi richiede imaging multimodale, tra cui OCT, fotografia di fondo e angiografia, per individuare e analizzare in modo completo la patologia della malattia. Inoltre, l'integrazione dei dati clinici e della storia medica dei pazienti è fondamentale per una diagnosi accurata. Pertanto, è urgente di sviluppare nuovi modelli di intelligenza artificiale in grado di integrare dati multimodali per aiutare i medici a diagnosticare accuratamente le malattie della retina complesse.

2. Generazione Ai-assistita di report medici complessi. La complessità e la natura specializzata dell'imaging del fondo rendono impegnativa l'interpretazione dell'immagine e la carenza di medici in grado di generare rapporti precisi aumenta ulteriormente il carico di lavoro di oftalmologi e ostacola la diagnosi precoce e il trattamento delle malattie della retina. La generazione di report assistita da AI ha il potenziale per affrontare queste sfide. Rispetto al semplice riconoscimento e classificazione delle immagini, lo sviluppo di modelli di intelligenza artificiale che generano interpretazioni testuali dalle immagini è più complesso, in quanto richiede la macchina per imitare una comprensione simile all'uomo del contenuto dell'immagine. I modelli "Image-to-Text" incorporano vari algoritmi di apprendimento profondo, tra cui la visione artificiale e l'elaborazione del linguaggio naturale. I primi modelli hanno richiesto milioni di immagini naturali per ottenere una generazione di testo soddisfacente, che è poco pratico per l'imaging medico a causa di set di dati limitati e informazioni testuali estese. Tuttavia, i rapporti clinici generati dai medici, basati su dati clinici completi, analisi dettagliate delle immagini e esperienza, possono servire come set di dati di formazione di alta qualità per tali modelli.

   Attualmente, significativi sforzi di ricerca sono focalizzati su aree con set di dati di grandi dimensioni e formati di report standardizzati, come raggi X al torace, scansioni TC toraciche e risonanza magnetica cerebrale. I database di generazione di report ampiamente utilizzati includono Open-IU, Mimic-CXR e Padchest, con Mimic-CXR contenente oltre 270.000 rapporti di radiografia del torace. Nell'oftalmologia, a causa della complessità dell'interpretazione dell'imaging del fondo e delle dimensioni relativamente più piccole del set di dati, la ricerca in questo settore è limitata, in particolare per modalità di imaging altamente specializzate come l'angiografia del fondo. Il nostro team ha sviluppato con successo un set di dati di generazione di report di angiografia fluoresceina del Fundus (FFA-IR) basato su immagini di angiografia e relativi rapporti. Il nostro modello di generazione di report può produrre rapporti bilingui accurati (cinese e inglese) per le malattie della retina comuni e rare, con precisione paragonabile a quella degli specialisti della retina umani, riducendo significativamente il tempo di generazione dei rapporti.

3. Annotazione debole: un approccio promettente per la formazione di nuovi modelli di diagnosi e classificazione delle malattie per la malattia tradizionali modelli diagnostici assistiti dall'IA per l'imaging medico in genere si basa su immagini su larga scala, con precisione con precisione di alta qualità, poiché l'accuratezza del set di dati di addestramento è fondamentale per le prestazioni del modello. Quando la precisione ad alta annotazione non può essere garantita, aumentare la dimensione del set di dati è spesso l'unico modo per migliorare le prestazioni del modello. Tuttavia, per set di dati complessi come le immagini di angiografia del fondo, il gran numero di malattie e manifestazioni variabili aumentano esponenzialmente la difficoltà di annotazione. Inoltre, i rapporti clinici contengono spesso incertezze dovute a dati clinici incompleti o livelli variabili di competenza del medico, portando a inesattezze nei rapporti diagnostici.

La debole annotazione offre una soluzione promettente per ridurre i costi di annotazione, migliorare l'efficienza dell'annotazione e migliorare la generalizzabilità del modello. Nell'elaborazione naturale delle immagini, l'annotazione debole è stata ampiamente studiata, con set di dati di immagini naturali su larga scala che consentono la formazione di tali modelli. In Medical AI Research, Guo et al. ha aperto la strada all'uso di set di dati debolmente annotati derivati ​​dai report CT cerebrali, estraendo automaticamente informazioni sulle parole chiave di bassa qualità per identificare e individuare con precisione quattro patologie cerebrali comuni. Questo approccio ha dimostrato un'eccellente generalizzabilità tra diversi centri e dispositivi di imaging. Tuttavia, questi sistemi erano limitati a grandi categorie di malattie e immagini a modalità singola, prive della capacità di diagnosticare malattie specifiche o generare report dettagliati.

Sulla base di risultati preliminari e letteratura, proponiamo un'ipotesi: i rapporti di imaging debolmente annotati, combinati con algoritmi di AI Deep Learning come i grafici delle conoscenze e il trasformatore, possono essere utilizzati per costruire un sistema di generazione di report di fondi multi-modale, multi-modale, multi-modale? Questo progetto mira a perfezionare i modelli di intelligenza artificiale esistenti e sviluppare un sistema che aiuta a generare diagnosi di imaging e report per più malattie della retina. I risultati non solo ridurranno il carico di lavoro degli oftalmologi, ma promuoveranno anche l'adozione diffusa di tecniche di imaging del fondo avanzate, migliorando in definitiva la diagnosi precoce e il trattamento delle malattie della retina accecanti.