En fortolkbar fundus sygdomsrapport genererende system baseret på svagt mærkninger

1. AI -modeller til multimodal fundusafbildning i diagnosen nethindesygdomme. AI -modeller har vist et betydeligt potentiale til at hjælpe diagnosen af ​​forskellige nethindesygdomme baseret på multimodal fundusafbildning. I de senere år er AI hurtigt avanceret inden for diagnosticering af fundus sygdomsafbildning. Diagnostiske modeller med høj nøjagtighed kan udvikles ved hjælp af store datasæt med nøjagtigt annoterede enkeltmodale billeder. Fundusfotografering, der giver klinikere et indledende diagnostisk indtryk, er bredt tilgængeligt og kan fås ved hjælp af enkle billeddannelsesenheder eller endda mobile enheder. For eksempel Cen et al. Trænet et dybt læringssystem ved hjælp af 249.620 nøjagtigt annoterede fundusfotografier til at diagnosticere 39 almindelige nethindesygdomme og opnå diagnostiske nøjagtigheder, der overstiger 90% for hver tilstand.

   Fundusfotografering alene tilbyder dog begrænset sygdomsinformation, hvilket gør det udfordrende at skelne mellem sygdomme med lignende manifestationer. Derudover er dens diagnostiske nøjagtighed stærkt baseret på billedkvalitet og klinikerekspertise, hvilket kan føre til ubesvarede eller fejlagtige diagnosticerede tilfælde.

   Optisk kohærens tomografi (OCT) giver en tredimensionel analyse af nethindelagene, hvilket tydeligt afslører sværhedsgraden og placeringen af ​​patologier, såsom intraretinal og subretinal væske. OLT er blevet et standard diagnostisk og differentielt diagnostisk værktøj til nethindesygdomme og er vigtig for at vejlede den nøjagtige behandling og opfølgning af tilstande, såsom aldersrelateret makuladegeneration og diabetisk makulær ødem. AI-assisteret OLT-analyse kan yderligere forbedre opfølgningen og personlig behandling af nethindesygdomme. F.eks. Fauw et al. anvendte 14.884 OLT -billeder til at diagnosticere mere end 10 nethindesygdomme og kortlægge placeringen af ​​læsionerne.

   Den nøjagtige diagnose af nethindesygdomme er også afhængig af dynamisk og funktionel bevis. Fundus fluoresceinangiografi (FFA) og indocyaningrøn angiografi (ICGA) er uundværlige for placering, karakterisering og evaluering af læsionens vaskulære funktion. På grund af kompleksiteten ved at fortolke angiografiske billeder har anvendelsen af ​​AI i FFA- og ICGA -analyse imidlertid først for nylig opnået trækkraft.

   Desuden kræver de fleste tilfælde multimodal billeddannelse, herunder OLT, fundusfotografering og angiografi, for at finde og analysere sygdomspatologien. Derudover er integrering af kliniske data og patientmedicinsk historie afgørende for en nøjagtig diagnose. Derfor er der et presserende behov for at udvikle nye AI-modeller, der er i stand til at integrere multimodale data for at hjælpe klinikere med nøjagtigt at diagnosticere komplekse nethindesygdomme.

2. AI-assisteret generation af komplekse medicinske rapporter. Kompleksiteten og den specialiserede karakter af fundus -billeddannelse gør billedtolkning udfordrende, og manglen på klinikere, der er i stand til at generere præcise rapporter, øger yderligere arbejdsbyrden for oftalmologer og hindrer tidlig diagnose og behandling af retinalsygdomme. AI-assisteret rapportgenerering har potentialet til at tackle disse udfordringer. Sammenlignet med enkel billedgenkendelse og klassificering er det mere kompliceret at udvikle AI-modeller, der genererer teksttolkninger fra billeder, da det kræver, at maskinen efterligner en menneskelignende forståelse af billedindhold. "Billed-til-tekst" -modeller indeholder forskellige dybe læringsalgoritmer, herunder computervision og naturlig sprogbehandling. Tidlige modeller krævede millioner af naturlige billeder for at opnå tilfredsstillende tekstgenerering, som er upraktisk til medicinsk billeddannelse på grund af begrænsede datasæt og omfattende tekstoplysninger. Imidlertid kan kliniske rapporter genereret af klinikere, der er baseret på omfattende kliniske data, detaljeret billedanalyse og erfaring, tjene som træningsdatasæt af høj kvalitet til sådanne modeller.

   I øjeblikket er betydelige forskningsindsats fokuseret på områder med store datasæt og standardiserede rapportformater, såsom røntgenbilleder i brystet, CT-ct-scanninger og hjerne-MR. De vidt anvendte rapportgenerationsdatabaser inkluderer Open-IU, Mimic-CXR og PadChest, med MIMIC-CXR, der indeholder mere end 270.000 røntgenberetning af brystet. I oftalmologi på grund af kompleksiteten af ​​fundusbillede -fortolkning og den relativt mindre størrelse af datasættet er forskning på dette område begrænset, især for højt specialiserede billeddannelsesmetoder såsom fundusangiografi. Vores team har med succes udviklet en Fundus Fluorescein Angiography Report Generation DataSet (FFA-IR) baseret på angiografibilleder og de tilsvarende rapporter. Vores rapportgenerationsmodel kan producere nøjagtige tosprogede rapporter (kinesisk og engelsk) for almindelige og sjældne nethindesygdomme, med nøjagtighed, der kan sammenlignes med den hos menneskelige nethindespecialister, samtidig med at genereringstiden reduceres markant.

3. Svag annotation: En lovende tilgang til uddannelse af ny sygdomsdiagnose og klassificeringsmodeller traditionelle AI-assisterede diagnostiske modeller til medicinsk billeddannelse, der typisk er afhængig af store, nøjagtigt annoterede billeder af høj kvalitet, da nøjagtigheden af ​​træningsdatasættet er kritisk for modelpræstation. Når høj annotationsnøjagtighed ikke kan garanteres, er at øge datasætstørrelsen ofte den eneste måde at forbedre modelydelsen på. For komplekse datasæt som fundus angiografi -billeder øger det store antal sygdomme og variable manifestationer imidlertid eksponentielt annotationsproblemet. Derudover indeholder kliniske rapporter ofte usikkerheder på grund af ufuldstændige kliniske data eller forskellige niveauer af klinikerekspertise, hvilket fører til unøjagtigheder i diagnostiske rapporter.

Svag annotering tilbyder en lovende løsning til at reducere annotationsomkostninger, forbedre annotationseffektiviteten og forbedre modellen generaliserbarhed. I naturlig billedbehandling er svag annotation blevet undersøgt bredt med store naturlige billeddatasæt, der muliggør uddannelse af sådanne modeller. I medicinsk AI -forskning har Guo et al. Pionerede i brugen af ​​svagt annoterede datasæt afledt fra hjerne-CT-rapporter og automatisk udtrække nøgleordsinformation af lav kvalitet til nøjagtigt at identificere og lokalisere fire almindelige hjernepatologier. Denne tilgang demonstrerede fremragende generaliserbarhed på tværs af forskellige centre og billeddannelsesenheder. Imidlertid var disse systemer begrænset til brede kategorier af sygdomme og enkeltmodale billeder, mangler evnen til at diagnosticere specifikke sygdomme eller generere detaljerede rapporter.

Baseret på foreløbige fund og litteratur foreslår vi en hypotese: kan svagt annoterede billeddannelsesrapporter kombineret med AI Deep Learning-algoritmer såsom videngrafer og transformer, der bruges til at opbygge en tolkbar, multimodal, multi-disease fund-rapportgenerationssystem? Dette projekt sigter mod at forfine eksisterende AI -modeller og udvikle et system, der hjælper med at generere billeddannelsesdiagnoser og rapporter for flere nethindesygdomme. Resultaterne vil ikke kun reducere arbejdsbyrden hos oftalmologer, men fremmer også den udbredte vedtagelse af avancerede fundusafbildningsteknikker, hvilket i sidste ende forbedrer den tidlige diagnose og behandling af blændende nethindesygdomme.