En tolkbar Fundus Diseases Report Generating System basert på svakt merkinger

1. AI -modeller for multimodal fundusavbildning i diagnosen retinal sykdommer. AI -modeller har vist et betydelig potensial for å hjelpe diagnosen forskjellige retinalsykdommer basert på multimodal fundus -avbildning. De siste årene har AI raskt avansert innen Fundus Disease Imaging Diagnostics. Diagnostiske modeller med høy nøyaktighet kan utvikles ved hjelp av store datasett med nøyaktig kommenterte enkeltmodale bilder. Fundus Photography, som gir klinikere et innledende diagnostisk inntrykk, er allment tilgjengelig og kan fås ved hjelp av enkle avbildningsenheter eller til og med mobile enheter. For eksempel har Cen et al. trente et dypt læringssystem med 249.620 nøyaktig kommenterte Fundus -fotografier for å diagnostisere 39 vanlige netthinnesykdommer, og oppnå diagnostiske nøyaktigheter som overstiger 90% for hver tilstand.

   Fundus -fotografering alene tilbyr imidlertid begrenset sykdomsinformasjon, noe som gjør det utfordrende å skille mellom sykdommer med lignende manifestasjoner. I tillegg er den diagnostiske nøyaktigheten sterkt basert på bildekvalitet og klinikerkompetanse, noe som kan føre til tapte eller feildiagnostiserte tilfeller.

   Optisk sammenhengstomografi (OCT) gir en tredimensjonal analyse av retinallagene, og avslører tydelig alvorlighetsgraden og plasseringen av patologier som intraretinal og subretinalvæske. OLT har blitt et standard diagnostisk og differensialdiagnostisk verktøy for retinal sykdommer og er avgjørende for å veilede den nøyaktige behandlingen og oppfølgingen av tilstander som aldersrelatert makuladegenerasjon og diabetisk makulær ødem. AI-assistert OLT-analyse kan ytterligere forbedre oppfølgingen og personalisert behandling av retinal sykdommer. For eksempel har Fauw et al. benyttet 14.884 OCT -bilder for å diagnostisere mer enn 10 retinal sykdommer og kartlegge plasseringen av lesjonene.

   Den nøyaktige diagnosen retinal sykdommer er også avhengig av dynamiske og funksjonelle bevis. Fundus fluorescein angiografi (FFA) og indocyanin grønn angiografi (ICGA) er uunnværlig for plassering, karakterisering og evaluering av lesjonens vaskulære funksjon. På grunn av kompleksiteten ved å tolke angiografiske bilder, har imidlertid anvendelsen av AI i FFA og ICGA -analyse bare nylig fått trekkraft.

   Dessuten krever de fleste tilfeller multimodal avbildning, inkludert OCT, Fundus -fotografering og angiografi, for å lokalisere og analysere sykdomspatologien. I tillegg er integrering av kliniske data og pasientmedisinsk historie avgjørende for en nøyaktig diagnose. Derfor er det et presserende behov for å utvikle nye AI-modeller som er i stand til å integrere multimodale data for å hjelpe klinikere med å diagnostisere komplekse retinal sykdommer nøyaktig.

2. AI-assistert generering av komplekse medisinske rapporter. Kompleksiteten og spesialiserte naturen til Fundus -avbildning gjør tolkning av bilder utfordrende, og mangelen på klinikere som er i stand til å generere presise rapporter øker arbeidsmengden til øyeleger ytterligere og hindrer tidlig diagnose og behandling av netthinnesykdommer. AI-assistert rapportgenerering har potensial til å møte disse utfordringene. Sammenlignet med enkel bildegjenkjenning og klassifisering, er det mer komplisert å utvikle AI-modeller som genererer tekstlige tolkninger fra bilder, ettersom det krever at maskinen etterligner en menneskelignende forståelse av bildeinnhold. "Bilde-til-tekst" -modeller inneholder forskjellige dype læringsalgoritmer, inkludert datamaskinvisjon og naturlig språkbehandling. Tidlige modeller krevde millioner av naturlige bilder for å oppnå tilfredsstillende tekstgenerering, noe som er upraktisk for medisinsk avbildning på grunn av begrensede datasett og omfattende tekstinformasjon. Imidlertid kan kliniske rapporter generert av klinikere, basert på omfattende kliniske data, detaljert bildeanalyse og erfaring, tjene som treningsdatasett av høy kvalitet for slike modeller.

   Foreløpig er betydelig forskningsinnsats fokusert på områder med store datasett og standardiserte rapportformater, for eksempel røntgenbilder av brystet, CT-skanninger i brystet og MR-bryst. De mye brukte rapportgenerasjonsdatabasene inkluderer Open-IU, MIMIC-CXR og Padchest, med MIMIC-CXR som inneholder mer enn 270 000 røntgenrapporter fra brystet. I oftalmologi, på grunn av kompleksiteten i tolkning av fundus -avbildning og den relativt mindre størrelsen på datasettet, er forskning på dette området begrenset, spesielt for høyt spesialiserte avbildningsmodaliteter som Fundus Angiografi. Teamet vårt har med hell utviklet et Fundus Fluorescein Angiography Report Generation Dataset (FFA-IR) basert på angiografibilder og de tilsvarende rapportene. Rapportgenereringsmodellen vår kan produsere nøyaktige tospråklige rapporter (kinesisk og engelsk) for vanlige og sjeldne retinal sykdommer, med nøyaktighet som kan sammenlignes med menneskelige netthinnespesialister, samtidig som den reduserer genereringstidspunktet for rapporten betydelig.

3. Svak merknad: En lovende tilnærming for å trene nye sykdomsdiagnose- og klassifiseringsmodeller Tradisjonelle AI-assisterte diagnostiske modeller for medisinsk avbildning er vanligvis avhengige av storskala, nøyaktig kommenterte bilder av høy kvalitet, ettersom nøyaktigheten til treningsdatasettet er kritisk for modellytelse. Når høy merknadsnøyaktighet ikke kan garanteres, er det ofte den eneste måten å forbedre modellytelsen på. For komplekse datasett som Fundus Angiography Images øker imidlertid det store antallet sykdommer og variable manifestasjoner eksponentielt for merknadsvanskeligheten. I tillegg inneholder kliniske rapporter ofte usikkerheter på grunn av ufullstendige kliniske data eller varierende nivåer av klinikerkompetanse, noe som fører til unøyaktigheter i diagnostiske rapporter.

Svak merknad gir en lovende løsning for å redusere merknadskostnadene, forbedre merknadseffektiviteten og forbedre modellgeneraliserbarheten. I naturlig bildebehandling har svak merknad blitt studert mye, med store naturlige bildedatasett som muliggjør trening av slike modeller. I medisinsk AI -forskning har Guo et al. Pioner for bruken av svakt kommenterte datasett avledet fra CT-rapporter fra Brain, og automatisk hentet ut nøkkelordinformasjon av lav kvalitet for å identifisere og lokalisere fire vanlige hjernepatologier nøyaktig. Denne tilnærmingen demonstrerte utmerket generaliserbarhet på tvers av forskjellige sentre og avbildningsenheter. Imidlertid var disse systemene begrenset til brede kategorier av sykdommer og enkeltmodale bilder, og manglet evnen til å diagnostisere spesifikke sykdommer eller generere detaljerte rapporter.

Basert på foreløpige funn og litteratur, foreslår vi en hypotese: kan svakt kommenterte avbildningsrapporter, kombinert med AI Deep Learning-algoritmer som kunnskapsgrafer og transformator, brukes til å bygge et tolkbar, multimodalt genereringssystem for Fundus Report-rapport? Dette prosjektet tar sikte på å avgrense eksisterende AI -modeller og utvikle et system som hjelper til med å generere avbildningsdiagnoser og rapporter for flere retinal sykdommer. Resultatene vil ikke bare redusere arbeidsmengden til øyeleger, men også fremme den utbredte adopsjonen av avanserte fundusbildingsteknikker, og til slutt forbedre den tidlige diagnosen og behandlingen av blendende retinal sykdommer.