Een interpreteerbaar fundus -ziekten rapport genererend systeem op basis van zwak labels

1. AI -modellen voor multimodale fundusbeeldvorming bij de diagnose van retinale ziekten. AI -modellen hebben een aanzienlijk potentieel aangetoond bij het ondersteunen van de diagnose van verschillende retinale ziekten op basis van multimodale fundus -beeldvorming. In de afgelopen jaren is AI snel naar voren gebracht op het gebied van fundusziekte -beeldvormende diagnostiek. Diagnostische modellen met hoge nauwkeurigheid kunnen worden ontwikkeld met behulp van grote datasets van nauwkeurig geannoteerde single-modale afbeeldingen. Fundus Photography, die clinici een initiële diagnostische indruk biedt, is wijd toegankelijk en kan worden verkregen met behulp van eenvoudige beeldvormingsapparaten of zelfs mobiele apparaten. Bijvoorbeeld, Cen et al. Een diep leersysteem getraind met behulp van 249.620 precies geannoteerde fundusfoto's om 39 gemeenschappelijke netvliesziekten te diagnosticeren, waardoor diagnostische nauwkeurigheid van meer dan 90% voor elke aandoening meer dan 90% wordt bereikt.

   Fundus Photography alleen biedt echter beperkte ziekte -informatie, waardoor het een uitdaging is om onderscheid te maken tussen ziekten met vergelijkbare manifestaties. Bovendien is de diagnostische nauwkeurigheid sterk gebaseerd op beeldkwaliteit en expertise op het gebied van arts, wat kan leiden tot gemiste of verkeerd gediagnosticeerde gevallen.

   Optische coherentietomografie (OCT) biedt een driedimensionale analyse van de retinale lagen, wat duidelijk de ernst en locatie van pathologieën zoals intraretinale en subretinale vloeistof onthult. OCT is een standaard diagnostisch en differentieel diagnostisch hulpmiddel geworden voor retinale ziekten en is essentieel om de precieze behandeling en follow-up van aandoeningen zoals leeftijdsgebonden maculaire degeneratie en diabetisch maculair oedeem te begeleiden. AI-geassisteerde OCT-analyse kan de follow-up en gepersonaliseerde behandeling van retinale ziekten verder verbeteren. Bijvoorbeeld, Fauw et al. Gebruikte 14.884 oktober -afbeeldingen om meer dan 10 netvliesziekten te diagnosticeren en de locatie van de laesies in kaart te brengen.

   De nauwkeurige diagnose van retinale ziekten is ook gebaseerd op dynamisch en functioneel bewijs. Fundus fluoresceïne -angiografie (FFA) en indocyanine groene angiografie (ICGA) zijn onmisbaar voor de locatie, karakterisering en evaluatie van de vasculaire functie van de laesie. Vanwege de complexiteit van het interpreteren van angiografische beelden heeft de toepassing van AI in FFA- en ICGA -analyse echter pas recent een grip gekregen.

   Bovendien vereisen de meeste gevallen multimodale beeldvorming, waaronder OCT, fundusfotografie en angiografie, om de ziektepathologie volledig te vinden en te analyseren. Bovendien is het integreren van klinische gegevens en medische geschiedenis van de patiënt cruciaal voor een nauwkeurige diagnose. Daarom is er een dringende behoefte om nieuwe AI-modellen te ontwikkelen die in staat zijn om multimodale gegevens te integreren om clinici te helpen bij het nauwkeurig diagnosticeren van complexe retinale ziekten.

2. AI-ondersteunde generatie van complexe medische rapporten. De complexiteit en gespecialiseerde aard van fundusbeeldvorming maken beeldinterpretatie uitdagend, en het tekort aan clinici die in staat zijn om precieze rapporten te genereren, verhoogt de werklast van oogartsen verder en belemmert vroege diagnose en behandeling van retinale ziekten. AI-Assisted Report Generation heeft het potentieel om deze uitdagingen aan te gaan. In vergelijking met eenvoudige beeldherkenning en classificatie is het ontwikkelen van AI-modellen die tekstuele interpretaties uit afbeeldingen genereren complexer, omdat het vereist dat de machine een menselijk begrip van beeldinhoud nabootst. "Image-to-text" -modellen bevatten verschillende dieplerenalgoritmen, waaronder computer vision en natuurlijke taalverwerking. Vroege modellen vereisten miljoenen natuurlijke afbeeldingen om een ​​bevredigende tekstgeneratie te bereiken, wat onpraktisch is voor medische beeldvorming vanwege beperkte datasets en uitgebreide tekstinformatie. Klinische rapporten gegenereerd door clinici, op basis van uitgebreide klinische gegevens, gedetailleerde beeldanalyse en ervaring, kunnen echter dienen als hoogwaardige trainingsdatasets voor dergelijke modellen.

   Momenteel zijn belangrijke onderzoeksinspanningen gericht op gebieden met grote datasets en gestandaardiseerde rapportformaten, zoals röntgenfoto's van de borst, CT-scans van de borst en MRI van de hersenen. De veelgebruikte databases voor het genereren van rapportgenoten omvatten Open-IU, MIMIC-CXR en Padchest, met MIMIC-CXR met meer dan 270.000 röntgenfoto van de borst. In de oogheelkunde, vanwege de complexiteit van de interpretatie van fundusbeeldvorming en de relatief kleinere omvang van de gegevensset, is onderzoek op dit gebied beperkt, met name voor zeer gespecialiseerde beeldvormingsmodaliteiten zoals fundus -angiografie. Ons team heeft met succes een Fundus Fluoresceïne-angiografie-rapportgeneratie Dataset (FFA-IR) ontwikkeld op basis van angiografiebeelden en de bijbehorende rapporten. Ons rapportgeneratiemodel kan nauwkeurige tweetalige rapporten (Chinees en Engels) produceren voor gemeenschappelijke en zeldzame netvliesziekten, met nauwkeurigheid vergelijkbaar met die van menselijke retinale specialisten, terwijl het de tijd van het genereren van rapport aanzienlijk wordt verkort.

3. Zwakke annotatie: een veelbelovende aanpak voor het trainen van nieuwe ziektediagnose en classificatiemodellen Traditionele AI-geassisteerde diagnostische modellen voor medische beeldvorming zijn meestal afhankelijk van grootschalige, nauwkeurig geannoteerde, hoogwaardige afbeeldingen, omdat de nauwkeurigheid van de trainingsdataset van cruciaal belang is voor modelprestaties. Wanneer de nauwkeurigheid van een hoge annotatie niet kan worden gegarandeerd, is het verhogen van de datasetgrootte vaak de enige manier om de modelprestaties te verbeteren. Voor complexe datasets zoals Fundus Angiography -afbeeldingen verhoogt het grote aantal ziekten en variabele manifestaties de annotatieproblemen echter exponentieel. Bovendien bevatten klinische rapporten vaak onzekerheden als gevolg van onvolledige klinische gegevens of verschillende niveaus van expertise op het gebied van artsen, wat leidt tot onnauwkeurigheden in diagnostische rapporten.

Zwakke annotatie biedt een veelbelovende oplossing om de annotatiekosten te verlagen, de annotatie -efficiëntie te verbeteren en de generaliseerbaarheid van het model te verbeteren. Bij natuurlijke beeldverwerking is zwakke annotatie op grote schaal bestudeerd, met grootschalige natuurlijke beelddatasets die de training van dergelijke modellen mogelijk maken. In Medical AI Research, Guo et al. Pionierde het gebruik van zwak geannoteerde datasets afgeleid van CT-rapporten van de hersenen, waarbij automatisch van lage kwaliteit sleutelwoordinformatie wordt geëxtraheerd om vier gemeenschappelijke hersenpathologieën nauwkeurig te identificeren en te lokaliseren. Deze benadering toonde uitstekende generaliseerbaarheid op verschillende centra en beeldvormingsapparaten. Deze systemen waren echter beperkt tot brede categorieën van ziekten en single-modal beelden, zonder de mogelijkheid om specifieke ziekten te diagnosticeren of gedetailleerde rapporten te genereren.

Gebaseerd op voorlopige bevindingen en literatuur, stellen we een hypothese voor: kunnen zwak geannoteerde beeldvormingsrapporten, gecombineerd met AI Deep Learning-algoritmen zoals kennisgrafieken en transformator, worden gebruikt om een ​​interpreteerbaar, multimodaal, multi-modaal, multi-ziekelijke fundusrapport generatiesysteem te bouwen? Dit project heeft als doel bestaande AI -modellen te verfijnen en een systeem te ontwikkelen dat helpt bij het genereren van diagnoses en rapporten voor meerdere netvliesziekten. De resultaten zullen niet alleen de werklast van oogartsen verminderen, maar ook de wijdverbreide acceptatie van geavanceerde fundusbeeldvormingstechnieken bevorderen, waardoor de vroege diagnose en behandeling van verblindende retinale ziekten uiteindelijk wordt verbeterd.