Systém generování interpretovatelných nemocí Fundus založený na slabých značkách

1. Modely AI pro multimodální zobrazování fundusu v diagnostice onemocnění sítnice. Modely AI prokázaly významný potenciál při pomoci diagnostice různých onemocnění sítnice na základě multimodálního zobrazování fundusu. V posledních letech AI rychle postupovala v oblasti diagnostiky zobrazování nemocí fundusu. Diagnostické modely s vysokou přesností lze vyvinout pomocí velkých datových sad přesně anotovaných jednomodálních obrázků. Fundus Photography, která poskytuje klinickým lékařům počáteční diagnostický dojem, je široce přístupný a lze ji získat pomocí jednoduchých zobrazovacích zařízení nebo dokonce mobilních zařízení. Například Cen et al. Vyškolil hluboký výukový systém s využitím 249 620 přesně anotovaných fotografií Fundusu, aby diagnostikoval 39 běžných onemocnění sítnice a dosáhl diagnostických přesností přesahujících 90% pro každou podmínku.

   Samotná fotografie Fundus však nabízí omezené informace o onemocněních, což je náročné rozlišovat mezi nemocemi s podobnými projevy. Kromě toho je jeho diagnostická přesnost silně založena na kvalitě obrazu a odborných znalostech klinického lékaře, což může vést ke zmeškaným nebo nesprávným případům.

   Optická koherenční tomografie (OCT) poskytuje trojrozměrnou analýzu sítnicových vrstev a jasně odhaluje závažnost a umístění patologií, jako je intraretinální a subretinální tekutina. OCT se stal standardním diagnostickým a diferenciálním diagnostickým nástrojem pro onemocnění sítnice a je nezbytný pro vedení přesné léčby a sledování stavů, jako je makulární degenerace související s věkem a diabetický makulární edém. Analýza OCT-Assistovaná A-AISTISTED může dále zlepšit sledování a personalizované léčby onemocnění sítnice. Například Fauw et al. Využilo 14 884 OCT obrazů k diagnostice více než 10 onemocnění sítnice a mapování umístění lézí.

   Přesná diagnóza onemocnění sítnice se také spoléhá na dynamické a funkční důkazy. Fundus fluorescein angiografie (FFA) a indokyaninová zelená angiografie (ICGA) jsou nezbytné pro umístění, charakterizaci a hodnocení vaskulární funkce léze. Avšak vzhledem ke složitosti interpretace angiografických obrazů však aplikace AI v analýze FFA a ICGA teprve nedávno získala trakci.

   Většina případů navíc vyžaduje multimodální zobrazování, včetně OCT, fotografie fundusu a angiografie, aby komplexně lokalizovala a analyzovala patologii onemocnění. Integrace klinických údajů a anamnézy pacienta je navíc zásadní pro přesnou diagnózu. Proto existuje naléhavá potřeba vyvinout nové modely AI schopné integrovat multimodální údaje, které pomáhají klinickým lékařům při přesné diagnostice složitých onemocnění sítnice.

2. A-asistovaná generace složitých lékařských zpráv. Složitost a specializovaná povaha zobrazování fundusu způsobují, že interpretace obrazu je náročné a nedostatek kliniků schopných generovat přesné zprávy dále zvyšuje pracovní zátěž oftalmologů a brání včasné diagnóze a léčbu onemocnění sítnice. Generování zpráv s pomocí AI má potenciál řešit tyto výzvy. Ve srovnání s jednoduchým rozpoznáváním a klasifikací obrázků je vývoj modelů AI, které generují textové interpretace z obrázků, složitější, protože vyžaduje, aby stroj napodobil lidské porozumění obsahu obrazu. Modely „Image-Toxt“ zahrnují různé algoritmy hlubokého učení, včetně počítačového vidění a zpracování přirozeného jazyka. První modely vyžadovaly miliony přirozených obrázků k dosažení uspokojivého generování textu, což je nepraktické pro lékařské zobrazování kvůli omezeným datovým souborům a rozsáhlým textovým informacím. Klinické zprávy generované klinickými lékaři na základě komplexních klinických údajů, podrobné analýzy obrazu a zkušeností, však mohou pro takové modely sloužit jako vysoce kvalitní datové sady školení.

   V současné době je významné výzkumné úsilí zaměřeno na oblasti s velkými datovými sadami a standardizovanými formáty sestav, jako jsou rentgenové paprsky hrudníku, skenování hrudníku CT a MRI mozku. Mezi široce používané databáze generování zpráv zahrnují Open-IU, Mimic-CXR a Padchest, přičemž mimic-CXR obsahuje více než 270 000 rentgenových zpráv hrudníku. V oftalmologii je v důsledku složitosti interpretace zobrazování fundusu a relativně menší velikosti souboru dat omezený, zejména pro vysoce specializované zobrazovací modality, jako je fundus angiografie. Náš tým úspěšně vyvinul fundus fluorescein angiografii Report Generation Dataset (FFA-IR) založenou na angiografických obrázcích a odpovídajících zprávách. Náš model generování zpráv může produkovat přesné dvojjazyčné zprávy (čínsky a angličtinu) pro běžná a vzácná onemocnění sítnice, přičemž přesnost srovnatelná s přesností odborníků na sítnici, přičemž výrazně zkracuje dobu generování zprávy.

3. Slabá anotace: Slibný přístup pro trénink Diagnózy a klasifikace nemocí v modelech tradičních diagnostických modelů pro lékařské zobrazování se obvykle spoléhá na rozsáhlé, přesně anotované, vysoce kvalitní obrazy, protože přesnost souboru dat tréninku je pro výkon modelu rozhodující. Pokud nelze zaručit vysokou přesnost anotace, je zvětšení velikosti datového souboru často jediným způsobem, jak zlepšit výkon modelu. U složitých datových sad, jako jsou obrazy Fundus Angiography, však velký počet nemocí a variabilních projevů exponenciálně zvyšuje obtížnost anotace. Klinické zprávy navíc často obsahují nejistoty kvůli neúplným klinickým údajům nebo různým úrovním odborných znalostí lékařů, což vede k nepřesnosti v diagnostických zprávách.

Slabá anotace nabízí slibné řešení ke snížení nákladů na anotaci, zlepšení účinnosti anotace a zlepšení zobecnění modelu. Při přirozeném zpracování obrazu byla široce studována slabá anotace, přičemž rozsáhlé přirozené datové sady obrazu umožňují školení těchto modelů. V lékařském výzkumu AI Guo et al. Průkopníkem použití slabě anotovaných datových sad odvozených z mozkových CT zpráv a automaticky extrahování informací o klíčových slovech nízké kvality, aby přesně identifikovaly a našli čtyři běžné patologie mozku. Tento přístup prokázal vynikající zobecnění napříč různými centry a zobrazovacími zařízeními. Tyto systémy však byly omezeny na široké kategorie nemocí a jednomodálních obrazů, které postrádaly schopnost diagnostikovat konkrétní nemoci nebo generovat podrobné zprávy.

Na základě předběžných nálezů a literatury navrhujeme hypotézu: Lze slabé anotované zobrazovací zprávy v kombinaci s algoritmy hlubokého učení AI, jako jsou grafy znalostí a transformátor, použít k vytvoření interpretovatelného, ​​multimodálního, vícenásobného systému generování zpráv fundusu? Cílem tohoto projektu je upřesnit stávající modely AI a vyvinout systém, který pomáhá generovat zobrazovací diagnózy a zprávy pro více onemocnění sítnice. Výsledky nejen sníží pracovní zátěž oftalmologů, ale také podporují rozšířené přijetí pokročilých zobrazovacích technik Fundus, což nakonec zlepší včasnou diagnózu a léčbu oslepujících onemocnění sítnice.