Tulkittavissa oleva fundusires -raportin luomisjärjestelmä, joka perustuu heikosti merkinnöihin

1. AI -mallit multimodaaliseen fundus -kuvantamiseen verkkokalvon sairauksien diagnoosissa. AI -mallit ovat osoittaneet merkittävän potentiaalin auttaa erilaisten verkkokalvon sairauksien diagnosointia, joka perustuu multimodaaliseen fundus -kuvantamiseen. Viime vuosina AI on nopeasti edennyt Fundustautien kuvantamisdiagnostiikan alalla. Korkean tarkkuusdiagnostiikkamallit voidaan kehittää käyttämällä suuria tietojoukkoja tarkasti merkittyjä yhden modaalisia kuvia. Fundus Photography, joka tarjoaa lääkäreille alkuperäisen diagnostisen vaikutelman, on laajalti saatavissa ja se voidaan saada käyttämällä yksinkertaisia ​​kuvantamislaitteita tai jopa mobiililaitteita. Esimerkiksi Cen et ai. Koulutettu syvän oppimisjärjestelmän käyttämällä 249 620 tarkasti merkittynä vakiovalokuvia diagnosoimaan 39 yleistä verkkokalvon sairautta, saavuttaen diagnostiset tarkkuudet, jotka ylittävät 90% jokaisesta tilasta.

   Pelkästään Fundus Photography tarjoaa kuitenkin rajoitetun tautitiedon, joten on haastavaa erottaa sairaudet, joilla on samanlaisia ​​ilmenemismuotoja. Lisäksi sen diagnostinen tarkkuus perustuu voimakkaasti kuvanlaatuun ja kliinikon asiantuntemukseen, mikä voi johtaa menetettyihin tai väärin diagnosoituihin tapauksiin.

   Optinen koherenssitomografia (OCT) tarjoaa kolmiulotteisen analyysin verkkokalvon kerroksista, paljastaen selvästi patologioiden, kuten intraretinaalin ja subretinaalisen nesteen, vakavuuden ja sijainnin. OCT: stä on tullut verkkokalvon sairauksien tavanomainen diagnostinen ja differentiaalinen diagnostiikkatyökalu, ja se on välttämätöntä, jotta voidaan ohjata olosuhteiden tarkkaa hoitoa ja seurantaa, kuten ikään liittyvää makulan rappeutumista ja diabeettisen makulan turvotusta. AI-avusteinen OCT-analyysi voi edelleen parantaa verkkokalvon sairauksien seurantaa ja henkilökohtaista hoitoa. Esimerkiksi Fauw et ai. Käytettiin 14 884 lokakuuta kuvaa yli 10 verkkokalvon sairauden diagnosoimiseksi ja vaurioiden sijainnin kartoittamiseksi.

   Verkkokalvon sairauksien tarkka diagnoosi riippuu myös dynaamisista ja toiminnallisista todisteista. Fundus -fluoreseiini -angiografia (FFA) ja indocyaniinin vihreä angiografia (ICGA) ovat välttämättömiä vaurion sijainnin, karakterisoinnin ja arvioinnin kannalta. Angiografisten kuvien tulkitsemisen monimutkaisuuden vuoksi AI: n soveltaminen FFA- ja ICGA -analyysiin on kuitenkin vasta äskettäin saanut pitoa.

   Lisäksi useimmat tapaukset vaativat multimodaalista kuvantamista, mukaan lukien OCT, Fundus Photography ja Angiografia, taudin patologian kattavan ja analysoimiseksi. Lisäksi kliinisten tietojen ja potilaan sairaushistorian integrointi on ratkaisevan tärkeää tarkan diagnoosin kannalta. Siksi on kiireellisesti kehitettävä uusia AI-malleja, jotka kykenevät integroimaan monimodaaliset tiedot lääkäreiden auttamiseksi tarkasti monimutkaisten verkkokalvon sairauksien diagnosoinnissa.

2. AI-avustettu monimutkaisten lääketieteellisten raporttien sukupolvi. Fundus Imagingin monimutkaisuus ja erikoistunut luonne tekevät kuvan tulkinnasta haastavan, ja tarkat raportit kykenevät kliinisten lääkäreiden puute lisää silmäkalvon sairauksien varhaista diagnosointia ja hoitoa. AI-avusteisella raportin luomisella on potentiaalia vastata näihin haasteisiin. Verrattuna yksinkertaiseen kuvantunnistukseen ja luokitteluun, AI-mallien kehittäminen, jotka tuottavat kuvista tekstimuotoisia tulkintoja, on monimutkaisempaa, koska se vaatii konetta jäljittelemään ihmisen kaltaista kuvan sisällöstä. "Kuva-teksti" -malleihin sisältyy erilaisia ​​syvän oppimisen algoritmeja, mukaan lukien tietokoneen visio ja luonnollinen kielenkäsittely. Varhaiset mallit vaativat miljoonia luonnollisia kuvia tyydyttävien tekstintuotannon saavuttamiseksi, mikä on epäkäytännöllistä lääketieteellisen kuvantamisen kannalta rajoitetun tietoaineiston ja laajan tekstitiedon vuoksi. Kliinisten kliinisten kliinisten tietojen, yksityiskohtaisten kuvaanalyysien ja kokemuksen perusteella perustuvat kliiniset raportit voivat toimia tällaisten mallien korkealaatuisina koulutustietojoukkoina.

   Tällä hetkellä merkittäviä tutkimuspyrkimyksiä keskittyy alueille, joilla on suuret tietojoukot ja standardisoidut raporttimuodot, kuten rintakehän röntgenkuvat, rintakehän CT-skannaukset ja aivojen MRI. Laajasti käytettyihin raporttien tuotantotietokantaan kuuluvat Open-IU, MIMIC-CXR ja Padchest, Jimic-CXR: llä, joka sisältää yli 270 000 rintakehän röntgenkuvaa. Silmäympäristössä, johtuen fundus -kuvantamisen tulkinnan ja tietojoukon suhteellisen pienemmän koon monimutkaisuuden vuoksi tutkimusta tällä alueella on rajallinen, etenkin erittäin erikoistuneille kuvantamismuodoille, kuten fundus -angiografialle. Tiimimme on onnistuneesti kehittänyt Fundus Fluoreseiin Angiography Report Generation DataSet (FFA-IR), joka perustuu angiografian kuviin ja vastaaviin raportteihin. Raportin tuotantomallimme voi tuottaa tarkkoja kaksikielisiä raportteja (kiinalainen ja englanti) tavallisille ja harvinaisille verkkokalvon sairauksille, ja tarkkuus on verrattavissa ihmisen verkkokalvon asiantuntijoiden tarkkuuteen, samalla kun vähentäen merkittävästi raportin tuotanto -aikaa.

3. Heikko merkintä: Lupaava lähestymistapa uusien sairauksien diagnoosin ja luokittelumallien kouluttamiseen perinteiset AI-avusteiset diagnostiset mallit lääketieteelliselle kuvantamiselle luottaa tyypillisesti laajamittaisiin, tarkasti merkittyihin, korkealaatuisiin kuviin, koska koulutustietojoukon tarkkuus on kriittinen mallin suorituskyvyn kannalta. Kun suurta merkintätarkkuutta ei voida taata, tietojoukon koon lisääminen on usein ainoa tapa parantaa mallin suorituskykyä. Monimutkaisissa tietojoukkoissa, kuten fundus -angiografiakuvissa, suuri määrä sairauksia ja muuttuvia oireita kuitenkin lisäävät eksponentiaalisesti merkintävaikeuksia. Lisäksi kliiniset raportit sisältävät usein epävarmuustekijöitä, jotka johtuvat epätäydellisistä kliinisistä tiedoista tai kliinisen asiantuntemuksen vaihtelevista tasoista, mikä johtaa epätarkkuuksiin diagnoosiraporteissa.

Heikko merkintä tarjoaa lupaavan ratkaisun merkitsemiskustannusten vähentämiseksi, merkinnän tehokkuuden parantamiseksi ja mallin yleistävyyden parantamiseksi. Luonnollisessa kuvankäsittelyssä heikkoa merkintää on tutkittu laajasti, ja laajamittaiset luonnolliset kuvatiedot mahdollistavat tällaisten mallien koulutuksen. Lääketieteellisessä AI -tutkimuksessa Guo et ai. Aivo CT-raporteista johdettujen heikosti merkittyjen tietojoukkojen käytön edelläkävijä oli käyttämällä automaattisesti heikkolaatuista avainsanatietoa tunnistamaan ja löytämään tarkasti neljä yleistä aivopatologiaa. Tämä lähestymistapa osoitti erinomaista yleistävyyttä eri keskuksissa ja kuvantamislaitteissa. Nämä järjestelmät rajoittuivat kuitenkin laajoihin sairauksien ja yhden modaalisten kuvien luokkiin, joilla ei ollut kykyä diagnosoida tiettyjä sairauksia tai luoda yksityiskohtaisia ​​raportteja.

Alustavien havaintojen ja kirjallisuuden perusteella ehdotamme hypoteesia: Voiko heikosti merkitty kuvantamisraportit yhdistettynä AI: n syvän oppimisen algoritmeihin, kuten tietokaavioihin ja muuntajaan, käytetään tulkittavan, multimodaalisen, moni-disease Fund -raportin luomisjärjestelmän rakentamiseen? Projektin tavoitteena on hienosäätää olemassa olevia AI -malleja ja kehittää järjestelmä, joka auttaa luomaan kuvantamisdiagnooseja ja raportteja useista verkkokalvon sairauksista. Tulokset eivät vain vähennä silmälääkärien työmäärää, vaan edistävät myös edistyneiden funding -kuvantamistekniikoiden laajaa käyttöönottoa, mikä parantaa lopulta verkkokalvon sairauksien sokeuttavien varhaista diagnoosia ja hoitoa.