Interpretacyjny system generujący system raportów ds. Chorób dna oparty na słabo etykietach

1. Modele AI do obrazowania multimodalnego dna w diagnozie chorób siatkówki. Modele AI wykazały znaczny potencjał w pomocy w diagnozie różnych chorób siatkówki w oparciu o multimodalne obrazowanie dna dna. W ostatnich latach AI szybko rozwinęła się w dziedzinie diagnostyki obrazowania chorób dna dna. Modele diagnostyczne o wysokiej dokładności można opracować przy użyciu dużych zestawów danych precyzyjnie adnotowanych jedno-modalnych obrazów. Fotografia dna dna, która zapewnia klinicystom początkowe wrażenie diagnostyczne, jest szeroko dostępna i można je uzyskać za pomocą prostych urządzeń do obrazowania, a nawet urządzeń mobilnych. Na przykład Cen i in. Wyszkolił system głębokiego uczenia się przy użyciu 249 620 dokładnie z adnotacjami fotografii dna dna w celu zdiagnozowania 39 wspólnych chorób siatkówki, osiągając dokładność diagnostyczną przekraczającą 90% dla każdego warunku.

   Jednak sama fotografia dna funduszu oferuje ograniczone informacje o chorobie, co utrudnia rozróżnienie między chorobami o podobnych przejawach. Ponadto jego dokładność diagnostyczna jest w dużej mierze oparta na jakości obrazu i wiedzy specjalistycznej klinicysty, co może prowadzić do przypadków pominiętej lub błędnie rozpoznanych.

   Optyczna tomografia koherencyjna (OCT) zawiera trójwymiarową analizę warstw siatkówki, wyraźnie ujawniając nasilenie i lokalizację patologii, takich jak płyn wewnątrzretetyczny i podsiatkowy. OCT stał się standardowym narzędziem diagnostycznym i różnicowym dla chorób siatkówki i jest niezbędne do prowadzenia precyzyjnego leczenia i obserwacji stanów, takich jak zwyrodnienie plamki żółtej związane z wiekiem i cukrzycowy obrzęk plamki. Analiza OCT wspomagana przez AI może dodatkowo zwiększyć kontrolę i spersonalizowane leczenie chorób siatkówki. Na przykład Fauw i in. Wykorzystano 14 884 obrazów OCT do diagnozowania więcej niż 10 chorób siatkówki i mapowania lokalizacji zmian.

   Dokładna diagnoza chorób siatkówki polega również na dowodach dynamicznych i funkcjonalnych. Angiografia fluoresceiny dna (FFA) i angiografia zielona indocyjaniny (ICGA) są niezbędne dla lokalizacji, charakterystyki i oceny funkcji naczyniowej zmiany. Jednak ze względu na złożoność interpretacji obrazów angiograficznych zastosowanie AI w analizie FFA i ICGA dopiero niedawno zyskało przyczepność.

   Ponadto większość przypadków wymaga obrazowania multimodalnego, w tym OCT, fotografii dna dna i angiografii, w celu kompleksowego zlokalizowania i analizy patologii choroby. Ponadto zintegrowanie danych klinicznych i historia medyczna pacjenta ma kluczowe znaczenie dla dokładnej diagnozy. Dlatego istnieje pilna potrzeba opracowania nowych modeli AI zdolnych do integracji danych wielomodalnych, aby pomóc klinicystom w dokładnym zdiagnozowaniu złożonych chorób siatkówki.

2. Pokolenie złożonych raportów medycznych wspomagane przez AI. Złożoność i wyspecjalizowany charakter obrazowania funduszu sprawiają, że interpretacja wizerunku jest trudna, a brak klinicystów zdolnych do generowania precyzyjnych raportów dodatkowo zwiększa obciążenie okulistów i utrudnia wczesną diagnozę i leczenie chorób siatkówki. Generowanie raportów wspomaganych przez AI może potencjalnie rozwiązać te wyzwania. W porównaniu z prostym rozpoznawaniem obrazu i klasyfikacji, opracowanie modeli AI, które generują interpretacje tekstowe z obrazów, jest bardziej złożone, ponieważ wymaga, aby maszyna naśladowała ludzkie zrozumienie zawartości obrazu. Modele „obrazu do tekstu” zawierają różne algorytmy głębokiego uczenia się, w tym wizję komputerową i przetwarzanie języka naturalnego. Wczesne modele wymagały milionów naturalnych obrazów, aby osiągnąć zadowalające generowanie tekstu, co jest niepraktyczne dla obrazowania medycznego ze względu na ograniczone zestawy danych i obszerne informacje tekstowe. Jednak raporty kliniczne generowane przez klinicystów, oparte na kompleksowych danych klinicznych, szczegółowej analizie obrazu i doświadczenia, mogą służyć jako wysokiej jakości zestawy danych szkoleniowych dla takich modeli.

   Obecnie znaczące wysiłki badawcze koncentrują się na obszarach z dużymi zestawami danych i znormalizowanymi formatami raportów, takich jak promieniowanie rentgenowskie klatki piersiowej, skany CT klatki piersiowej i MRI mózgu. Powszechnie używane bazy danych generowania raportów obejmują Open-IU, MIMIC-CXR i padchest, z MIMIC-CXR zawierającymi ponad 270 000 raportów radiogramu klatki piersiowej. W okulistyce, ze względu na złożoność interpretacji obrazowania dna i stosunkowo mniejszej wielkości zestawu danych, badania w tym obszarze są ograniczone, szczególnie w przypadku wysoce wyspecjalizowanych metod obrazowania, takich jak angiografia dna. Nasz zespół z powodzeniem opracował zestaw danych o generowaniu raportów angiografii fluoresceiny (FFA-IR) oparty na obrazach angiograficznych i odpowiednich raportach. Nasz model generowania raportów może tworzyć dokładne doniesienia dwujęzyczne (chińskie i angielski) dla zwykłych i rzadkich chorób siatkówki, przy dokładności porównywalnej z dokładnością u ludzi specjalistów od siatkówki, przy jednoczesnym skracaniu czasu generowania raportów.

3. Słaba adnotacja: obiecujące podejście do szkolenia nowych modeli diagnozy i klasyfikacji choroby Tradycyjne modele diagnostyczne wspomagane przez AI-asyste do obrazowania medycznego zwykle opierają się na dużych, precyzyjnych obrazach o wysokiej jakości, ponieważ dokładność zestawu danych treningowych ma kluczowe znaczenie dla wydajności modelu. Gdy nie można zagwarantować wysokiej dokładności adnotacji, zwiększenie wielkości zestawu danych jest często jedynym sposobem na poprawę wydajności modelu. Jednak w przypadku złożonych zestawów danych, takich jak obrazy angiograficzne dna, duża liczba chorób i zmiennych objawów wykładniczo zwiększają trudności z adnotacją. Ponadto raporty kliniczne często zawierają niepewność z powodu niepełnych danych klinicznych lub różnych poziomów wiedzy specjalistycznej klinicysty, co prowadzi do niedokładności w raportach diagnostycznych.

Słaba adnotacja oferuje obiecujące rozwiązanie w celu zmniejszenia kosztów adnotacji, poprawy wydajności adnotacji i poprawy uogólnienia modelu. W naturalnym przetwarzaniu obrazu szeroko badano słabą adnotację, a na dużą skalę naturalne zestawy danych umożliwiają szkolenie takich modeli. W badaniach medycznych AI Guo i in. Pionierzył zastosowania słabo zbiorów danych pochodzących z raportów CT mózgu, automatycznie wyodrębniając informacje o słowach kluczowych niskiej jakości w celu dokładnego zidentyfikowania i zlokalizowania czterech popularnych patologii mózgu. Takie podejście wykazało doskonałą uogólnienie w różnych ośrodkach i urządzeniach obrazowych. Jednak systemy te były ograniczone do szerokich kategorii chorób i obrazów jednorodnych, bez możliwości diagnozowania określonych chorób lub generowania szczegółowych raportów.

Na podstawie wstępnych wyników i literatury proponujemy hipotezę: Czy słabo opanowane raporty obrazowania w połączeniu z algorytmami głębokiego uczenia się AI, takimi jak wykresy wiedzy i transformator, użyć do zbudowania interpretacyjnego, wielomodalnego, wielorakim systemu generowania raportów funduszu? Ten projekt ma na celu udoskonalenie istniejących modeli AI i opracowanie systemu, który pomaga generować diagnozy obrazowania i raporty dotyczące wielu chorób siatkówki. Wyniki nie tylko zmniejszą obciążenie pracownikami okulistów, ale także promują powszechne przyjęcie zaawansowanych technik obrazowania fundamentu, ostatecznie poprawiając wczesną diagnozę i leczenie oślepiających chorób siatkówki.