Interpretacja echokardiografii płodu przez sztuczną inteligencję (LIFE)

Wstęp:

Na całym świecie wrodzona wada serca (CHD) jest najczęściej spotykaną wadą rozwojową płodu. Częstość występowania wrodzonych wad serca wydaje się wynosić około 1 na 100 żywo urodzonych niemowląt i jest jeszcze wyższa u niemowląt, które zmarły przed terminem (1). Echokardiografia płodowa (FE) ewoluowała od opisu anatomicznych nieprawidłowości serca do ilościowej oceny jego funkcji, wymiarów i kształtu (2). Obecnie FE jest wykonywana ręcznie przez ultrasonografa podczas badania drugiego trymestru. Jednak tylko połowa dzieci poddawanych zabiegom chirurgicznym w pierwszym roku życia ma rozpoznanie prenatalne (3), co tłumaczy potrzebę poprawy oceny serca płodu. W wielu badaniach wykazano istnienie znacznej rozbieżności między prenatalnym i postnatalnym rozpoznaniem CHD uzyskanym na podstawie ręcznie wykonanej FE (4, 5).

Inteligentne systemy wspomagania decyzji (IS) to ramy, które mają zdolność gromadzenia i analizowania danych, komunikowania się z innymi systemami, uczenia się na podstawie doświadczeń i dostosowywania do nowych przypadków. Technicznie rzecz biorąc, IS to zaawansowane maszyny, które obserwują środowisko, na które zostały narażone, i reagują na nie, wykorzystując sztuczną inteligencję (AI) (6). Projekt ten ma na celu wspieranie wzajemnego zapłodnienia FE i IS, co zapewni ogromny potencjał w opracowywaniu nowych fundamentalnych teorii i praktycznych metod, które wykraczają poza granice zaangażowanych dyscyplin i prowadzą do nowych wpływowych metod, które wspomagają praktykę medyczną i odkrycia.

Metody i analiza:

Badanie, które ma zostać przeprowadzone, jest badaniem przekrojowym podzielonym na dwie odrębne części: część szkoleniową podejścia do uczenia maszynowego w proponowanych ramach oraz fazę testowania na wcześniej niewidzianych klatkach i ostatecznie na rzeczywistych skanach wideo. Wszystkie kobiety w ciąży w pierwszym i drugim trymestrze są uważane za kwalifikujące się do badania. Kobiety w ciąży będą przyjmowane na rutynowe badanie USG i monitoring, pierwszy raz między 12-13+6 tygodniem ciąży (w przypadku USG I trymestru) i/lub między 18-24 tygodniem ciąży (w przypadku USG II trymestru) . Dwuwymiarowa ocena każdego serca płodu będzie obejmowała przeciągnięcie pętli cine uzyskane z płaszczyzny widoku czterojamowego poprzez przesunięcie głowicy dogłowowo w kierunku górnego śródpiersia, co umożliwi wizualizację następujących płaszczyzn: projekcja czterojamowa, lewa i prawa drogi odpływu komorowego, trzy naczynia i widok tchawicy. Wszystkie pliki wideo zapisane z urządzeń w USA zostaną zebrane w chmurze. Każde badanie ultrasonograficzne zostanie podzielone na ramki przez oddział OB-GYN/Cardio (OBC). Dział Data Science / IT (DSIT) będzie przetwarzał ramki w celu przestrzegania przepisów dotyczących anonimizacji. W celu identyfikacji kluczowych cech klatki zostaną pogrupowane przez OBC w klasy, które reprezentują widoki płaszczyzny dla każdego trymestru. DSIT wypróbuje różne najnowocześniejsze, wstępnie wytrenowane algorytmy DL na zbiorze danych z widokami płaszczyzny. Wszystkie ostatnie wpisy DL zostaną dostosowane i przetestowane na obecnych dwóch scenariuszach identyfikacji widoku klucza i segmentacji semantycznej. Wyniki ich występów (ich przewidywania w stosunku do podstawowej prawdy oznaczonej przez OBC) zostaną przeanalizowane w porównaniu za pomocą testu statystycznego. Równowaga dokładności i prędkości będzie brana pod uwagę w rankingu podejść, ponieważ system ostatecznie wykona się na wideo. Gdy nowe wideo będzie dostępne w praktyce, model wybrany do danego zadania uwydatni kluczową cechę lub segmentowany region na wideo, a także zapewni stopień pewności w jego rozpoznaniu. Lekarze OBC zweryfikują wszystkie ustalenia pośrednie na poziomie klatki, a także sensowność etykietowania i segmentacji wideo. Wyniki modelu na filmach z pierwszego i drugiego trymestru tej samej pacjentki zostaną porównane w celu oceny rozbieżności.

ANALIZA AI (SZTUCZNEJ INTELIGENCJI).

Budowa bazy danych:

Zbiór danych do analizy AI zostanie skonstruowany z obrazów wyodrębnionych ze skanów ultrasonograficznych wykonanych w płaszczyźnie wierzchołkowej. W konsekwencji rozważany jest problem klasyfikacji z czterema kategoriami odpowiadającymi danym poglądom kluczowym. Wyznaczana jest dodatkowa klasa Inne, która jest wypełniana obrazami innych nieistotnych klatek ze skanu.

Wstępne przetwarzanie obrazu do skanów serca płodu:

Pierwszym krokiem jest ekstrakcja wykonywana poprzez konwersję obrazu do skali szarości i zastosowanie progu. W ten sposób szum tła jest odrzucany. W celu wyeliminowania małych mostków między obszarem zainteresowania a innymi obszarami obrazu, stosowana jest erozja przy użyciu jądra 10x10 pikseli. Po erozji, poza obszarem zainteresowania, na obrazie może pojawić się kilka mniejszych „wysp”. Interesująca strefa ma dwie właściwości, które odróżniają ją od pozostałych wysp: zawsze obejmuje centralny obszar obrazu i ma najwyższy obszar. W celu wyeliminowania nieistotnych wysp, najpierw identyfikowane są plamy, które pokrywają centralny obszar obrazu, a następnie wybierany jest punkt o największym pokryciu powierzchni. Wykryty punkt jest wypełniany, a następnie przywracany jest wymiar poprzez zastosowanie algorytmu dylatacji, przy użyciu tego samego jądra 10x10 pikseli. Aby zapobiec utracie drobnych szczegółów wokół rozszerzonego miejsca, jego wypukła otoczka jest rysowana i wypełniana. Ostatecznie wygenerowany punkt jest używany jako maska ​​do wyodrębnienia obszaru zainteresowania z oryginalnego obrazu.

Wyniki eksperymentalne:

Rozważane są trzy warianty zbierania danych: oryginalne próbki dwustronne (standardowe + dopplerowskie), pojedyncze wycinki dopplerowskie i połączone pary obrazów wynikowych wycięć standardowych i dopplerowskich.

Architektury ResNet18 i ResNet50, z podobnymi konfiguracjami, są stosowane kolejno dla każdego zestawu danych w celu oceny przydatności wstępnego przetwarzania.

Ponieważ zbiory danych z przyciętymi obrazami zawierają przedstawicieli wszystkich początkowych obrazów, wszystkie zestawy mają taką samą liczbę elementów i strukturę dla każdej klasy, jak również dla separacji treningowych, walidacyjnych i testowych. W celu obiektywnej oceny wszystkie obrazy pobrane od pacjenta znajdują się w tym samym oddzieleniu zbioru danych, tj. treningu, walidacji lub testu. Dzieje się tak nawet wtedy, gdy w różnych momentach wykonano wiele plików wideo dla pacjenta (np. odstępie kilku tygodni) w czasie.

Obrazy są przeskalowane do 224 × 224 pikseli. Stosowana jest polityka 1cyklu, a implementacja odbywa się z wykorzystaniem bibliotek fastai i PyTorch. Początkowe wagi modelu są pobierane w ramach uczenia się transferu, zgodnie ze wstępnym szkoleniem w zestawie danych ImageNet. Używane są domyślne opcje powiększania danych. Proces uczenia składa się z 2 etapów, z których każdy zawiera tylko 10 epok. Podczas pierwszej sesji szkoleniowej wszystkie warstwy są zamrożone, z wyjątkiem warstw normalizacji wsadowej i głowy modelu. Jego wybór kontroluje, w jaki sposób wagi sieci są dostosowywane do gradientu strat, a wybór odpowiedniej wartości jest niezbędny do uzyskania zbieżności modelu do lokalnego minimum, a tym samym uzyskania lepszej dokładności w mniejszej liczbie epok. Wielkość partii jest równa 32. Model, który osiąga najwyższą dokładność danych walidacyjnych, jest stosowany na zbiorze testowym. Dla każdej z 2 architektur i dla każdego oddzielnego zestawu danych wykonuje się 5 powtórzonych aplikacji, a zgłoszone wyniki dla każdego przypadku są obliczane jako średnia z 5 wyników. Przebiegi są wykonywane w Google Colab, przy użyciu Tesla T4 dla GPU. B. Udane podejście do mapy aktywacji klas gradientu (Grad-CAM) jest stosowane do określania decyzji modelu dla etykietowania aorty i innych dla każdego zestawu danych. Wykresy pochodzą z 5 przebiegów, które są obliczane dla każdej odrębnej konfiguracji (architektura, zestaw danych).