Uczenie maszynowe oparte na sztucznej inteligencji w celu diagnozowania i klasyfikowania adenomiozy na podstawie skanów ultradźwiękowych: wieloośrodkowe badanie rozwoju modelu

Wstęp: Adenomioza jest łagodną chorobą ginekologiczną charakteryzującą się obecnością ektopowych komórek endometrium (komórek wyściółki macicy) w mięśniówce macicy (warstwie mięśniowej macicy). Chociaż na całym świecie adenomioza występuje powszechnie u kobiet i dziewcząt na wszystkich etapach życia, począwszy od okresu dojrzewania po okres okołomenopauzalny, pozostaje ona niedodiagnozowana. Kobiety cierpiące na adenomiozę doświadczają wyniszczających objawów obfitego krwawienia miesiączkowego, bolesnych cykli menstruacyjnych, przewlekłego bólu miednicy i niepomyślnych wyników ciąży, co prowadzi do długoterminowego wpływu na jakość ich życia.

Rozpoznanie i klasyfikacja adenomiozy jest niezbędne nie tylko ze względu na nasilenie objawów, ale także w celu doradzania kobietom w zakresie rokowania choroby, sposobu leczenia i długoterminowego wpływu wyników adenomiozy. Jednak klasyfikacja dotkliwości jest nie tylko procesem czasochłonnym i złożonym, ale także zależy od doświadczenia operatora i jest subiektywna. Osiągnięcie tych samych wyników w ułamku czasu przy zmniejszonym nastawieniu operatora, niezależnie od jego wiedzy specjalistycznej, byłoby prawdopodobnie korzystne.

W przypadku zadań związanych z klasyfikacją obrazów uczenie maszynowe (ML) ma ogromny potencjał, pomagając pracownikom służby zdrowia w obiektywnej klasyfikacji ciężkości adenomiozy w ciągu kilku sekund. Struktura głębokiego uczenia się i zautomatyzowane narzędzie do uczenia maszynowego to najnowocześniejsze narzędzia do automatycznej analizy obrazu przezpochwowego USG (TVUS). Może bezpośrednio przetwarzać i automatycznie uczyć się abstrakcyjnych cech średniego i wysokiego poziomu uzyskanych z obrazów ultradźwiękowych przy użyciu modelu głębokiej architektury bez konieczności wcześniejszego ręcznego definiowania cech. Umożliwia to trenowanie, testowanie i sprawdzanie poprawności modelu uczenia maszynowego za pomocą przykładowych obrazów z etykietami do klasyfikacji

Celem badania jest wykorzystanie opatrzonych adnotacjami obrazów ultrasonograficznych prawidłowej macicy i adenomiozy o różnym nasileniu do szkolenia sieci neuronowej przy użyciu nadzorowanego głębokiego uczenia się, które przewiduje, czy obraz wejściowy należy do jednej z następujących klas: brak, łagodny, umiarkowany lub ciężka adenomioza. Będzie to nowatorski projekt, który może w przyszłości pomóc klinicystom i specjalistom zajmującym się ultrasonografią w ocenie ciężkości adenomiozy.

Cel: Zbadanie zastosowania modelu rozpoznawania obrazu wykorzystującego nadzorowane głębokie uczenie się za pomocą zautomatyzowanego narzędzia uczenia maszynowego (Vertex AI) i platformy głębokiego uczenia się (Pytorch) do stworzenia algorytmu ultradźwiękowej klasyfikacji ciężkości adenomiozy.

Projekt i ustawienia badania:

Rodzaj badania: Będzie to wieloośrodkowe obserwacyjne badanie kohortowe. Przy opracowywaniu protokołu odwoływano się do narzędzi APPRAISE-AI i modelu przewidywania ryzyka błędu stronniczości. Narzędzia sztucznej inteligencji (PROBAST-AI).

Ustawienia: Obrazy ultrasonograficzne pacjentek z prawidłową macicą i adenomiozą zostaną pobrane z dziesięciu ośrodków leczenia niepłodności CARE w Wielkiej Brytanii. Obejmuje to placówki CARE Fertility w Birmingham, Tamworth, Nottingham, Northampton, Sheffield, Leeds, Manchester, Bolton, Cheshire i Liverpool.

Populacja: Kohorta badawcza będzie składać się z obrazów ultrasonograficznych pacjentów, którzy uczęszczali do ośrodków USG CARE Fertility w okresie od lutego 2022 r. do lutego 2024 r. i u których zdiagnozowano prawidłową macicę i adenomiozę na podstawie kryteriów oceny ultrasonograficznej morfologicznej macicy (MUSA) podczas badań przesiewowych obrazów. Kryteria MUSA określają ultrasonograficzne cechy myometrium i zmian w myometrium, stosując ujednolicone terminy, definicje i pomiary.

Opublikowany wcześniej schematyczny system mapowania ciężkości adenomiozy zostanie wykorzystany do określenia ciężkości adenomiozy macicy na podstawie przeglądu obrazów. Zdecydowano się na tę opcję ze względu na powtarzalność, znaczny lub prawie idealny stopień zgodności między obserwatorami oraz korelację kliniczną z nasileniem objawów. Każdemu stopniowi przypisuje się wynik od 1 do 4, a suma punktów służy do obliczenia zasięgu choroby: łagodny (1-3), umiarkowany (4-6) i ciężki (>7). . Czas trwania: Badanie USG wykonano w okresie od lutego 2022 r. do lutego 2024 r. Wielkość próbki: Minimalna liczba obrazów wymagana przez Vertex AI Vision do celów szkoleniowych wynosi 100 na kategorię. Prawdopodobieństwo pomyślnego rozpoznania kategorii wzrasta wraz z liczbą wysokiej jakości przykładów dla każdej kategorii. Docelowa wielkość próbki do testowania algorytmu klasyfikacji adenomiozy będzie wynosić od 1000 do 10 000 obrazów dla adenomiozy żadnej, łagodnej, umiarkowanej i ciężkiej. Kompletny zestaw obrazów zostanie równomiernie rozdzielony w kategoriach klasyfikacyjnych; jednakże może nie być możliwe uzyskanie w przybliżeniu równej liczby obrazów dla każdej kategorii. Kompletny zestaw danych zostanie ręcznie podzielony na dwa różne zestawy danych w stosunku 9:1; 90% wybranych obrazów zostanie wykorzystanych jako zbiór danych szkoleniowych (trening + walidacja), a 10% jako zbiór danych testowych. Zapewni to odpowiednie uwzględnienie różnorodnych i reprezentatywnych obrazów dla każdej kategorii. Testowy zbiór danych będzie niezależnym zbiorem danych, który nie będzie wykorzystywany w fazie szkoleniowej, ale zostanie uzyskany z tego samego obiektu, co dane wykorzystane w fazie szkoleniowej.

Minimalizacja potencjalnego wpływu błędu systematycznego: Wszystkie zapisane obrazy ultrasonograficzne macicy normalnej i gruczolakowatej zostaną sprawdzone przez recenzenta doświadczonego w badaniach ginekologicznych i płodności, który nie będzie widział podstawowych cech kobiet, aby uniknąć błędów w identyfikacji i rekrutacji. Dwóch recenzentów niezależnie klasyfikuje stopień nasilenia adenomiozy na łagodną, ​​umiarkowaną i ciężką na podstawie 1000 zestawów obrazów w celu ustalenia zgodności.

Szczegóły oprogramowania AI:

Rodzaj uczenia maszynowego Uczenie głębokie z nadzorem: W przypadku uczenia się z nadzorem maszyna potrzebuje oznaczonych przykładów do nauki. Celem pracy jest nauczenie maszyny rozpoznawania różnego stopnia zaawansowania adenomiozy rozpoznawanej w badaniu ultrasonograficznym. Obrazy USG oznaczone jako „Brak”, „Łagodne”, „Umiarkowane” i „Poważne” zostaną przesłane jako dane wejściowe. Studiując przykłady, algorytm nauczy się rozpoznawać, co odróżnia normalną macicę od łagodnej adenomiozy oraz łagodny od ciężkiego stopnia adenomiozy i przydziela właściwą klasyfikację każdemu nowemu obrazowi, który ma analizować.

Rodzaj frameworku i wersja: Google Cloud Vertex AI Vision API V1 jako narzędzie do automatycznego uczenia maszynowego oraz najaktualniejsza wersja Pytorch jako framework do głębokiego uczenia maszynowego.

Pozyskanie danych wejściowych i selekcja: Dane wejściowe do modelu zostaną pobrane z obrazów USG pacjentek, które zgłosiły się do wyżej wymienionych ośrodków leczenia USG w okresie od lutego 2022 r. do lutego 2024 r. i u których w badaniu przesiewowym obrazów zdiagnozowano prawidłową macicę i adenomiozę. Kwalifikujące się obrazy ultrasonograficzne uczestników badania macicy adenomiotycznej zostaną wyodrębnione jako obrazy dwuwymiarowe (2D) i/lub trójwymiarowe (3D) po usunięciu identyfikatorów pacjenta. Jeśli pacjentka ma więcej niż jedno zdjęcie macicy gruczolakowatej lub prawidłowej, wszystkie te obrazy zostaną uwzględnione. Obrazy te zostaną sprawdzone przez recenzenta w celu zmniejszenia ryzyka stronniczości i sformatowane w sposób zapewniający, że zawierają charakterystyczną dla obrazu cechę ultrasonograficzną adenomiozy. Te sprawdzone i sformatowane obrazy zostaną oznaczone jako brak, łagodne, umiarkowane i ciężkie przez dwóch recenzentów doświadczonych w diagnostyce ultrasonograficznej i klasyfikacji adenomiozy. Do platformy uczenia maszynowego zostaną przesłane trzy zestawy obrazów wejściowych:

1. Zestaw treningowy: 80% danych obrazu będzie znajdować się w zestawie treningowym. Model „widzi” i początkowo uczy się na podstawie tych danych.
2. Zbiór walidacyjny: zbiór walidacyjny jest również częścią procesu uczenia, ale jest trzymany oddzielnie w celu dostrojenia hiperparametrów modelu. 10% wszystkich obrazów innych niż zestaw danych szkoleniowych zostanie użytych w celu dostrojenia struktury modelu tak, aby był potrafi lepiej generalizować.
3. Zbiór testowy: Zbiór testowy wchodzi na etap dopiero po procesie uczenia. Posłuży do przetestowania wydajności modelu na danych, których jeszcze nie widział. 10% wszystkich obrazów zostanie użytych jako zestaw testowy. Nieoznakowane obrazy testowe zostaną przesłane do systemu, a działanie modelu sztucznej inteligencji (AI) zostanie porównane ze standardem, tj. pierwotną klasyfikacją badaczy. Podział całkowitych danych obrazu na zbiór uczący, zbiór walidacyjny i zbiór testowy zostanie wykonany ręcznie. Postępowanie w przypadku złej jakości lub niedostępnych danych wejściowych: te obrazy zostaną wykluczone.

Kryteria kwalifikacyjne:

Włączenie:

A. Uczestniczki: Kobiety zgłaszające się do wyżej wymienionego centrum leczenia niepłodności na badanie USG w okresie od lutego 2022 r. do lutego 2024 r. z dowolnego wskazania, u których w badaniu USG na przesiewowym obrazie stwierdza się prawidłową macicę i adenomiozę.

B. Dane wejściowe: Dobrej jakości i jednoznaczne obrazy 2D i/lub 3D prawidłowej macicy i macicy adenomiotycznej, w których wyraźnie widoczne są ultrasonograficzne cechy adenomiozy.

Wykluczenie:

A. Uczestniczki: Kobiety ze współistniejącym pojedynczym lub mnogim mięśniakiem śródściennym oraz nieprawidłowościami w jamie endometrium.

B. Dane wejściowe: Niejednoznaczne badanie ultrasonograficzne w ocenie recenzenta, obrazy o niskiej jakości, w przypadku których ultrasonograficzna charakterystyka adenomiozy jest niejasna oraz obrazy, których nie można zakwalifikować do żadnej z czterech kategorii, zostaną wykluczone.

Zgoda:

Badanie ma charakter czysto obserwacyjny i nie przeprowadza się w nim żadnej interwencji ani dodatkowego etapu. Obrazy ultrasonograficzne macicy normalnej i gruczolakowatej można uzyskać w czasie, gdy u kobiety występuje TVUS, co jest częścią rutynowej praktyki klinicznej. Ponieważ urządzenie ultradźwiękowe umożliwia eksport obrazów bez informacji umożliwiających identyfikację pacjenta, przed wyodrębnieniem danych (które obejmują wyłącznie obrazy ultradźwiękowe) zostaną usunięte informacje umożliwiające identyfikację pacjenta (imię i nazwisko oraz data urodzenia). Przed złożeniem wniosku skierowano listę kontrolną Grupy Doradczej ds. Poufności ds. poufności (CAG) Urzędu ds. Badań nad zdrowiem NHS w celu ustalenia, czy projekt kwalifikuje się do przetwarzania informacji o pacjencie bez zgody. W związku z tym od uczestników badania nie będzie wymagana żadna świadoma zgoda, ponieważ wykorzystane zostaną jedynie zanonimizowane dane, które są już dostępne.

Wyniki i analiza statystyczna

Podstawowe wyniki: średnia precyzja (dodatnia wartość predykcyjna), precyzja, przypominanie, obszar pod krzywą charakterystyki operacyjnej odbiornika (AUC), czułość, swoistość i dokładność modelu będą głównymi wynikami będącymi przedmiotem zainteresowania w przypadku modelu zautomatyzowanego i głębokiego uczenia maszynowego. Wszystkie analizy zostaną przeprowadzone przy użyciu oprogramowania Stata Statistical Software (wersja 18, Teksas, USA) do modelu ramowego głębokiego uczenia maszynowego (ML) oraz przy użyciu oprogramowania do automatycznego uczenia maszynowego do zautomatyzowanego modelu ML. Po wyszkoleniu zautomatyzowanego modelu, szczegółowa analiza składająca się z podsumowania wydajności modelu, która zostanie zaraportowana (wyjście modelu). Będą one obejmować:

• Próg wyniku: Próg wyniku odnosi się do poziomu pewności, jaki musi mieć model, aby przypisać kategorię do elementu testowego. Suwak progu wyniku w konsoli Google Cloud to wizualne narzędzie umożliwiające testowanie wpływu różnych progów dla wszystkich kategorii i poszczególnych kategorii w zbiorze danych. Podczas oceny zostanie przyjęty próg punktowy zapewniający odpowiednią równowagę pomiędzy wynikami fałszywie pozytywnymi i fałszywie negatywnymi.
• Prawdziwie pozytywne, prawdziwie negatywne, fałszywie pozytywne i fałszywie negatywne
• Precyzja i zapamiętywanie: Ze wszystkich testowych obrazów, którym przypisano kategorię, precyzja wskazuje, ile faktycznie miało zostać sklasyfikowanych za pomocą tej etykiety, a zapamiętywanie wskazuje, ile faktycznie przypisano tę etykietę. Etykieta standardu odniesienia odnosi się do kategoryzacji dokonanej przez badaczy.
• Krzywe precyzji/przypomnienia

Wynik drugorzędny: Ocena zgodności między dwoma recenzentami w ocenie ultrasonograficznej adenomiozy przy użyciu kappa Fleissa. Współczynniki K stosowane do interpretacji siły zgodności będą następujące: ≤0 = słaba, 0,01 do 0,20 = niewielka, 0,21 do 0,40 = zadowalająca, 0,41 do 0,60 = umiarkowana, 0,61 do 0,80 = znaczna i 0,81 do 1 = prawie doskonała .

Przetwarzanie danych i prowadzenie dokumentacji: Dane (niezidentyfikowane obrazy USG) będą przechowywane w Google Cloud zgodnie z ustawą o ochronie danych z 2018 r.

Kwalifikujące się obrazy USG normalnej i gruczolakowatej macicy pacjentek zostaną pobrane jako obrazy 2D i/lub 3D po usunięciu identyfikatorów pacjenta. Po zakończeniu badania obrazy przechowywane w Google Cloud zostaną usunięte.

Kontrola i zapewnienie jakości: Przez cały czas trwania badania będą przestrzegane Zasady Dobrej Praktyki Klinicznej.

Zgłaszanie zdarzeń niepożądanych: Biorąc pod uwagę obserwacyjny charakter badania i brak dodatkowego etapu w projekcie badania poza wyjściowym TVUS, nie ma tu żadnych względów bezpieczeństwa.

Względy etyczne:

Uzyskano zgodę dotyczącą etyki od lokalnej Instytucjonalnej Komisji Rewizyjnej (IRB) oraz od zespołu badawczo-rozwojowego CARE Fertility.

Poufność i ochrona danych: Do identyfikacji uczestników badania stosowany będzie unikalny numer identyfikacyjny obrazu. Wszystkie dane osobowe wykorzystane w badaniu będą przetwarzane zgodnie z ustawą o ochronie danych osobowych z 2018 r. i będą traktowane jako ściśle poufne.

Finansowanie: Fundusze na ten projekt pochodzą z Narodowego Centrum Badań nad Poronieniem Tommy'ego w Birmingham, Wielka Brytania.

Konflikt interesów: Z tym badaniem nie wiąże się żaden konflikt interesów.

Poprawki: Wszelkie zmiany w protokole badania lub dokumentacji będą inicjowane przez głównego badacza. Wszystkie istotne zmiany zostaną przedłożone IRB do zatwierdzenia, a następnie zostaną wprowadzone we wszystkich ośrodkach objętych badaniem. Zmiany zostaną udokumentowane w części „Poprawka do protokołu” protokołu badania.

Koniec definicji projektu: Gromadzenie i przygotowanie danych, szkolenie i ocena modelu oraz pisanie manuskryptu będą odbywać się przez okres 12 miesięcy.

Przyszłe aspekty badania: Celem długoterminowym jest analiza tego wewnętrznie zatwierdzonego modelu sztucznej inteligencji na potrzeby zewnętrznej walidacji w zewnętrznych ośrodkach Narodowej Służby Zdrowia (NHS) przy użyciu systemu zarchiwizowanych obrazów PACS i skorelowanie go z histopatologią próbek po histerektomii. Obejmuje to również analizę użyteczności klinicznej poprzez ocenę wpływu modelu na podejmowanie decyzji i wyniki. Jeśli działanie modelu będzie odpowiednie pod względem pozytywnej wartości predykcyjnej, precyzji i użyteczności klinicznej, zostanie on wdrożony do użytku w czasie rzeczywistym z wykorzystaniem przewidywania online. Model może zostać wykorzystany do wniosków klasyfikacyjnych w formie aplikacji on-line lub jako aplikacja zintegrowana z aparatami USG.

Polityka wydawnicza: Wyniki badania zostaną udostępnione w mediach naukowych i społecznościowych. Wyniki badania zostaną przesłane do recenzowanego czasopisma z zakresu ultrasonografii ginekologicznej (Ultrasound in Obstetrics and Gynecology (UOG)) oraz zdrowia cyfrowego (The Lancet Digital Health). Manuskrypt zostanie przygotowany przez dr Ishitę Mishrę, a autorstwo zostanie określone na podstawie stopnia wkładu danej osoby w badanie i pisanie manuskryptu.