Ocena oprogramowania wspomaganego komputerowo do wykrywania guzków w płucach w tomografii komputerowej klatki piersiowej dla firmy Riverain Technologies LLC

Przeprowadzone zostanie badanie czytelników z udziałem co najmniej dziesięciu (10) radiologów. Krzywa charakterystyki działania zlokalizowanego odbiornika zostanie wykorzystana do oceny wydajności diagnostycznej radiologów (pod względem kompromisu między czułością a specyficznością przy zmianie kryteriów decyzyjnych) w wykrywaniu guzków w płucach w tomografii komputerowej płuc z użyciem i bez System ClearRead CT Insight (CRCTI). Rejestrowany będzie również czas potrzebny na przegląd i interpretację każdego przypadku.

Wstępna (wyjściowa) interpretacja zostanie dokonana przez każdego z radiologów na podstawie tomografii komputerowej płuc w jej oryginalnej formie. Co najmniej miesiąc później każdy radiolog ponownie zinterpretuje te same obrazy, oglądając parę serii CRCTI CT: Dwa zestawy obrazów CT (standardowe ze znakami CADe i przetworzone z supresją naczyń zostaną wyświetlone na jednym dużym monitorze lub dwóch sąsiednich monitory.

Podczas odczytu linii podstawowej radiolog zaznaczy położenie guzków nadających się do działania i przypisze punktację. Radiolog wskaże również zalecaną metodę obserwacji (TK z kontrastem, PET-CT, Kontrola TK, Biopsja).

Podczas drugiej sesji odczytu (odczyt równoczesny) radiologowi zostanie przedstawiony standardowy tomografia komputerowa z umieszczonymi znakami wykrywania wspomaganego komputerowo (CADe) i tym samym wyciskiem z supresją naczynia z widokiem z supresją naczynia (prawy obraz). Drugi obraz, z supresją naczynia, będzie wyszarzony, dopóki radiolog nie przesunie myszy do drugiego panelu. Radiolog zaznaczy lokalizacje. Mogą one, ale nie muszą, odpowiadać lokalizacjom znaczników CAD. Tak jak poprzednio, radiolog przypisze każdemu znakowi poziom podejrzeń i wskaże, jeśli istnieje, konieczność wykonania dodatkowej czynności diagnostycznej (Kontrola TK, TK z kontrastem, PET-CT lub Biopsja).

Na podstawie poziomów podejrzeń dla każdego guzka i związanych z nimi ocen prawdopodobieństwa, zostaną skonstruowane krzywe LROC zarówno dla linii podstawowej, jak i równoległych odczytów, a także zostanie obliczone znaczenie wszelkich różnic. Zalecenia dotyczące dalszych działań (Kontrola CT, CT z kontrastem, PET-CT lub Biopsja) zostaną wykorzystane do obliczenia czułości i swoistości, PPV i NPV.

Liczba i rodzaje spraw:

Do badania zostaną włączone retrospektywne serie obrazów CT płuc od około 300 pacjentów. Około stu (100) pacjentów będzie miało raka potwierdzonego patologią, a około dwustu (200) pacjentów będzie miało tomografię komputerową związaną z normalnymi pacjentami. Jako obrazy guzków uwzględniono również te, w przypadku których w tym czasie nie podjęto działań na guzek, na który można było zareagować, ale został wykryty i podjęto działania w oparciu o późniejszą tomografię komputerową. Są to wcześniejsze zdjęcia, na których można zidentyfikować guzek, a jego lokalizacja jest taka sama jak na „aktualnym” obrazie potwierdzonym przez panel ekspertów radiologów (przyjmując jako kryterium decyzyjne większość trzech głosów).

Wybrana próba losowo wybrana z większej puli przypadków CT zostanie wzbogacona w następujący sposób:

1. Guzki płucne (raki w tym badaniu) będą miały rozmiar guza T1a (20 mm lub mniej). Proporcja guzków o średnicy 20 mm lub mniejszej może zostać zwiększona, ponieważ badacze spodziewają się, że to właśnie tam będzie największy wpływ tego oprogramowania.
2. Kulki niestałe (matowe szkło) zostaną dodane do próbki (w zależności od dostępności) w celu określenia wydajności systemu na niestałych grudkach. Aby ta grupa miała wystarczającą liczbę przypadków, badacze mogą być zmuszeni do uwzględnienia łagodnych (niezłośliwych) niestałych guzków.
3. W ramach tego projektu badacze przeprowadzą test maszynowy algorytmu ClearRead CT Insight, a następnie przeprowadzą badanie oceniające działanie czytnika. Riverain dostarczy system skonfigurowany z ustawionym punktem pracy do wykorzystania w badaniach czytnika oraz konfiguracją systemu „otwartego” do wykorzystania do testowania maszyn i generowania FROC.

Ramię 1: odczyt bazowy (bez treści drugorzędnych) i Ramię 2: jednoczesny odczyt rozszerzony CAD.

1. Ręka: Wykonaj linię bazową (zmierz czas, czytelnicy oceniają regiony zgodnie z działaniem i podejrzliwością) - zaznacz wszystkie miejsca zainteresowania
2. drugie ramię: Odczyt równoczesny (czas pomiaru, czytelnicy oceniają regiony zgodnie z działaniem i podejrzliwością) — zaznacz wszystkie niepokojące miejsca

Podstawowa hipoteza badawcza jest taka, że ​​wspomagające użycie ClearRead CT Insight ma przewagę nad samymi standardowymi obrazami TK płuc, co zmierzono na podstawie pola pod krzywą LROC.

ANALIZY STATYSTYCZNE Dokładność

Aby ocenić hipotezę wyższości pod względem poprawy dokładności dla ClearRead CT Insight w porównaniu z niewspomaganym, zostanie zaimplementowany model efektów mieszanych (DBM) (podobny do modelu przedstawionego w Dorfman, Berbaum i Metz, 1997), w którym składowe wariancji będą być uwzględnione w celu uwzględnienia czytelnika, przypadku, czytelnika według przypadku, czytelnika według modalności, przypadku według modalności i czytelnika według przypadku według modalności. Przewiduje się jednak, że trójczynnikowa interakcja będzie nieoceniona i zostanie usunięta z modelu statystycznego. Konkretnie, hipoteza mająca na celu sprawdzenie wyższości ClearRead CT Insight w porównaniu z samodzielnym badaniem jest następująca:

H0: AUCunaidowana — AUCClearRead CT Insight ≥ 0,0 w porównaniu z HA: AUCunaidowana — AUCClearRead CT Insight < 0

AUC dla LROC jest głównym punktem końcowym służącym do oceny dokładności, a badanym testem będzie dwustronny 95% przedział ufności dotyczący wpływu modalności (tj. ClearRead CT Insight minus bez pomocy). Istotność zostanie uznana, jeśli górna granica dwustronnego 95% przedziału ufności nie zawiera zera. W przypadku odrzucenia hipotezy zerowej (H0) akceptowana jest hipoteza alternatywna (HA) i zostaje ustalona wyższość zastosowania systemu ClearRead CT Insight.

Czas

Drugim równorzędnym celem jest ocena skrócenia czasu poświęcanego na obraz w przypadku ClearRead CT Insight w porównaniu z badaniem wykonywanym bez pomocy. Konkretnie, hipoteza mająca na celu sprawdzenie wyższości ClearRead CT Insight w porównaniu z samodzielnym badaniem jest następująca:

H0= Tunaidowany — TClearRead CT Insight ≤ 0 vs. HA= Tunaidowany — TClearRead CT Insight > 0

Aby ocenić hipotezę równoważności pod względem skrócenia czasu odczytu dla ClearRead CT Insight w porównaniu z odczytem bez pomocy, zostanie zaimplementowany model efektów mieszanych (podobny do modelu przedstawionego w Dorfman, Berbaum i Metz, 1992), w którym składowe wariancji będą uwzględnione w celu uwzględnienia czytelnika, przypadku, czytelnika według przypadku, czytelnika według modalności, przypadku według modalności i czytelnika według przypadku według modalności. Przewiduje się jednak, że trójczynnikowa interakcja będzie nieoceniona i zostanie usunięta z modelu statystycznego.

Czasy odczytu zostaną przetestowane przy użyciu dwustronnego 95% przedziału ufności na wpływ modalności (tj. ClearRead minus bez pomocy). Istotność zostanie uznana, jeśli górna granica dwustronnego 95% przedziału ufności nie zawiera zera.

W przypadku obu analiz użycie modelu mieszanego może zostać zmodyfikowane w celu zastosowania metody próbkowania z samouzgodnieniem, jeśli naruszono założenia modelu metody DBM. Górna granica ufności 95% dla różnicy w obszarach pod krzywymi zostałaby obliczona przy użyciu 10 000 bootstrapów w metodzie ROC MultiReader MultiCase (MRMC).

MOC I WIELKOŚĆ PRÓBKI

Zdolność do wykrywania różnic w AUC krzywej LROC dla proponowanej analizy statystycznej przy użyciu aktualnej linii bazowej projektu, tj. W szczególności model przedstawiony powyżej został wykorzystany do symulacji 500 zestawów danych w zakresie rozmiarów efektów, gdzie moc została zdefiniowana jako odsetek zestawów danych, które dały znaczącą wartość p do testowania ustalonego efektu modalności. Metoda Dorfmana, Berbauma i Metza, 1992 (DBM) została wdrożona z wykorzystaniem statystycznej teorii modeli mieszanych z szacunkami scyzoryka.

Symulacje te wymagały przyjęcia założeń dotyczących wielkości składowych wariancji związanych z różnymi efektami losowymi. Ponieważ nie przeprowadzono badania pilotażowego w celu uzyskania oszacowań składowych wariancji, wykorzystano oszacowania składowych wariancji z badania Riverain SoftView 510(k) (Record # BSSI-PR-09-00006), w którym wykorzystano technologię podobną do proponowanego urządzenia ClearRead CT Insight we wszystkich symulacjach mocy. Należy zauważyć, że składowe wariancji zostały przeskalowane przez całkowitą wariancję, aby reprezentować część całkowitej wariancji wyjaśnioną przez każdy składnik. Wszystkie oszacowania mocy zależą od trafności założonych składników wariancji.