Badanie retrospektywne z udziałem wielu czytelników oceniające wdrożenie oprogramowania Carebot AI CXR 2.0.21-v2.01 w codziennej praktyce klinicznej radiologii

Kolekcja retrospektywna za okres 18.10.2022 i 17.11.2022

Łącznie w oddziale wykonano 1073 zdjęcia rentgenowskie klatki piersiowej. Gromadzenie danych pozostało nienaruszone i nienaruszone przez całą fazę testowania, zapewniając integralność zestawu danych. Zebrana próbka dokładnie odzwierciedla rozpowszechnienie znalezisk w obserwowanej populacji. Po wykluczeniu niekwalifikujących się badań, takich jak zdjęcia rentgenowskie od pacjentów w wieku poniżej 18 lat, zdjęcia rentgenowskie projekcji bocznej i skany o niewystarczającej jakości, zidentyfikowano łącznie 956 odpowiednich CXR do dalszej oceny.

Urządzenie: Carebot AI CXR

Proponowany DLAD (Carebot AI CXR) jest urządzeniem medycznym opartym na głębokim uczeniu, które ma pomóc radiologom w interpretacji zdjęć rentgenowskich klatki piersiowej uzyskanych w projekcji przednio-tylnej (AP) lub tylno-przedniej (PA). Dzięki zastosowaniu zaawansowanych algorytmów głębokiego uczenia rozwiązanie to umożliwia automatyczne wykrywanie nieprawidłowych wyników poprzez analizę wzorców wizualnych związanych z określonymi warunkami. Docelowe nieprawidłowości obejmują niedodmę (ATE), konsolidację (CON), wysięk opłucnowy (EFF), zmianę w płucach (LES), rozedmę podskórną (SCE), powiększenie serca (CMG) i odmę opłucnową (PNO). DLAD działa jako algorytm przewidywania uzupełniony przez różne urządzenia peryferyjne aplikacji, takie jak narzędzia komunikacji oparte na sieci Web, możliwości konwersji plików DICOM oraz biblioteki przechowywania i raportowania obsługujące zarówno formaty DICOM Structured Report, jak i DICOM Presentation State.

Test wydajności

Głównym celem jest ocena parametrów działania proponowanego DLAD (Carebot AI CXR) w porównaniu z indywidualnymi radiologami. Test wydajności obejmuje czułość i swoistość, dodatni i ujemny współczynnik wiarygodności oraz dodatnią i ujemną wartość predykcyjną. Wyżej wymienione parametry są porównywane statystycznie przy użyciu przedziałów ufności (CI) i wartości p. Procedura porównawcza składa się z dwóch etapów: przeprowadza się globalny test hipotezy w celu ustalenia, czy istnieją istotne różnice między DLAD a radiologami. Jeśli globalny test hipotezy daje znaczący wynik, przeprowadzane są indywidualne testy hipotez. Dodatkowo do kontrolowania ogólnego poziomu błędów stosowane są metody wielu porównań, takie jak McNemara z korektą ciągłości dla Se i Sp, metoda Holma dla LR oraz uogólnione ważone statystyki wyników dla PV. Wszystkie testy przeprowadzane są jako testy dwustronne na poziomie istotności 5%.