Dokładność diagnostyczna systemu Carebot AI MMG w mammograficznych badaniach przesiewowych: wieloośrodkowe badanie MRMC (CARE-MMG-MRMC)

Projekt i ustawienie Jest to retrospektywne, wieloośrodkowe, wielooceniające, wieloprzypadkowe (MRMC) badanie dokładności diagnostycznej Carebot AI MMG, przeprowadzone na zanonimizowanych badaniach mammograficznych 2D pełnopolowej mammografii cyfrowej (FFDM) wykonanych w ramach rutynowego przesiewu raka piersi. Mammogramy zebrano z czterech ośrodków przesiewowych w określonym okresie. W celu tego badania nie wykonano dodatkowych obrazowań i nie kontaktowano się z żadnymi osobami.

Źródło danych i populacja Zbiór źródłowy składa się z 4729 badań mammograficznych przesiewowych od kobiet w wieku od 32 do 88 lat (średnio około 57 lat). Uwzględniono tylko badania 2D FFDM z kompletnym zestawem standardowych projekcji (LCC, RCC, LMLO, RMLO). Wykluczono badania z niekompletnymi seriami, nieczytelnymi lub uszkodzonymi plikami DICOM, brakującymi/niespójnymi kluczowymi metadanymi, a także badania tomosyntezy (DBT), mężczyzn i kobiety poniżej 18 roku życia. Aby zapewnić wystarczającą precyzję oszacowań wydajności, zbiór danych wzbogacono o dodatkowe, potwierdzone biopsją nowotwory. Ostateczny podzbiór analityczny obejmuje 222 badania, w tym 48 złośliwych i 174 niezłośliwych, z reprezentacją trzech urządzeń mammograficznych (Hologic Selenia Dimensions, Hologic Lorad Selenia, Fujifilm FDR-3000AWS).

Urządzenie badane i komparator Urządzeniem badanym jest Carebot AI MMG (wersja oprogramowania 2.9, modele głębokiego uczenia v2.3), samodzielny system AI analizujący badania 2D FFDM i generujący klasyfikację na poziomie przypadku do trzech kategorii, wraz z wewnętrznym wynikiem ryzyka. Oceniane są dwa wstępnie zdefiniowane punkty pracy: próg wysokiej czułości (HSe), gdzie zarówno łagodne, jak i złośliwe zmiany są traktowane jako "pozytywne" (ustawienie wykluczenia), oraz próg wysokiej specyficzności (HSp), gdzie tylko złośliwe zmiany liczone są jako "pozytywne" (ustawienie potwierdzenia).

Jako komparator ludzki, trzech doświadczonych radiologów (RAD 1-3) niezależnie odczytało te same zanonimizowane badania, używając dedykowanego przeglądarki DICOM zintegrowanej z aplikacją do znakowania. Radiologowie byli zaślepieni co do wyników AI, informacji klinicznych i wyników oraz rejestrowali klasyfikację na poziomie przypadku do tych samych trzech kategorii (Negatywny/Łagodny/Złośliwy). Do analiz pierwotnych ich decyzje binarne wyprowadza się przy użyciu tych samych reguł HSe i HSp. Dodatkowo, dla zrównoważonej dokładności konstruuje się benchmark "losowego czytelnika" poprzez wielokrotne próbkowanie decyzji jednego radiologa na przypadek w ramach bootstrap (20 000 iteracji).

Standard odniesienia Standard odniesienia ustalany jest na poziomie badania. Przypadek oznaczany jest jako "Złośliwy", jeśli istnieje histopatologiczne potwierdzenie raka piersi z biopsji wykonanej w czasie związanym z indeksowym mammogramem. Przypadek oznaczany jest jako "Niezłośliwy", jeśli istnieje konsensus dwóch lokalnych radiologów, że wynik jest negatywny lub stabilnie łagodny, zazwyczaj potwierdzony co najmniej 2-letnim obrazowym okresem obserwacji. Stopniowanie guza (np. TNM) nie jest używane w obecnej analizie. Wszystkie 48 przypadków złośliwych z uczestniczących ośrodków włączono do podzbioru analitycznego; żadnych badań pozytywnych pod względem raka nie wykluczono.

Cele i punkty końcowe Główne cele to: (1) wykazanie, że zrównoważona dokładność (BA) Carebot AI MMG wynosi co najmniej 0,80 w obu punktach pracy HSe i HSp; (2) wykazanie nieróżności zrównoważonej dokładności AI w porównaniu z benchmarkiem MRMC "losowego czytelnika" z marginesem nieróżności 0,05; oraz (3) wykazanie nieróżności czułości (Se) AI wobec każdego z trzech radiologów w obu HSe i HSp, z marginesem nieróżności 0,07. Cele drugorzędne to opis specyficzności (Sp), wartości predykcyjnej dodatniej (PPV), wartości predykcyjnej ujemnej (NPV) oraz scharakteryzowanie wzorców decyzji fałszywie negatywnych i fałszywie pozytywnych oraz ich potencjalnych implikacji dla klinicznego zarządzania ryzykiem.

Analiza statystyczna Metryki wydajności diagnostycznej (Se, Sp, PPV, NPV, BA) obliczane są na poziomie przypadku dla Carebot AI MMG i każdego radiologa w obu HSe i HSp. Dla proporcji stosuje się 95% przedziały ufności Wilsona. Do porównania AI i poszczególnych czytelników pod względem Se i Sp używa się sparowanych testów McNemara. Dla zrównoważonej dokładności stosuje się procedurę bootstrap MRMC z 20 000 iteracji do skonstruowania rozkładu losowego czytelnika i oszacowania prawdopodobieństwa, że BA_AI jest większe lub równe BA_random minus wcześniej określony margines. Nieróżność w czułości ocenia się za pomocą ramy typu Nam-Blackwelder na parach rozbieżnych. Przypadki fałszywie negatywne i fałszywie pozytywne są przeglądane jakościowo z naciskiem na widoczność zmiany, gęstość piersi i typowe wzorce błędów (np. gęsty miąższ, zmiany w pobliżu mięśnia piersiowego, łagodne struktury naczyniowe, asymetrie).

Ryzyko, etyka i ochrona danych Badanie ma charakter nieinterwencyjny i całkowicie retrospektywny. Wszystkie badania mammograficzne zostały wykonane jako część rutynowej opieki przed badaniem, a wszystkie dane DICOM zostały nieodwracalnie zanonimizowane na poziomie ośrodka zgodnie z RODO i obowiązującym prawem krajowym przed przekazaniem sponsora. Nie występuje dodatkowa ekspozycja na promieniowanie ani kontakt z pacjentem i nie oczekuje się zdarzeń niepożądanych. Biorąc pod uwagę ten projekt, badanie nie spełnia definicji badania klinicznego w rozumieniu Rozporządzenia MDR zgodnie z Artykułem 62 i nie podlega wcześniejszemu zgłoszeniu zgodnie z Artykułem 74(1); indywidualna świadoma zgoda nie jest wymagana. Wyniki mają na celu wsparcie oceny klinicznej Carebot AI MMG jako narzędzia wspomagania decyzji w zorganizowanym przesiewie mammograficznym.