Projekt 1: Self-Triage przez mammografię cyfrową 2D pełnego pola lub obrazy syntetyczne

UWAGA: Ta rejestracja jest powiązana z rejestracją osób w systemie ASSIST. To z kolei jest częścią grantu NCI, CA207490. Grant opisuje wiele proponowanych eksperymentów i zauważa, że ​​wiele innych można przeprowadzić jako badania uzupełniające. Zgodnie z sugestią NIH badacze pogrupowali te badania w trzy „badania”, z których każde obejmowało wiele eksperymentów. Opisany tutaj eksperyment jest częścią „Study ID 386408 Project 1: Radiolog Studies”. Nie ma możliwości zarejestrowania zestawu eksperymentów przez system PRS w CT.gov oraz nie ma możliwości złożenia rocznego sprawozdania do grantu (RPPR) bez numeru NCT dla projektów, które rozpoczęły zbieranie uczestników. W związku z tym badacze opisują tutaj jeden eksperyment, który byłby częścią pakietu badań „Projekt 1”.

Podstawową ideą Projektu 1 jest to, że Os może niezawodnie wyeliminować zestaw przypadków w mammografii przesiewowej po krótkim spojrzeniu na obraz 2D lub potencjalnie po krótkim spojrzeniu na obraz przez system sztucznej inteligencji. Oznacza to, że klinicysta i/lub sztuczna inteligencja patrzyliby na obraz i wiedzieli „na pewno”, że nic tam nie ma, i byliby skłonni odrzucić lub „segregować” przypadek na podstawie tego krótkiego spojrzenia. Gdyby czytelnik nie był całkowicie pewien, sprawa zostałaby dokładniej zbadana.

Na początek przyjrzenia się temu problemowi badacze chcieli oszacować, jak chętni klinicyści byliby segregować przypadki i jak wchodziliby w interakcję z sztuczną inteligencją, która została poproszona o segregację przypadków. Wyzwaniem dla każdego wdrożenia segregacji będzie skłonienie klinicystów (nie mówiąc już o prawnikach i innych) do zaakceptowania idei nie patrzenia na obraz/przypadek lub krótkiego spojrzenia na, powiedzmy, obraz 2D i bycia gotowym nie patrzeć spójrz na obrazy 3D cyfrowej tomosyntezy (DBT). Eksperyment opisany tutaj przez badaczy ma być początkiem badania tego zagadnienia. Istnieje kontinuum przypadków od „wyraźnie normalnych” do „wyraźnie nienormalnych”. Badacze chcieli oszacować punkt na tym kontinuum, poniżej którego sprawa jest tak normalna, że ​​czytelnicy byliby skłonni pozwolić komputerowi na segregację sprawy i/lub byliby skłonni sami sklasyfikować sprawę. Możliwe jest również, że zdarzają się przypadki tak nienormalne, że pacjenci mogą zostać wezwani do dalszego badania przez sam komputer, chociaż badacze nie badają tej formy segregacji w tym przypadku. Badacze stawiają hipotezę, że te punkty selekcji będą powiązane zarówno z oceną normalności komputera, jak i oceną czytelnika.

Metoda: Obustronna mammografia 2D jest prezentowana przez 5 sekund. Limit czasowy ma na celu ograniczenie normalnej kontroli, jaką radiolog przeprowadziłby w tej sprawie. Śledczy chcą decyzji opartej na „sednie” sprawy. Aby naśladować niską częstość występowania choroby w mammografii przesiewowej, tylko 4 ze 150 przypadków jest pozytywnych. Czytelnikom mówi się, że przypadki naśladują ustawienia badań przesiewowych, więc wiedzą, że pozytywne przypadki będą rzadkie, ale nie mówi się im o rzeczywistej częstości występowania.

Badacze proszą radiologów o udzielenie odpowiedzi na dwa pytania dotyczące każdego ze 150 „przypadków” pojedynczego obrazu. („Do 150”, ponieważ radiolodzy mogą zrezygnować i robią to bez ukończenia wszystkich przypadków. Korzystając z metody skali ocen, badacze pytają:

1. Na ile uczestnicy są pewni, że te obrazy pochodzą z normalnego przypadku?

   Następnie badacze mówią czytelnikom, że „komputer ocenił te obrazy jako X na 10 (10: najwyższe prawdopodobieństwo obecności raka)”. Ta wartość AI jest rzeczywistą oceną nieprawidłowości, wygenerowaną przez Transpara w wersji 1.7.0, która zwraca wynik prawdopodobieństwa złośliwości dla badania. Oceny zostały uzyskane przez Sarah Verboom z Radboud U.

   Następnie śledczy pytają śledczych, czy czytelnik pomyślałby, że rozsądnie było, aby komputer dokonał segregacji sprawy bez dalszej inspekcji przez człowieka.

2. Na ile uczestnicy byliby chętni, aby komputer sam podejmował decyzję w tej sprawie, bez patrzenia na nią przez uczestników?

Os odpowiedział, używając przesuwanego paska, który służył jako skala ocen. Wybrana ocena została wyświetlona na górze przesuwanego paska.

Uczestnicy:

Pierwsi obserwatorzy do tego badania zostali przetestowani w „pop-lab”, zorganizowanym podczas Europejskiej Konferencji Radiologicznej (ECR, Wiedeń, marzec 2023 r.). Badacze organizowali te laboratoria jako okazję dla badaczy z wielu laboratoriów do przyjścia na duże spotkania, takie jak ECR, gdzie mogliby przetestować radiologów w większej liczbie niż w domu. Plusem jest dostęp do czytelników. Wadą jest to, że badacze zazwyczaj mogą poświęcić tylko 15-30 minut czasu czytelnika. Zatem czytelnicy tego eksperymentu stanowili populację dla wygody. Badacze przebadali 15 czytelników. Były one bardzo zróżnicowane pod względem doświadczenia. Badacze zapytali, ile przypadków badań przesiewowych oceniają, że czytają każdego roku. To wahało się od 0 (studenci, którzy uczyli się o mammografii, ale nie praktykowali) do 8000. Czytelnicy różnili się również liczbą spraw, które chcieli dla nas przeczytać, zanim zabrakło im czasu/cierpliwości. Zakres wynosił od 19 do 148 (średnio 83 przypadków). Na tym etapie badacze nie są w stanie stwierdzić z pełnym przekonaniem, czy te zmienne mają istotny wpływ na wyniki. Jest to chroniczny problem z testowaniem ekspertów, takich jak radiolodzy. Niezwykle trudno jest zebrać tyle danych, ile by się chciało. Niemniej jednak dane te mogą dostarczyć nam informacji o czynnikach, które zadecydują o powodzeniu lub porażce segregacji obrazów.