Walidacja klinicznej adaptacyjności modelu podstawowego specyficznego dla diagnostyki neuroobrazowania

Zaburzenia neurologiczne stanowią poważne zagrożenie dla zdrowia człowieka i powodują znaczne obciążenie społeczno-ekonomiczne. Badania obrazowe, w tym TK i MRI, odgrywają niezastąpioną rolę w badaniach przesiewowych chorób, nieinwazyjnej diagnostyce i ukierunkowywaniu decyzji terapeutycznych. Narzędzia sztucznej inteligencji (AI) wykazały obiecujące perspektywy zastosowania klinicznego w zwiększaniu produktywności radiologów i skracaniu czasu oczekiwania pacjentów, szczególnie w warunkach intensywnej opieki medycznej i regionach o ograniczonym dostępie do opieki zdrowotnej. Chociaż narzędzia AI szkolone na modelach podstawowych powinny mieć wiarygodną generalizację i dostosowywać się do złożonych scenariuszy klinicznych, obecne systemy AI często nie mają solidnej walidacji w rzeczywistej praktyce klinicznej.

W obliczu rosnącego zapotrzebowania na medycynę precyzyjną i zalewu danych obrazowania medycznego, badania kliniczne są niezbędne do walidacji skuteczności diagnostycznej systemów wspomaganych przez AI i ich przydatności w szerszych warunkach klinicznych. W oparciu o multidyscyplinarny zespół (integrujący wiedzę z zakresu AI, radiologii, medycyny ratunkowej, neurologii i patologii) oraz wcześniejsze doświadczenia badawcze, niniejsze badanie opracowało kompleksowy i solidny protokół badawczy, aby zapewnić wiarygodność badania, ostatecznie ułatwiając translację kliniczną.

Niniejsze badanie zakłada, że wydajność pracy radiologów współpracujących z podstawowym modelem neuroobrazowania dla TK i MRI mózgu nie jest gorsza od tych, którzy pracują samodzielnie. W przypadku drugorzędowych punktów końcowych badamy wydajność współpracy AI-radiolog narzędzi AI w rzeczywistym środowisku klinicznym. Badanie kliniczne zawiera trzy podbadania:

1. Identyfikacja przypadków nieprawidłowych Skanowanie mózgu, obejmujące zarówno przypadki prawidłowe, jak i wszystkie choroby neurologiczne w TK i MRI, zostało losowo przydzielone dwóm grupom radiologów do klasyfikacji na przypadki prawidłowe lub nieprawidłowe z etykietą przewidywaną przez system wspomagany AI lub bez niej. Porównanie czułości, specyficzności i wydajności radiologów współpracujących z AI lub pracujących samodzielnie.
2. Badanie identyfikacji wartości krytycznej Badanie obejmowało prospektywny, losowy wybór danych TK z nagłych przypadków z okna 1-3 dni. Wydajność trzech paradygmatów – tylko człowiek, tylko AI oraz człowiek+AI – została oddzielnie oceniona na podstawie dokładności diagnostycznej, efektywności czasowej oraz kluczowego wskaźnika czasu wyprzedzenia w identyfikacji pilnych wyników, gdy AI była zintegrowana, w porównaniu z samym człowiekiem.
3. Eksperyment klasyfikacji chorób Został wykorzystany prospektywnie wybrany zestaw danych z określonego okresu, obejmujący zarówno badania TK, jak i MRI. Eksperyment porównuje wydajność trzech podejść diagnostycznych, w tym interpretacji tylko przez człowieka, analizy tylko przez AI oraz interpretacji w ramach współpracy człowiek-AI. Część I, czas wykonania zadania, dokładność diagnostyczna i wskaźnik przypomnienia diagnostycznego (dla przypadków z wieloma etykietami) zostały obliczone i porównane między trzema metodami w następujący sposób: (1) Radiolodzy niezależnie wybierają i wykorzystują dostarczone szablony chorób do generowania raportów, a następnie wyodrębniają etykiety diagnoz z raportów; (2) Radiolodzy generują raporty podczas przeglądania obrazów z pomocą etykiet kategorii wygenerowanych przez AI i szablonów raportów przypisanych przez AI w oparciu o główny system klasyfikacji „midnights”; (3) AI automatycznie generuje kompletny raport i etykiety klasyfikacyjne. Część II, pierwotni raportujący radiolodzy zostali wezwani do ponownej interpretacji badań, a ta ponowna ocena została przeprowadzona z pomocą etykiet wygenerowanych przez AI i dopasowanych szablonów. Część III, wykorzystując możliwości klasyfikacyjne dużego modelu językowego/modelu podstawowego, system został oceniony na wielu zewnętrznych zestawach testowych o dużej próbie, aby zmierzyć dokładność i czas przetwarzania. Dodatkowo, losowy podzbiór przypadków z różnych kategorii został wybrany do oceny przez neuroradiologów w celu obliczenia wskaźnika pominiętych i błędnych diagnoz.