ChatGPT w diagnozowaniu i leczeniu złożonych polineuropatii: analiza porównawcza z neurologami na podstawie rzeczywistych przypadków klinicznych (REASON)

Tło i uzasadnienie Polineuropatie reprezentują heterogenną grupę zaburzeń wpływających na obwodowy układ nerwowy i stanowią jeden z najczęstszych stanów neurologicznych spotykanych w praktyce klinicznej. Ich rozpowszechnienie szacuje się na około 1% w populacji ogólnej i znacząco wzrasta z wiekiem, osiągając prawie 4% wśród osób w średnim wieku i do 13% wśród osób starszych. Neuropatie obwodowe stanowią zatem główny czynnik przyczyniający się do zachorowalności neurologicznej i wykorzystania opieki zdrowotnej na całym świecie.

Ustalenie rozpoznania etiologicznego polineuropatii pozostaje wyzwaniem klinicznym. Pomimo postępów w badaniach laboratoryjnych i technikach neurofizjologicznych, proces diagnostyczny nadal w dużej mierze opiera się na starannej ocenie klinicznej, obejmującej szczegółowy wywiad chorobowy i badanie neurologiczne, a następnie ukierunkowane zastosowanie badań elektrofizjologicznych i laboratoryjnych. W wielu przypadkach dokładna diagnoza wymaga specjalistycznej wiedzy w zakresie zaburzeń nerwowo-mięśniowych.

Dostęp do takiej wiedzy jest nierównomiernie rozłożony w systemach opieki zdrowotnej. Znaczna część pacjentów z neuropatiami obwodowymi jest początkowo oceniana przez lekarzy niespecjalistów, w tym neurologów ogólnych lub klinicystów w podstawowej lub drugorzędowej opiece zdrowotnej. Opóźnienia diagnostyczne i błędna klasyfikacja podtypów neuropatii są zatem stosunkowo częste, szczególnie w przypadku rzadkich lub atypowych etiologii. Te wyzwania podkreślają potrzebę narzędzi zdolnych do wspierania klinicystów podczas procesu diagnostycznego.

Ostatnie postępy w sztucznej inteligencji (AI), w szczególności rozwój dużych modeli językowych (LLM), wzbudziły rosnące zainteresowanie ich potencjalnymi zastosowaniami w medycynie klinicznej. ChatGPT, opracowany przez OpenAI i oparty na architekturze Generative Pre-trained Transformer, jest konwersacyjnym systemem AI zdolnym do generowania kontekstowo świadomego rozumowania medycznego i sugestii diagnostycznych. Pojawiające się badania sugerują, że LLM mogą osiągać wydajność diagnostyczną porównywalną z rezydentami medycznymi lub lekarzami w niektórych zadaniach rozumowania klinicznego.

Jednak rygorystyczna ocena wydajności LLM w złożonych stanach neurologicznych pozostaje ograniczona. W szczególności istnieje niewiele dowodów dotyczących ich działania w diagnostycznie trudnych przypadkach polineuropatii, typowo spotykanych w ośrodkach trzeciego stopnia referencyjności. Ocena możliwości i ograniczeń takich narzędzi w tym kontekście jest niezbędna przed rozważeniem ich potencjalnej roli jako systemów wspomagania decyzji klinicznych.

Niniejsze badanie ma na celu systematyczną ocenę wydajności diagnostycznej ChatGPT-4o w zastosowaniu do rzeczywistych przypadków polineuropatii oraz porównanie jego działania z działaniem specjalistycznych i niespecjalistycznych neurologów.

Cele badania Głównym celem tego badania jest ocena dokładności diagnostycznej ChatGPT-4o w identyfikacji wiodącego rozpoznania etiologicznego w złożonych przypadkach polineuropatii.

W szczególności badanie ma na celu porównanie wydajności diagnostycznej ChatGPT-4o z wydajnością specjalistów chorób nerwów obwodowych i neurologów niespecjalistów.

Cele drugorzędowe obejmują ocenę zdolności ChatGPT-4o do generowania odpowiednich diagnoz różnicowych i rekomendowania odpowiednich badań diagnostycznych potwierdzających. Badanie oceni również, czy ekspozycja na sugestie diagnostyczne generowane przez AI wpływa na decyzje diagnostyczne neurologów. Dodatkowo badanie oceni spójność odpowiedzi ChatGPT-4o w powtarzanych niezależnych ocenach oraz scharakteryzuje rodzaje błędów popełnianych przez model, gdy generowane są błędne diagnozy.

Projekt badania Jest to porównawcze badanie dokładności diagnostycznej zaprojektowane w celu oceny wydajności dużego modelu językowego opartego na sztucznej inteligencji w stosunku do neurologów ludzkich.

Badanie będzie prowadzone w dwóch ośrodkach trzeciego stopnia referencyjności dla neuropatii obwodowych zlokalizowanych w Mediolanie we Włoszech: Humanitas Research Hospital (IRCCS) i Fondazione IRCCS Istituto Neurologico Carlo Besta. Instytucje te zapewniają specjalistyczną opiekę pacjentom z szerokim zakresem polineuropatii, w tym o etiologii zapalnej, dziedzicznej, metabolicznej, toksycznej i paranowotworowej.

Protokół badania został zatwierdzony przez Komisję Etyczną Humanitas Research Hospital i będzie prowadzony zgodnie z zasadami Deklaracji Helsińskiej.

Populacja badania i dobór przypadków Przypadki kliniczne będą retrospektywnie identyfikowane z pacjentów ocenianych w poradniach polineuropatii uczestniczących instytucji. Kwalifikujące się przypadki będą obejmować pacjentów z potwierdzonym rozpoznaniem polineuropatii, dla których ustalono stabilne rozpoznanie etiologiczne po co najmniej 12 miesiącach obserwacji klinicznej.

Informacje kliniczne będą wyodrębniane z dokumentacji medycznej i wykorzystywane do przygotowania standaryzowanych podsumowań przypadków. Dane zawarte w podsumowaniach będą odzwierciedlać informacje typowo dostępne podczas wczesnej oceny diagnostycznej, w tym dane demograficzne pacjenta, wywiad kliniczny, wyniki badania neurologicznego, wyniki badań przewodnictwa nerwowego oraz wyniki standardowych badań laboratoryjnych przesiewowych.

Z puli kwalifikujących się przypadków, 100 przypadków zostanie losowo wybranych przy użyciu metody próbkowania generowanej komputerowo. Wszystkie przypadki zostaną zanonimizowane przed analizą.

Oczekuje się, że końcowy zestaw danych będzie obejmować szerokie spektrum etiologii polineuropatii odzwierciedlające wzorce skierowań trzeciorzędowych ośrodków nerwowo-mięśniowych, w tym neuropatie zapalne, neuropatie dziedziczne, neuropatie metaboliczne, neuropatie toksyczne i inne rzadsze schorzenia.

Ocena przypadków przez ChatGPT-4o System sztucznej inteligencji oceniany w tym badaniu to ChatGPT-4o Enterprise, opracowany przez OpenAI.

Każde podsumowanie przypadku klinicznego będzie prezentowane modelowi przy użyciu standaryzowanych podpowiedzi instruujących model do analizy scenariusza klinicznego i przedstawienia rozumowania diagnostycznego. Dla każdego przypadku model zostanie poproszony o wygenerowanie:

• jednej wiodącej diagnozy etiologicznej,
• dwóch mniej prawdopodobnych diagnoz alternatywnych,
• oraz jednego badania diagnostycznego zdolnego do potwierdzenia wiodącej diagnozy. Aby zminimalizować błąd kontekstowy, każdy przypadek będzie oceniany w niezależnej sesji bez wcześniejszej historii rozmowy. Cały zestaw danych zostanie oceniony dwukrotnie w dwóch niezależnych przebiegach w celu oceny powtarzalności i spójności odpowiedzi modelu.

Ocena przypadków przez neurologów Panel neurologów z wielu międzynarodowych ośrodków będzie uczestniczyć jako ludzcy oceniający w badaniu. Uczestnicy będą obejmować zarówno specjalistów chorób nerwów obwodowych, jak i neurologów bez konkretnej podspecjalizacji w zaburzeniach nerwowo-mięśniowych.

Neurolodzy będą przeglądać te same standaryzowane podsumowania przypadków przy użyciu interfejsu internetowego i będą proszeni o podanie wiodącej diagnozy, dwóch alternatywnych diagnoz różnicowych oraz zalecanego badania diagnostycznego potwierdzającego dla każdego przypadku.

Ocena będzie prowadzona w dwóch fazach. W pierwszej fazie neurolodzy będą niezależnie przeglądać przypadki i przedstawiać swoje oceny diagnostyczne. W drugiej fazie przypadki zostaną ponownie przedstawione wraz z wynikiem diagnostycznym wygenerowanym przez ChatGPT-4o, umożliwiając neurologom potwierdzenie lub modyfikację ich poprzednich odpowiedzi. Ten projekt pozwoli na ocenę potencjalnego wpływu sugestii generowanych przez AI na decyzje diagnostyczne lekarzy.

Ocena wyników Głównym wynikiem badania jest dokładność diagnostyczna dla wiodącej diagnozy, zdefiniowana jako odsetek przypadków, w których proponowana wiodąca diagnoza odpowiada ostatecznej potwierdzonej diagnozie etiologicznej.

Wyniki drugorzędowe obejmują dokładność diagnoz różnicowych, trafność zalecanych badań diagnostycznych potwierdzających oraz zmiany w wydajności diagnostycznej neurologów po zapoznaniu się z wynikami generowanymi przez AI.

Wszystkie odpowiedzi będą oceniane w porównaniu z ostateczną potwierdzoną diagnozą dla każdego przypadku. Trafność diagnoz różnicowych i rekomendacji badań diagnostycznych będzie niezależnie oceniana przez ekspertów neurologów z dużym doświadczeniem w diagnozowaniu polineuropatii.

Znaczenie kliniczne To badanie dostarczy empirycznych dowodów na temat wydajności diagnostycznej dużego modelu językowego w złożonej dziedzinie neurologicznej. Bezpośrednio porównując rozumowanie diagnostyczne generowane przez AI z rozumowaniem specjalistycznych i niespecjalistycznych neurologów, badanie ma na celu wyjaśnienie potencjalnej roli dużych modeli językowych jako narzędzi wspomagania decyzji w neurologii.