ChatGPT i diagnostik och behandling av komplexa polyneuropatier: Jämförande analys med neurologer med hjälp av verkliga fall (REASON)

Bakgrund och motivering Polyneuropatier utgör en heterogen grupp av sjukdomar som påverkar det perifera nervsystemet och är en av de vanligaste neurologiska tillstånd som förekommer i klinisk praktik. Deras prevalens uppskattas till cirka 1 % i den allmänna befolkningen och ökar avsevärt med åldern, når nästan 4 % bland medelålders individer och upp till 13 % bland äldre. Perifera neuropatier är därför en viktig bidragande faktor till neurologisk sjuklighet och sjukvårdsutnyttjande över hela världen.

Att fastställa den etiologiska diagnosen för polyneuropati förblir kliniskt utmanande. Trots framsteg inom laboratorietestning och neurofysiologiska tekniker fortsätter den diagnostiska processen att i hög grad förlita sig på noggrann klinisk utvärdering, inklusive detaljerad patienthistorik och neurologisk undersökning, följt av riktad användning av elektrofysiologiska och laboratorieundersökningar. I många fall kräver korrekt diagnos specialiserad expertis inom neuromuskulära sjukdomar.

Tillgången till sådan expertis är ojämnt fördelad över sjukvårdssystem. En betydande andel patienter med perifera neuropatier utvärderas initialt av icke-specialistläkare, inklusive allmänna neurologer eller kliniker inom primär- eller sekundärvården. Diagnostiska förseningar och felklassificering av neuropatisubtyper är därför relativt vanliga, särskilt för sällsynta eller atypiska etiologier. Dessa utmaningar belyser behovet av verktyg som kan stödja kliniker under den diagnostiska processen.

Nya framsteg inom artificiell intelligens (AI), särskilt utvecklingen av stora språkmodeller (LLM), har skapat ökande intresse för deras potentiella tillämpningar inom klinisk medicin. ChatGPT, utvecklad av OpenAI och baserad på Generative Pre-trained Transformer-arkitekturen, är ett konversationsbaserat AI-system som kan generera kontextmedveten medicinsk resonemang och diagnostiska förslag. Framväxande studier tyder på att LLM kan uppnå diagnostisk prestanda som är jämförbar med medicinska praktikanter eller läkare i vissa kliniska resonemangsuppgifter.

Emellertid är rigorös utvärdering av LLM-prestanda i komplexa neurologiska tillstånd fortfarande begränsad. I synnerhet finns det lite bevis för deras prestanda i diagnostiskt utmanande polyneuropatifall som vanligtvis påträffas på tertiära referenscentra. Att utvärdera förmågor och begränsningar för sådana verktyg i denna miljö är avgörande innan man överväger deras potentiella roll som kliniska beslutsstödssystem.

Denna studie syftar till att systematiskt utvärdera den diagnostiska prestandan hos ChatGPT-4o när den tillämpas på verkliga polyneuropatifall och att jämföra dess prestanda med specialist- och icke-specialistneurologer.

Studieobjekt Det primära målet med denna studie är att utvärdera den diagnostiska noggrannheten hos ChatGPT-4o för att identifiera den ledande etiologiska diagnosen i komplexa polyneuropatifall.

Specifikt syftar studien till att jämföra den diagnostiska prestandan hos ChatGPT-4o med perifer nervsjukdomsspecialister och icke-specialistneurologer.

Sekundära mål inkluderar att bedöma förmågan hos ChatGPT-4o att generera lämpliga differentialdiagnoser och rekommendera lämpliga bekräftande diagnostiska tester. Studien kommer också att utvärdera om exponering för AI-genererade diagnostiska förslag påverkar neurologers diagnostiska beslut. Dessutom kommer studien att bedöma konsistensen hos ChatGPT-4o-svar över upprepade oberoende utvärderingar och karakterisera typerna av fel som produceras av modellen när felaktiga diagnoser genereras.

Studiedesign Detta är en jämförande diagnostisk noggrannhetsstudie utformad för att utvärdera prestandan hos en AI-baserad stor språkmodell i förhållande till humana neurologer.

Studien kommer att genomföras över två tertiära referenscentra för perifera neuropatier belägna i Milano, Italien: Humanitas Research Hospital (IRCCS) och Fondazione IRCCS Istituto Neurologico Carlo Besta. Dessa institutioner tillhandahåller specialiserad vård för patienter med ett brett spektrum av polyneuropatier, inklusive inflammatoriska, ärftliga, metaboliska, toxiska och paraneoplastiska etiologier.

Studieprotokollet har godkänts av etikprövningsnämnden vid Humanitas Research Hospital och kommer att genomföras i enlighet med Helsingforsdeklarationens principer.

Studiepopulation och fallval Kliniska fall kommer att identifieras retrospektivt från patienter utvärderade på polyneuropatimottagningarna vid de deltagande institutionerna. Berättigade fall inkluderar patienter med en bekräftad diagnos av polyneuropati för vilka en stabil etiologisk diagnos har fastställts efter minst 12 månaders klinisk uppföljning.

Klinisk information kommer att extraheras från journaler och användas för att förbereda standardiserade fallöversikter. Data som ingår i sammanfattningarna kommer att återspegla den information som vanligtvis är tillgänglig under tidig diagnostisk utvärdering, inklusive patientdemografi, klinisk historia, neurologiska undersökningsfynd, resultat av nervledningsstudier och resultat av standardlaboratoriescreeningtester.

Från poolen av berättigade fall kommer 100 fall att slumpmässigt väljas med en datorgenererad urvalsmetod. Alla fall kommer att anonymiseras före analys.

Den slutliga datamängden förväntas innehålla ett brett spektrum av polyneuropatietiologier som återspeglar referensmönstren för tertiära neuromuskulära centra, inklusive inflammatoriska neuropatier, ärftliga neuropatier, metaboliska neuropatier, toxiska neuropatier och andra mindre vanliga tillstånd.

Fallutvärdering av ChatGPT-4o Det artificiella intelligenssystem som utvärderas i denna studie är ChatGPT-4o Enterprise, utvecklad av OpenAI.

Varje klinisk fallöversikt kommer att presenteras för modellen med standardiserade prompts som instruerar modellen att analysera det kliniska scenariot och tillhandahålla diagnostiskt resonemang. För varje fall kommer modellen att bli ombedd att generera:

• en ledande etiologisk diagnos,
• två mindre sannolika alternativa diagnoser,
• och ett diagnostiskt test som kan bekräfta den ledande diagnosen. För att minimera kontextuell bias kommer varje fall att utvärderas i en oberoende session utan tidigare konversationshistorik. Hela datamängden kommer att utvärderas två gånger i två oberoende körningar för att bedöma reproducerbarheten och konsistensen hos modellens svar.

Fallutvärdering av neurologer En panel av neurologer från flera internationella centra kommer att delta som humana bedömare i studien. Deltagare kommer att inkludera både perifera nervsjukdomsspecialister och neurologer utan specifik underinriktning inom neuromuskulära sjukdomar.

Neurologer kommer att granska samma standardiserade fallöversikter med ett webbaserat gränssnitt och kommer att bli ombedda att tillhandahålla en ledande diagnos, två alternativa differentialdiagnoser och ett rekommenderat bekräftande diagnostiskt test för varje fall.

Utvärderingen kommer att genomföras i två faser. I den första fasen kommer neurologer att självständigt granska fallen och tillhandahålla sina diagnostiska bedömningar. I den andra fasen kommer fall att presenteras igen tillsammans med den diagnostiska utdata som genereras av ChatGPT-4o, vilket tillåter neurologer att bekräfta eller ändra sina tidigare svar. Denna design kommer att möjliggöra bedömning av den potentiella påverkan av AI-genererade förslag på läkares diagnostiska beslut.

Utfallsmätning Det primära utfallsmåttet i studien är diagnostisk noggrannhet för den ledande diagnosen, definierad som andelen fall där den föreslagna ledande diagnosen matchar den slutliga bekräftade etiologiska diagnosen.

Sekundära utfall inkluderar noggrannheten för differentialdiagnoser, lämpligheten av rekommenderade bekräftande diagnostiska tester och förändringar i neurologers diagnostiska prestanda efter att ha granskat AI-genererade utdata.

Alla svar kommer att utvärderas mot den slutliga bekräftade diagnosen för varje fall. Lämpligheten för differentialdiagnoser och rekommendationer för diagnostiska tester kommer att bedömas oberoende av expertneurologer med omfattande erfarenhet av polyneuropatidiagnostik.

Klinisk betydelse Denna studie kommer att ge empiriska bevis på den diagnostiska prestandan hos en stor språkmodell inom ett komplext neurologiskt område. Genom att direkt jämföra AI-genererat diagnostiskt resonemang med specialist- och icke-specialistneurologer syftar studien till att klargöra den potentiella rollen för stora språkmodeller som beslutsstödverktyg inom neurologi.