ChatGPT i diagnostisering og behandling av komplekse polynevropatier: Komparativ analyse med nevrologer ved bruk av virkelige kasus (REASON)

Bakgrunn og rasjonalitet Polynevropatier utgjør en heterogen gruppe tilstander som påvirker det perifere nervesystemet og er en av de vanligste nevrologiske lidelsene man støter på i klinisk praksis. Forekomsten er estimert til omtrent 1 % i den generelle befolkningen og øker betydelig med alder, til nesten 4 % blant middelaldrende individer og opptil 13 % blant eldre. Perifere nevropatier er derfor en betydelig bidragsyter til nevrologisk morbiditet og helsetjenestebruk på verdensbasis.

Å etablere den etiologiske diagnosen for polynevropati forblir klinisk utfordrende. Til tross for fremskritt i laboratorietesting og nevrofysiologiske teknikker, er diagnostikkprosessen fortsatt sterkt avhengig av grundig klinisk evaluering, inkludert detaljert pasienthistorie og nevrologisk undersøkelse, etterfulgt av målrettet bruk av elektrofysiologiske og laboratorieundersøkelser. I mange tilfeller krever nøyaktig diagnostikk spesialisert ekspertise innen nevromuskulære lidelser.

Tilgang til slik ekspertise er ujevnt fordelt på tvers av helsetjenestesystemer. En betydelig andel av pasienter med perifere nevropatier blir først vurdert av ikke-spesialiserte leger, inkludert generelle nevrologer eller klinikere i primær- eller sekundærhelsetjenesten. Diagnostiske forsinkelser og feilklassifisering av nevropati-subtyper er derfor relativt vanlige, spesielt for sjeldne eller atypiske etiologier. Disse utfordringene understreker behovet for verktøy som kan støtte klinikere under diagnostikkprosessen.

Nylige fremskritt innen kunstig intelligens (KI), spesielt utviklingen av store språkmodeller (LLM-er), har skapt økende interesse for deres potensielle anvendelser i klinisk medisin. ChatGPT, utviklet av OpenAI og basert på Generative Pre-trained Transformer-arkitekturen, er et konversasjons-KI-system som kan generere kontekstbevisst medisinsk resonnement og diagnostiske forslag. Nye studier tyder på at LLM-er kan oppnå diagnostisk ytelse sammenlignbar med medisinstudenter eller leger i visse kliniske resonnementsoppgaver.

Imidlertid er streng evaluering av LLM-ytelse i komplekse nevrologiske tilstander fortsatt begrenset. Spesielt finnes det lite bevis for deres ytelse i diagnostisk utfordrende polynevropati-tilfeller som typisk møtes i tertiære henvisningssentre. Å evaluere evnene og begrensningene til slike verktøy i denne sammenhengen er avgjørende før man vurderer deres potensielle rolle som kliniske beslutningsstøttesystemer.

Denne studien har som mål å systematisk evaluere den diagnostiske ytelsen til ChatGPT-4o når den brukes på virkelige polynevropati-tilfeller og å sammenligne dens ytelse med spesialist- og ikke-spesialistnevrologer.

Studiemål Det primære målet med denne studien er å evaluere den diagnostiske nøyaktigheten til ChatGPT-4o i å identifisere den ledende etiologiske diagnosen i komplekse polynevropati-tilfeller.

Spesifikt har studien som mål å sammenligne den diagnostiske ytelsen til ChatGPT-4o med spesialister i perifer nervesykdom og ikke-spesialistnevrologer.

Sekundære mål inkluderer å vurdere ChatGPT-4os evne til å generere passende differensialdiagnoser og anbefale passende bekreftende diagnostiske tester. Studien vil også evaluere om eksponering for KI-genererte diagnostiske forslag påvirker nevrologers diagnostiske beslutninger. I tillegg vil studien vurdere konsistensen i ChatGPT-4o-svar på tvers av gjentatte uavhengige evalueringer og karakterisere typene feil produsert av modellen når feil diagnoser genereres.

Studiedesign Dette er en komparativ diagnostisk nøyaktighetsstudie designet for å evaluere ytelsen til en kunstig intelligens-basert stor språkmodell i forhold til menneskelige nevrologer.

Studien vil bli gjennomført på to tertiære henvisningssentre for perifere nevropatier i Milano, Italia: Humanitas Research Hospital (IRCCS) og Fondazione IRCCS Istituto Neurologico Carlo Besta. Disse institusjonene gir spesialisert behandling for pasienter med et bredt spekter av polynevropatier, inkludert inflammatoriske, arvelige, metabolske, toksiske og paraneoplastiske etiologier.

Studieprotokollen har blitt godkjent av etikkomiteen ved Humanitas Research Hospital og vil bli gjennomført i samsvar med prinsippene i Helsinkierklæringen.

Studiepopulasjon og utvalg av tilfeller Kliniske tilfeller vil bli identifisert retrospektivt fra pasienter vurdert i polynevropati-poliklinikkene ved de deltakende institusjonene. Kvalifiserte tilfeller vil inkludere pasienter med en bekreftet diagnose polynevropati der en stabil etiologisk diagnose er etablert etter minst 12 måneders klinisk oppfølging.

Klinisk informasjon vil bli hentet fra medisinske journaler og brukt til å utarbeide standardiserte tifelleressummeringer. Data inkludert i oppsummeringene vil gjenspeile informasjonen som typisk er tilgjengelig under tidlig diagnostisk evaluering, inkludert pasientdemografi, klinisk historie, funn fra nevrologisk undersøkelse, resultater av nervekonduksjonsstudier og resultater av standard laboratorie screeningstester.

Fra gruppen av kvalifiserte tilfeller vil 100 tilfeller bli tilfeldig utvalgt ved hjelp av en datagenerert utvalgsmetode. Alle tilfeller vil bli anonymisert før analyse.

Det endelige datasettet forventes å inkludere et bredt spekter av polynevropati-etiologier som gjenspeiler henvisningsmønstrene til tertiære nevromuskulære sentre, inkludert inflammatoriske nevropatier, arvelige nevropatier, metabolske nevropatier, toksiske nevropatier og andre mindre vanlige tilstander.

Tilfellevurdering av ChatGPT-4o Det kunstige intelligenssystemet evaluert i denne studien er ChatGPT-4o Enterprise, utviklet av OpenAI.

Hver kliniske tilfellesoppsummering vil bli presentert for modellen ved bruk av standardiserte prompts som instruerer modellen til å analysere det kliniske scenariet og gi diagnostisk resonnement. For hvert tilfelle vil modellen bli bedt om å generere:

• én ledende etiologisk diagnose,
• to mindre sannsynlige alternative diagnoser,
• og én diagnostisk test som kan bekrefte den ledende diagnosen. For å minimere kontekstuell bias vil hvert tilfelle bli evaluert i en uavhengig økt uten tidligere samtalehistorikk. Hele datasettet vil bli evaluert to ganger i to uavhengige kjøringer for å vurdere reproduserbarheten og konsistensen i modellens svar.

Tilfellevurdering av nevrologer En panel av nevrologer fra flere internasjonale sentre vil delta som menneskelige vurderere i studien. Deltakere vil inkludere både spesialister i perifer nervesykdom og nevrologer uten spesifikk sub-spesialisering innen nevromuskulære lidelser.

Nevrologer vil gjennomgå de samme standardiserte tilfellesoppsummeringene ved hjelp av et nettbasert grensesnitt og vil bli bedt om å angi en ledende diagnose, to alternative differensialdiagnoser og en anbefalt bekreftende diagnostisk test for hvert tilfelle.

Evalueringen vil bli gjennomført i to faser. I første fase vil nevrologer uavhengig gjennomgå tilfellene og gi sine diagnostiske vurderinger. I andre fase vil tilfeller bli presentert på nytt sammen med den diagnostiske outputen generert av ChatGPT-4o, slik at nevrologer kan bekrefte eller endre sine tidligere svar. Dette designet vil tillate vurdering av den potensielle påvirkningen av KI-genererte forslag på legers diagnostiske beslutninger.

Resultatvurdering Studiens primære utfall er diagnostisk nøyaktighet for den ledende diagnosen, definert som andelen tilfeller der den foreslåtte ledende diagnosen samsvarer med den endelige bekreftede etiologiske diagnosen.

Sekundære utfall inkluderer nøyaktigheten av differensialdiagnoser, passeligheten av anbefalte bekreftende diagnostiske tester og endringer i nevrologers diagnostiske ytelse etter gjennomgang av KI-generert output.

Alle svar vil bli evaluert mot den endelige bekreftede diagnosen for hvert tilfelle. Passeligheten av differensialdiagnoser og anbefalinger av diagnostiske tester vil bli uavhengig vurdert av ekspertnevrologer med omfattende erfaring innen polynevropati-diagnostikk.

Klinisk betydning Denne studien vil gi empirisk bevis på den diagnostiske ytelsen til en stor språkmodell i et komplekst nevrologisk domene. Ved direkte å sammenligne KI-generert diagnostisk resonnement med det til spesialist- og ikke-spesialistnevrologer, har studien som mål å avklare den potensielle rollen til store språkmodeller som beslutningsstøtteverktøy i nevrologi.