ChatGPT i diagnostik og behandling af komplekse polyneuropatier: Sammenlignende analyse med neurologer ved brug af virkelige tilfælde (REASON)

Baggrund og Rationale Polyneuropatier repræsenterer en heterogen gruppe af lidelser, der påvirker det perifere nervesystem og udgør en af de mest almindelige neurologiske tilstande, man støder på i klinisk praksis.
Deres prævalens anslås til cirka 1 % i den generelle befolkning og stiger betydeligt med alderen, når næsten 4 % blandt middelaldrende individer og op til 13 % blandt ældre.
Perifere neuropatier udgør derfor en stor bidragsyder til neurologisk morbiditet og sundhedsudnyttelse på verdensplan.

Etablering af den etiologiske diagnose af polyneuropati forbliver klinisk udfordrende.
På trods af fremskridt inden for laboratorieundersøgelser og neurofysiologiske teknikker fortsætter den diagnostiske proces med at stole tungt på omhyggelig klinisk evaluering, herunder detaljeret patienthistorie og neurologisk undersøgelse, efterfulgt af målrettet brug af elektrofysiologiske og laboratorieundersøgelser.
I mange tilfælde kræver præcis diagnose specialiseret ekspertise inden for neuromuskulære lidelser.

Adgangen til sådan ekspertise er ujævnt fordelt på tværs af sundhedssystemer.
En betydelig andel af patienter med perifere neuropatier vurderes oprindeligt af ikke-specialistlæger, herunder almindelige neurologer eller klinikere i primær- eller sekundærpleje.
Diagnostiske forsinkelser og fejlklassificering af neuropati-subtyper er derfor relativt almindelige, især for sjældne eller atypiske ætiologier.
Disse udfordringer fremhæver behovet for værktøjer, der er i stand til at støtte klinikere under den diagnostiske proces.

Seneste fremskridt inden for kunstig intelligens (AI), især udviklingen af store sprogmodeller (LLM'er), har skabt stigende interesse for deres potentielle anvendelser i klinisk medicin.
ChatGPT, udviklet af OpenAI og baseret på Generative Pre-trained Transformer-arkitekturen, er et samtale-AI-system, der er i stand til at generere kontekstbevidst medicinsk ræsonnement og diagnostiske forslag.
Fremvoksende undersøgelser antyder, at LLM'er kan opnå diagnostisk præstation, der kan sammenlignes med medicinske praktikanter eller læger i visse kliniske ræsonnementsoppgaver.

Dog er streng evaluering af LLM-præstation i komplekse neurologiske tilstande stadig begrænset.
Især findes der ringe bevis for deres præstation i diagnostisk udfordrende polyneuropatitilfælde, der typisk påtræffes i tertiære henvisningscentre.
Evaluering af sådanne værktøjers evner og begrænsninger i denne sammenhæng er afgørende, før man overvejer deres potentielle rolle som kliniske beslutningsstøttesystemer.

Denne undersøgelse har til formål systematisk at evaluere den diagnostiske præstation af ChatGPT-4o, når den anvendes på virkelige polyneuropatitilfælde, og sammenligne dens præstation med specialister og ikke-specialistneurologer.

Studiemål Den primære mål for denne undersøgelse er at evaluere den diagnostiske nøjagtighed af ChatGPT-4o i at identificere den førende etiologiske diagnose i komplekse polyneuropatitilfælde.

Specifikt har undersøgelsen til formål at sammenligne den diagnostiske præstation af ChatGPT-4o med specialister i perifer nervesygdom og ikke-specialistneurologer.

Sekundære mål inkluderer vurdering af ChatGPT-4os evne til at generere passende differentialdiagnoser og anbefale passende bekræftende diagnostiske tests.
Undersøgelsen vil også evaluere, om eksponering for AI-genererede diagnostiske forslag påvirker neurologers diagnostiske beslutninger.
Derudover vil undersøgelsen vurdere konsistensen af ChatGPT-4o-svar på tværs af gentagne uafhængige evalueringer og karakterisere de fejltyper, der produceres af modellen, når forkerte diagnoser genereres.

Studiedesign Dette er en komparativ diagnostisk nøjagtighedsundersøgelse designet til at evaluere præstationen af en kunstig intelligens-baseret stor sprogmodel i forhold til menneskelige neurologer.

Undersøgelsen vil blive gennemført på tværs af to tertiære henvisningscentre for perifere neuropatier beliggende i Milano, Italien: Humanitas Research Hospital (IRCCS) og Fondazione IRCCS Istituto Neurologico Carlo Besta.
Disse institutioner giver specialiseret pleje til patienter med et bredt udvalg af polyneuropatier, herunder inflammatoriske, arvelige, metaboliske, toksiske og paraneoplastiske ætiologier.

Studieprotokollen er blevet godkendt af etisk komité ved Humanitas Research Hospital og vil blive gennemført i overensstemmelse med principperne i Helsinkideklarationen.

Studiepopulation og tilfældsvalg Kliniske tilfælde vil blive retrospektivt identificeret fra patienter evalueret i polyneuropatiambulatorierne ved de deltagende institutioner.
Berettigede tilfælde vil inkludere patienter med en bekræftet diagnose af polyneuropati, for hvem en stabil etiologisk diagnose er blevet etableret efter mindst 12 måneders klinisk opfølgning.

Klinisk information vil blive uddraget fra medicinske journaler og brugt til at forberede standardiserede tilfældessammendrag.
Data inkluderet i sammendragene vil afspejle den information, der typisk er tilgængelig under tidlig diagnostisk evaluering, herunder patientdemografi, klinisk historie, neurologiske undersøgelsesfund, resultater af nervekonduktionsundersøgelser og resultater af standard laboratorie screenings tests.

Fra puljen af berettigede tilfælde vil 100 tilfælde blive tilfældigt udvalgt ved hjælp af en computer-genereret udvælgelsesmetode.
Alle tilfælde vil blive anonymiseret før analyse.

Det endelige datasæt forventes at inkludere et bredt spektrum af polyneuropatiætiologier, der afspejler henvisningsmønstrene i tertiære neuromuskulære centre, herunder inflammatoriske neuropatier, arvelige neuropatier, metaboliske neuropatier, toksiske neuropatier og andre mindre almindelige tilstande.

Tilfældsevaluering af ChatGPT-4o Det kunstige intelligenssystem evalueret i denne undersøgelse er ChatGPT-4o Enterprise, udviklet af OpenAI.

Hvert kliniske tilfældessammendrag vil blive præsenteret for modellen ved hjælp af standardiserede prompts, der instruerer modellen til at analysere det kliniske scenario og give diagnostisk ræsonnement.
For hvert tilfælde vil modellen blive bedt om at generere:

• en førende etiologisk diagnose,
• to mindre sandsynlige alternative diagnoser,
• og en diagnostisk test i stand til at bekræfte den førende diagnose.
  For at minimere kontekstuel bias vil hvert tilfælde blive evalueret i en uafhængig session uden tidligere samtalehistorie.
  Hele datasættet vil blive evalueret to gange i to uafhængige kørsler for at vurdere reproducerbarheden og konsistensen af modellens svar.

Tilfældsevaluering af Neurologer Et panel af neurologer fra flere internationale centre vil deltage som menneskelige bedømmere i undersøgelsen.
Deltagere vil inkludere både specialister i perifer nervesygdom og neurologer uden specifik under-specialisering i neuromuskulære lidelser.

Neurologer vil gennemgå de samme standardiserede tilfældessammendrag ved hjælp af et webbaseret interface og vil blive bedt om at give en førende diagnose, to alternative differentialdiagnoser og en anbefalet bekræftende diagnostisk test for hvert tilfælde.

Evalueringen vil blive gennemført i to faser.
I den første fase vil neurologer uafhængigt gennemgå tilfældene og give deres diagnostiske vurderinger.
I den anden fase vil tilfældene blive præsenteret igen sammen med den diagnostiske output genereret af ChatGPT-4o, hvilket tillader neurologer at bekræfte eller ændre deres tidligere svar.
Dette design vil tillade vurdering af den potentielle indflydelse af AI-genererede forslag på lægers diagnostiske beslutninger.

Resultatvurdering Studiet primære resultat er diagnostisk nøjagtighed for den førende diagnose, defineret som andelen af tilfælde, hvor den foreslåede førende diagnose matcher den endelige bekræftede etiologiske diagnose.

Sekundære resultater inkluderer nøjagtigheden af differentialdiagnoser, egnemæssigheden af anbefalede bekræftende diagnostiske tests og ændringer i neurologers diagnostiske præstation efter gennemgang af AI-genererede output.

Alle svar vil blive evalueret mod den endelige bekræftede diagnose for hvert tilfælde.
Egnemæssigheden af differentialdiagnoser og diagnostiske testanbefalinger vil blive uafhængigt vurderet af ekspertneurologer med omfattende erfaring i polyneuropatidiagnose.

Klinisk Betydning Denne undersøgelse vil give empirisk bevis for den diagnostiske præstation af en stor sprogmodel i et komplekst neurologisk domæne.
Ved direkte at sammenligne AI-genereret diagnostisk ræsonnement med specialister og ikke-specialistneurologer har undersøgelsen til formål at klarlægge den potentielle rolle af store sprogmodeller som beslutningsstøtteværktøjer i neurologi.