ChatGPT in de Diagnose en Behandeling van Complexe Polyneuropathieën: Vergelijkende Analyse met Neurologen Gebaseerd op Echte Casussen (REASON)

Achtergrond en redenatie Polyneuropathieën vormen een heterogene groep aandoeningen die het perifere zenuwstelsel aantasten en behoren tot de meest voorkomende neurologische aandoeningen in de klinische praktijk. Hun prevalentie wordt geschat op ongeveer 1% in de algemene bevolking en neemt aanzienlijk toe met de leeftijd, oplopend tot bijna 4% onder middelbare mensen en tot 13% onder ouderen. Perifere neuropathieën zijn daarom wereldwijd een belangrijke oorzaak van neurologische morbiditeit en zorggebruik.

Het vaststellen van de etiologische diagnose van polyneuropathie blijft klinisch uitdagend. Ondanks vooruitgang in laboratoriumonderzoek en neurofysiologische technieken, blijft het diagnostische proces sterk afhankelijk van zorgvuldige klinische evaluatie, waaronder gedetailleerde patiëntgeschiedenis en neurologisch onderzoek, gevolgd door gericht gebruik van elektrofysiologisch en laboratoriumonderzoek. In veel gevallen vereist een nauwkeurige diagnose gespecialiseerde expertise in neuromusculaire aandoeningen.

Toegang tot dergelijke expertise is ongelijk verdeeld over gezondheidszorgsystemen. Een aanzienlijk deel van patiënten met perifere neuropathieën wordt aanvankelijk geëvalueerd door niet-specialistische artsen, waaronder algemene neurologen of clinici in eerstelijns- of tweedelijnszorg. Diagnostische vertragingen en verkeerde classificatie van neuropathiesubtypen komen daarom relatief vaak voor, vooral bij zeldzame of atypische etiologieën. Deze uitdagingen benadrukken de noodzaak van hulpmiddelen die clinici tijdens het diagnostische proces kunnen ondersteunen.

Recente ontwikkelingen in kunstmatige intelligentie (AI), met name de ontwikkeling van grote taalmodellen (LLM's), hebben toenemende interesse gewekt in hun potentiële toepassingen in de klinische geneeskunde. ChatGPT, ontwikkeld door OpenAI en gebaseerd op de Generative Pre-trained Transformer-architectuur, is een conversioneel AI-systeem dat contextbewust medisch redeneren en diagnostische suggesties kan genereren. Opkomende studies suggereren dat LLM's diagnostische prestaties kunnen bereiken die vergelijkbaar zijn met die van medische stagiairs of artsen bij bepaalde klinische redeneertaken.

Echter, rigoureuze evaluatie van LLM-prestaties bij complexe neurologische aandoeningen blijft beperkt. In het bijzonder bestaat er weinig bewijs over hun prestaties bij diagnostisch uitdagende polyneuropathiegevallen zoals typisch aangetroffen in tertiaire verwijzingscentra. Het evalueren van de mogelijkheden en beperkingen van dergelijke hulpmiddelen in deze setting is essentieel voordat hun potentiële rol als klinische beslissingsondersteunende systemen wordt overwogen.

Deze studie heeft tot doel de diagnostische prestaties van ChatGPT-4o systematisch te evalueren bij toepassing op realistische polyneuropathiegevallen en deze te vergelijken met die van gespecialiseerde en niet-gespecialiseerde neurologen.

Studiedoelstellingen De primaire doelstelling van deze studie is het evalueren van de diagnostische nauwkeurigheid van ChatGPT-4o bij het identificeren van de belangrijkste etiologische diagnose in complexe polyneuropathiegevallen.

Specifiek beoogt de studie de diagnostische prestaties van ChatGPT-4o te vergelijken met die van specialisten in perifere zenuwaandoeningen en niet-gespecialiseerde neurologen.

Secundaire doelstellingen omvatten het beoordelen van het vermogen van ChatGPT-4o om geschikte differentiële diagnoses te genereren en passende bevestigende diagnostische tests aan te bevelen. De studie zal ook evalueren of blootstelling aan AI-gegenereerde diagnostische suggesties de diagnostische beslissingen van neurologen beïnvloedt. Daarnaast zal de studie de consistentie van ChatGPT-4o-antwoorden bij herhaalde onafhankelijke evaluaties beoordelen en de soorten fouten karakteriseren die door het model worden geproduceerd wanneer onjuiste diagnoses worden gegenereerd.

Studieopzet Dit is een vergelijkende diagnostische nauwkeurigheidsstudie ontworpen om de prestaties van een op kunstmatige intelligentie gebaseerd groot taalmodel te evalueren in vergelijking met menselijke neurologen.

De studie zal worden uitgevoerd in twee tertiaire verwijzingscentra voor perifere neuropathieën gevestigd in Milaan, Italië: Humanitas Research Hospital (IRCCS) en Fondazione IRCCS Istituto Neurologico Carlo Besta. Deze instellingen bieden gespecialiseerde zorg voor patiënten met een breed scala aan polyneuropathieën, waaronder inflammatoire, erfelijke, metabole, toxische en paraneoplastische etiologieën.

Het studieprotocol is goedgekeurd door de Ethische Commissie van Humanitas Research Hospital en zal worden uitgevoerd in overeenstemming met de principes van de Verklaring van Helsinki.

Studiepopulatie en casusselectie Klinische casussen zullen retrospectief worden geïdentificeerd uit patiënten geëvalueerd in de poliklinieken voor polyneuropathie van de deelnemende instellingen. In aanmerking komende casussen omvatten patiënten met een bevestigde diagnose polyneuropathie bij wie een stabiele etiologische diagnose is vastgesteld na minstens 12 maanden klinische follow-up.

Klinische informatie zal worden geëxtraheerd uit medische dossiers en gebruikt om gestandaardiseerde casussamenvattingen op te stellen. Gegevens opgenomen in de samenvattingen zullen de informatie weerspiegelen die typisch beschikbaar is tijdens vroege diagnostische evaluatie, waaronder patiëntdemografie, klinische geschiedenis, bevindingen van neurologisch onderzoek, resultaten van zenuwgeleidingsonderzoeken en resultaten van standaard laboratoriumscreeningtests.

Uit de pool van in aanmerking komende casussen zullen 100 casussen willekeurig worden geselecteerd met behulp van een computergestelde steekproefmethode. Alle casussen zullen geanonimiseerd worden vóór analyse.

De uiteindelijke dataset zal naar verwachting een breed spectrum van polyneuropathie-etiologieën omvatten die de verwijspatronen van tertiaire neuromusculaire centra weerspiegelen, waaronder inflammatoire neuropathieën, erfelijke neuropathieën, metabole neuropathieën, toxische neuropathieën en andere minder vaak voorkomende aandoeningen.

Casusevaluatie door ChatGPT-4o Het kunstmatige intelligentiesysteem geëvalueerd in deze studie is ChatGPT-4o Enterprise, ontwikkeld door OpenAI.

Elke klinische casussamenvatting zal aan het model worden gepresenteerd met gestandaardiseerde prompts die het model instrueren om het klinische scenario te analyseren en diagnostische redenering te geven. Voor elke casus zal het model worden gevraagd om te genereren:

• één belangrijkste etiologische diagnose,
• twee minder waarschijnlijke alternatieve diagnoses,
• en één diagnostische test die de belangrijkste diagnose kan bevestigen. Om contextuele bias te minimaliseren, zal elke casus worden geëvalueerd in een onafhankelijke sessie zonder eerdere gespreksgeschiedenis. De volledige dataset zal tweemaal worden geëvalueerd in twee onafhankelijke runs om de reproduceerbaarheid en consistentie van de antwoorden van het model te beoordelen.

Casusevaluatie door neurologen Een panel van neurologen uit meerdere internationale centra zal deelnemen als menselijke beoordelaars in de studie. Deelnemers zullen zowel specialisten in perifere zenuwaandoeningen als neurologen zonder specifieke subspecialisatie in neuromusculaire aandoeningen omvatten.

Neurologen zullen dezelfde gestandaardiseerde casussamenvattingen beoordelen via een webgebaseerde interface en zullen worden gevraagd om voor elke casus een belangrijkste diagnose, twee alternatieve differentiële diagnoses en een aanbevolen bevestigende diagnostische test te geven.

De evaluatie zal in twee fasen worden uitgevoerd. In de eerste fase zullen neurologen onafhankelijk de casussen beoordelen en hun diagnostische beoordelingen geven. In de tweede fase zullen casussen opnieuw worden gepresenteerd samen met de diagnostische output gegenereerd door ChatGPT-4o, waardoor neurologen hun eerdere antwoorden kunnen bevestigen of wijzigen. Dit ontwerp zal de beoordeling mogelijk maken van de potentiële invloed van AI-gegenereerde suggesties op de diagnostische beslissingen van artsen.

Uitkomstbeoordeling De primaire uitkomst van de studie is diagnostische nauwkeurigheid voor de belangrijkste diagnose, gedefinieerd als het aandeel casussen waarin de voorgestelde belangrijkste diagnose overeenkomt met de definitief bevestigde etiologische diagnose.

Secundaire uitkomsten omvatten de nauwkeurigheid van differentiële diagnoses, de geschiktheid van aanbevolen bevestigende diagnostische tests en veranderingen in de diagnostische prestaties van neurologen na het beoordelen van AI-gegenereerde outputs.

Alle antwoorden zullen worden geëvalueerd tegen de definitief bevestigde diagnose voor elke casus. De geschiktheid van differentiële diagnoses en aanbevelingen voor diagnostische tests zal onafhankelijk worden beoordeeld door ervaren neurologen met uitgebreide ervaring in polyneuropathiediagnostiek.

Klinische betekenis Deze studie zal empirisch bewijs leveren over de diagnostische prestaties van een groot taalmodel in een complex neurologisch domein. Door AI-gegenereerde diagnostische redenering direct te vergelijken met die van gespecialiseerde en niet-gespecialiseerde neurologen, beoogt de studie de potentiële rol van grote taalmodellen als beslissingsondersteunende hulpmiddelen in de neurologie te verduidelijken.