ChatGPT nella Diagnosi e Gestione delle Polineuropatie Complesse: Analisi Comparativa con Neurologi Utilizzando Casi del Mondo Reale (REASON)

Background and Rationale Le polineuropatie rappresentano un gruppo eterogeneo di disturbi che colpiscono il sistema nervoso periferico e costituiscono una delle condizioni neurologiche più comuni riscontrate nella pratica clinica. La loro prevalenza è stimata all'incirca all'1% nella popolazione generale e aumenta sostanzialmente con l'età, raggiungendo quasi il 4% tra gli individui di mezza età e fino al 13% tra gli anziani. Le neuropatie periferiche rappresentano quindi un contributore significativo alla morbilità neurologica e all'utilizzo delle risorse sanitarie a livello mondiale.

Stabilire la diagnosi eziologica della polineuropatia rimane una sfida clinica. Nonostante i progressi nei test di laboratorio e nelle tecniche neurofisiologiche, il processo diagnostico continua a fare molto affidamento su un'attenta valutazione clinica, inclusa un'anamnesi dettagliata del paziente e un esame neurologico, seguiti dall'uso mirato di indagini elettrofisiologiche e di laboratorio. In molti casi, una diagnosi accurata richiede una competenza specializzata nei disturbi neuromuscolari.

L'accesso a tale competenza è distribuito in modo disomogeneo nei sistemi sanitari. Una parte sostanziale dei pazienti con neuropatie periferiche viene inizialmente valutata da medici non specialisti, inclusi neurologi generalisti o clinici in contesti di cure primarie o secondarie. Ritardi diagnostici e classificazioni errate dei sottotipi di neuropatia sono quindi relativamente comuni, in particolare per eziologie rare o atipiche. Queste sfide evidenziano la necessità di strumenti in grado di supportare i clinici durante il processo diagnostico.

I recenti progressi nell'intelligenza artificiale (IA), in particolare lo sviluppo di modelli linguistici di grandi dimensioni (LLM), hanno generato un crescente interesse per le loro potenziali applicazioni in medicina clinica. ChatGPT, sviluppato da OpenAI e basato sull'architettura Generative Pre-trained Transformer, è un sistema di IA conversazionale in grado di generare ragionamenti medici e suggerimenti diagnostici contestualmente consapevoli. Studi emergenti suggeriscono che gli LLM possono raggiungere prestazioni diagnostiche paragonabili a quelle di tirocinanti medici o medici in determinati compiti di ragionamento clinico.

Tuttavia, la valutazione rigorosa delle prestazioni degli LLM in condizioni neurologiche complesse rimane limitata. In particolare, esistono poche prove riguardo alle loro prestazioni in casi di polineuropatia diagnosticamente impegnativi tipicamente riscontrati nei centri di riferimento terziari. Valutare le capacità e i limiti di tali strumenti in questo contesto è essenziale prima di considerare il loro potenziale ruolo come sistemi di supporto alle decisioni cliniche.

Questo studio mira a valutare sistematicamente le prestazioni diagnostiche di ChatGPT-4o quando applicato a casi reali di polineuropatia e a confrontare le sue prestazioni con quelle di neurologi specialisti e non specialisti.

Study Objectives L'obiettivo principale di questo studio è valutare l'accuratezza diagnostica di ChatGPT-4o nell'identificare la principale diagnosi eziologica in casi complessi di polineuropatia.

In particolare, lo studio mira a confrontare le prestazioni diagnostiche di ChatGPT-4o con quelle di specialisti in malattie dei nervi periferici e di neurologi non specialisti.

Gli obiettivi secondari includono la valutazione della capacità di ChatGPT-4o di generare diagnosi differenziali appropriate e raccomandare test diagnostici di conferma adeguati. Lo studio valuterà anche se l'esposizione a suggerimenti diagnostici generati dall'IA influenza le decisioni diagnostiche dei neurologi. Inoltre, lo studio valuterà la coerenza delle risposte di ChatGPT-4o attraverso valutazioni indipendenti ripetute e caratterizzerà i tipi di errori prodotti dal modello quando vengono generate diagnosi errate.

Study Design Questo è uno studio di accuratezza diagnostica comparativa progettato per valutare le prestazioni di un modello linguistico di grandi dimensioni basato sull'intelligenza artificiale rispetto ai neurologi umani.

Lo studio sarà condotto in due centri di riferimento terziari per neuropatie periferiche situati a Milano, Italia: Humanitas Research Hospital (IRCCS) e Fondazione IRCCS Istituto Neurologico Carlo Besta. Queste istituzioni forniscono cure specializzate a pazienti con un'ampia gamma di polineuropatie, incluse eziologie infiammatorie, ereditarie, metaboliche, tossiche e paraneoplastiche.

Il protocollo dello studio è stato approvato dal Comitato Etico dell'Humanitas Research Hospital e sarà condotto in conformità con i principi della Dichiarazione di Helsinki.

Study Population and Case Selection I casi clinici saranno identificati retrospettivamente da pazienti valutati negli ambulatori di polineuropatia delle istituzioni partecipanti. I casi eleggibili includeranno pazienti con diagnosi confermata di polineuropatia per i quali è stata stabilita una diagnosi eziologica stabile dopo almeno 12 mesi di follow-up clinico.

Le informazioni cliniche saranno estratte dalle cartelle cliniche e utilizzate per preparare riassunti standardizzati dei casi. I dati inclusi nei riassunti rifletteranno le informazioni tipicamente disponibili durante la valutazione diagnostica iniziale, inclusi dati demografici del paziente, anamnesi clinica, risultati dell'esame neurologico, risultati degli studi di conduzione nervosa e risultati dei test di screening di laboratorio standard.

Dal pool di casi eleggibili, 100 casi saranno selezionati casualmente utilizzando un metodo di campionamento generato al computer. Tutti i casi saranno resi anonimi prima dell'analisi.

Il set di dati finale dovrebbe includere un ampio spettro di eziologie di polineuropatia che riflettono i modelli di riferimento dei centri neuromuscolari terziari, inclusi neuropatie infiammatorie, neuropatie ereditarie, neuropatie metaboliche, neuropatie tossiche e altre condizioni meno comuni.

Case Evaluation by ChatGPT-4o Il sistema di intelligenza artificiale valutato in questo studio è ChatGPT-4o Enterprise, sviluppato da OpenAI.

Ogni riassunto di caso clinico sarà presentato al modello utilizzando prompt standardizzati che istruiscono il modello ad analizzare lo scenario clinico e fornire un ragionamento diagnostico. Per ogni caso, al modello verrà chiesto di generare:

• una principale diagnosi eziologica,
• due diagnosi alternative meno probabili,
• e un test diagnostico in grado di confermare la diagnosi principale. Per minimizzare il bias contestuale, ogni caso sarà valutato in una sessione indipendente senza cronologia di conversazione precedente. L'intero set di dati sarà valutato due volte in due esecuzioni indipendenti al fine di valutare la riproducibilità e la coerenza delle risposte del modello.

Case Evaluation by Neurologists Un gruppo di neurologi di diversi centri internazionali parteciperà come valutatori umani nello studio. I partecipanti includeranno sia specialisti in malattie dei nervi periferici che neurologi senza una specifica sottospecializzazione nei disturbi neuromuscolari.

I neurologi esamineranno gli stessi riassunti standardizzati dei casi utilizzando un'interfaccia web e sarà loro chiesto di fornire una diagnosi principale, due diagnosi differenziali alternative e un test diagnostico di conferma raccomandato per ogni caso.

La valutazione sarà condotta in due fasi. Nella prima fase, i neurologi esamineranno indipendentemente i casi e forniranno le loro valutazioni diagnostiche. Nella seconda fase, i casi saranno presentati nuovamente insieme all'output diagnostico generato da ChatGPT-4o, consentendo ai neurologi di confermare o modificare le loro risposte precedenti. Questo disegno consentirà di valutare l'influenza potenziale dei suggerimenti generati dall'IA sulle decisioni diagnostiche dei medici.

Outcome Assessment L'esito primario dello studio è l'accuratezza diagnostica per la diagnosi principale, definita come la proporzione di casi in cui la diagnosi principale proposta corrisponde alla diagnosi eziologica confermata finale.

Gli esiti secondari includono l'accuratezza delle diagnosi differenziali, l'appropriatezza dei test diagnostici di conferma raccomandati e i cambiamenti nelle prestazioni diagnostiche dei neurologi dopo aver esaminato gli output generati dall'IA.

Tutte le risposte saranno valutate rispetto alla diagnosi confermata finale per ciascun caso. L'appropriatezza delle diagnosi differenziali e delle raccomandazioni sui test diagnostici sarà valutata indipendentemente da neurologi esperti con ampia esperienza nella diagnosi di polineuropatia.

Clinical Significance Questo studio fornirà prove empiriche sulle prestazioni diagnostiche di un modello linguistico di grandi dimensioni in un dominio neurologico complesso. Confrontando direttamente il ragionamento diagnostico generato dall'IA con quello di neurologi specialisti e non specialisti, lo studio mira a chiarire il potenziale ruolo dei modelli linguistici di grandi dimensioni come strumenti di supporto alle decisioni in neurologia.