Mitigare il Bias di Automazione nel Ragionamento Diagnostico Medico-LLM Utilizzando Nudges Comportamentali

Il bias dell'automazione rappresenta una sfida critica nella pratica clinica moderna, specialmente con l'integrazione sempre più diffusa degli strumenti di intelligenza artificiale (IA) nei flussi di lavoro sanitari. Questo fenomeno cognitivo descrive la tendenza dei clinici a favorire i suggerimenti dei sistemi automatizzati di supporto alle decisioni, anche quando questi suggerimenti sono errati. Poiché modelli linguistici di grandi dimensioni (LLM) come ChatGPT-5.1 stanno guadagnando terreno in ambito medico, il loro potenziale di ridurre gli errori e migliorare l'efficienza deve essere valutato rispetto a una preoccupazione significativa: questi modelli non hanno una validazione medica rigorosa e potrebbero amplificare i bias cognitivi esistenti attraverso raccomandazioni scorrette o fuorvianti.

L'emergere del bias dell'automazione in contesti medici riflette una complessa interazione di fattori ambientali e psicologici. I vincoli temporali in ambienti clinici ad alto volume creano pressione ad accettare le raccomandazioni generate dall'IA senza un'adeguata verifica. Gli incentivi finanziari che privilegiano l'efficienza rispetto alla completezza possono ulteriormente scoraggiare la valutazione critica necessaria per un solido giudizio clinico. L'affaticamento cognitivo durante turni prolungati riduce la capacità dei medici di mantenere un pensiero analitico sostenuto. Queste pressioni interagiscono con meccanismi psicologici tra cui la diffusione della responsabilità, l'eccessiva fiducia nelle soluzioni tecnologiche e lo scarico cognitivo, creando collettivamente condizioni in cui l'accettazione acritica delle raccomandazioni generate dall'IA diventa più probabile.

Questo studio randomizzato controllato valuta l'efficacia di un intervento di spinta comportamentale progettato per mitigare il bias dell'automazione tra i medici che utilizzano raccomandazioni diagnostiche generate da LLM. L'obiettivo primario è determinare se questo intervento migliora i punteggi di performance del ragionamento diagnostico nella valutazione di vignette cliniche che includono deliberatamente raccomandazioni LLM errate. Obiettivi secondari includono valutare se il livello di esperienza del medico, il genere e la precedente esperienza con LLM moderano l'efficacia dell'intervento, determinando l'efficacia differenziale per vignette con diversi segnali di confidenza.

Questo studio utilizza uno studio randomizzato controllato in singolo cieco con due bracci paralleli. I partecipanti saranno assegnati casualmente 1:1 al braccio di intervento o di controllo. Per eliminare la variabilità derivante da differenze nelle abilità di prompt, i partecipanti non interagiranno direttamente con un'interfaccia LLM in tempo reale. Invece, tutti i partecipanti utilizzeranno una piattaforma web personalizzata che mostra vignette cliniche con raccomandazioni LLM pre-generate, garantendo contenuto LLM identico per ogni vignetta.

Tutti i partecipanti valuteranno sei vignette cliniche durante una singola sessione supervisionata della durata di circa 75 minuti. Tre vignette conterranno deliberatamente errori di ragionamento clinico nelle raccomandazioni LLM, mentre tre conterranno raccomandazioni corrette. Le vignette saranno presentate in ordine randomizzato per prevenire il rilevamento di pattern.

I partecipanti al braccio di controllo valuteranno vignette cliniche con raccomandazioni diagnostiche LLM generate da ChatGPT presentate in formato testuale standard neutro senza informazioni contestuali aggiuntive. I partecipanti al braccio di intervento valuteranno le stesse vignette insieme a una spinta comportamentale. Questo intervento consiste in due segnali cognitivi sincronizzati: (1) un segnale di ancoraggio che mostra l'accuratezza diagnostica di base di ChatGPT su dataset medici standard nella parte superiore del pannello dell'interfaccia, ancorando esplicitamente le aspettative alla fallibilità del modello, e (2) un segnale di attenzione selettiva che mostra la raccomandazione LLM insieme a un segnale di confidenza a colori generato attraverso una valutazione ensemble: tre LLM all'avanguardia indipendenti (Claude Sonnet 4.5, Gemini 2.5 Pro Thinking e GPT-5.1) forniscono ciascuno valutazioni di confidenza per la raccomandazione, e la confidenza media determina il colore del segnale per mitigare la scorretta calibrazione di un singolo modello.

I segnali di confidenza a colori sono categorizzati in tre livelli distinti basati sulla confidenza media dell'ensemble rispetto all'accuratezza diagnostica di base. I segnali rossi vengono attivati quando la confidenza media scende al di sotto dell'accuratezza di base stabilita di ChatGPT, segnalando esplicitamente casi ad alta incertezza che richiedono uno scrutinio critico maggiore. I segnali arancioni indicano che mentre la confidenza media supera la media di base, rimane al di sotto del 100%, segnalando la necessità di una continua vigilanza clinica e l'evitamento del compiacimento. Infine, i segnali verdi sono riservati per istanze di consenso ensemble al 100%; tuttavia, anche a questo livello di confidenza, rimangono presenti avvertenze standard di sicurezza IA per proteggere dall'eccessivo affidamento sull'output del sistema.

Ai partecipanti saranno presentate sei vignette cliniche specificamente progettate per misurare il bias dell'automazione, provenienti e modificate da casi reali che rappresentano una gamma di difficoltà diagnostiche e specialità mediche comuni. Ogni vignetta segue un formato standardizzato che include motivo di consulto, anamnesi della malattia attuale, anamnesi medica/sociale/familiare rilevante, reperti dell'esame obiettivo e risultati di laboratorio iniziali.

L'esito primario è il Punteggio di Performance del Ragionamento Diagnostico, un punteggio percentuale composito basato su una rubrica strutturata che valuta: qualità delle diagnosi differenziali, reperti a supporto, reperti contrari, accuratezza della diagnosi finale e appropriatezza dei passi successivi. Gli esiti secondari includono l'accuratezza della diagnosi di prima scelta (errata, parzialmente corretta o corretta). Tutte le risposte saranno valutate da revisori in cieco utilizzando la rubrica di valutazione.