Sicurezza di OpenEvidence ed efficacia comparativa di quattro LLM nella pratica clinica

OpenEvidence è uno strumento online creato dalla piattaforma clinica di maggio [OpenEvidence] che aggrega e sintetizza i dati da studi medici peer-reviewed, quindi producendo una risposta alle domande di un utente utilizzando l'intelligenza artificiale generativa. Mentre è in uso da un certo numero di clinici (compresi i residenti) oggi, non ci sono dati pubblicati su poco o sul fatto che gli output dello strumento siano accurati e se queste informazioni informano in modo appropriato il processo decisionale clinico. Allo stesso modo, un certo numero di medici si rivolge ad altri modelli di grandi dimensioni (LLM) per aiutare nel processo decisionale quando forniscono cure cliniche.

OpenEvidence è uno strumento online progettato per aggregare e sintetizzare i dati da studi clinici peer-reviewed, generando successivamente risposte alle richieste degli utenti attraverso l'applicazione dell'IA generativa. Sebbene sempre più utilizzati da medici e tirocinanti stagionati, esiste una notevole assenza di dati pubblicati sull'accuratezza dei risultati dello strumento, la loro sicurezza e l'efficacia nell'informare opportunamente il processo decisionale clinico. Allo stesso tempo, un numero crescente di clinici sta sfruttando altri modelli di grandi dimensioni disponibili pubblicamente (LLM) per supportare il processo decisionale nelle cure cliniche. Mentre numerosi studi hanno esaminato l'accuratezza delle risposte LLM alle domande del consiglio medico o alle vignette cliniche, ci sono ricerche limitate sulle loro prestazioni in contesti clinici del mondo reale e ancora meno studi offrono analisi comparative di questa prestazione.

In una revisione della letteratura, un articolo mostra che LLM potrebbe essere migliore nel rilevare l'ansia rispetto ai professionisti, ma questo si basava su vignette cliniche. [Levkovich et al.] Un altro ha esaminato la sensibilità diagnostica di LLM usando misure di esito riportate dal paziente in un questionario strutturato. [Pagano et al.] Un ulteriore studio che confronta LLM per Oncology utilizza anche vignette immaginarie. [Benary et al.] Uno studio di controllo randomizzato con vignette cliniche non ha mostrato alcun miglioramento clinico per i fornitori che avevano accesso a LLM. [Goh et al.] Un caso di studio ha esplorato l'integrazione di CHATGPT 3.5 nei round giornalieri e ha valutato il suo utilizzo qualitativamente, ma non lo ha confrontato con altri strumenti di riferimento di LLM o di riferimento. [Skryd et al.] Un altro ha confrontato le risposte di CHATGPT ai criteri di appropriatezza dell'American College of Radiology per lo screening del dolore al seno e del cancro al seno, ma di nuovo non lo ha confrontato con altri LLM. [Rao et al.] Nella nostra recensione, solo uno studio ha valutato LLM in un ambiente clinico nel mondo reale. Questa è stata una serie di articoli che hanno esaminato il loro uso per un complesso processo decisionale nelle cure per cancro al seno, utilizzando un numero limitato di casi reali e un modello di prompt standardizzato. [Giewing, Knitza et al.; GIEWING, Gremke et al.] Tale studio ha riscontrato problemi con coerenza e deterioramento dell'accuratezza (in particolare con GPT 3.5), portando gli autori a concludere che l'uso clinico di LLM a tale scopo non era ancora fattibile al momento della pubblicazione. Tuttavia, i leader dei sistemi sanitari vedono l'uso di questi strumenti che accelerano rapidamente nella pratica clinica. Per questo motivo, gli investigatori ritengono che sia indispensabile studiare la loro sicurezza e l'adeguatezza clinica delle decisioni che i medici stanno prendendo a seguito del loro uso.

Cambridge Health Alliance (CHA) è un sistema sanitario pubblico e accademico di sicurezza nell'area di Boston, che serve una popolazione diversificata di pazienti. CHA ha una solida cure primarie e un'impronta di psichiatria ambulatoriale e sostiene un grande programma di educazione medica laureata attraverso la Harvard Medical School e la Tufts University School of Medicine. Gli investigatori hanno scelto i residenti come i nostri partecipanti allo studio primario in quanto molti tirocinanti stanno già utilizzando OpenEvidence e li hanno trovati più incentivati ​​a partecipare allo studio se si è concesso l'accesso allo strumento presso CHA (dove altrimenti è inserito dalla lista nera e proibita dalla politica fino a quando i risultati di questo studio non possono essere determinati).

I risultati di studio sono i seguenti:

Determina se l'uso di OpenEviddence porta a decisioni clinicamente appropriate da parte dei residenti nel corso della pratica clinica in un ambiente sanitario della comunità.

Determina come l'output di OpenEvidence si confronta con altri tre modelli di linguaggio di grandi dimensioni comunemente usati e disponibili pubblicamente (Openai's Chatgpt, Antropico di Claude e Gemini di Google) in accuratezza, completezza e pregiudizio quando si affrontano le domande cliniche che i residenti hanno nel corso della pratica clinica in una cornice per la salute della comunità.

Metodi:

La raccolta dei dati dovrebbe avvenire per un periodo di 6 mesi al fine di ridurre al minimo gli aggiornamenti della versione del fornitore durante il periodo di studio. I residenti sono raggruppati per specialità in "medicina" (medicina interna/medicina di famiglia) e "psichiatria" (psichiatria adulta/infantile). Al fine di semplificare la corrispondenza a esperti di argomenti speciali appropriati, ai residenti in medicina viene chiesto di utilizzare la propensione di apertura solo per i casi di cure primarie per adulti (esclusi i problemi relativi a OB/GYN). Ai residenti in psichiatria viene chiesto di utilizzare la evidenza di apertura solo per i casi di psichiatria per adulti.

Prima di essere accettati come partecipanti, i tirocinanti sono stati tutti invitati a concordare quanto segue:

• Controlla incrociata qualsiasi query di OpenEvidence rispetto a uno strumento di gold standard, definito nel protocollo di studio per includere PubMed, uptodate, dinamicato, una linea guida della Specialty Society o altre fonti di riferimento cliniche simili che devono essere documentate nel modulo di studio.
• Non inserire alcuna informazione sulla salute personale (PHI) in OpenEvidence (come definito di seguito).
• Tentare di utilizzare OpenEvidence almeno 3 volte a settimana, se appropriato per la cura clinica del paziente.
• Documenta il 100% delle domande di OpenEvidence nel modulo di ricerca in studio per evitare la distorsione della selezione.

A tutti i residenti verranno fornite una breve formazione in ingegneria rapida per l'assistenza sanitaria prima dell'inizio della raccolta dei dati. Non verranno utilizzati istruzioni standardizzate, poiché uno dei subgoli dello studio è comprendere quali tipi di domande che i residenti si sottopongono a Openvididence in un ambiente reale.

Tutti i residenti saranno educati sulla definizione di PHI, come segue:

Le query non dovrebbero includere nessuno di PHI, come definito dagli identificatori del porto sicuro [HHS]; Le domande possono includere l'età del paziente in anni (giorni/settimane/mesi per la pediatria) e il sesso legale; Per i pazienti di età pari o superiore a 89 anni, l'utente deve invece utilizzare il termine "di età superiore agli 89 anni" per conformarsi agli standard del porto sicuro.

Le domande non dovrebbero includere i pazienti sospettati di avere condizioni estremamente rare come definite dall'organizzazione nazionale per i disturbi rari, poiché questi sono anche soggetti a reidentificazione [Nord]. Se inizialmente non si sospetta una condizione rara, ma viene sospettata attraverso il processo di ricerca dell'utilizzo dello strumento AI, all'utente verrà chiesto di fermare la propria domanda a quel punto.

La raccolta dei dati comporterà l'uso di un modulo Google conforme a HIPAA all'interno dell'area di lavoro Google Enterprise di CHA per l'infrastruttura cloud Health. Il modulo di raccolta dei dati chiederà ai tirocinanti quanto segue:

1. Inserisci la loro domanda clinica iniziale.
2. Incolla il loro prompt di OpenEvidence (numerato in sequenza per i prompt iterativi) e le output di OpenSidence complete.
3. Immettere la loro conclusione clinica in base alla produzione di OpenEvidence.
4. Immettere lo strumento di riferimento standard di gold utilizzato.
5. Indicare le loro conclusioni cliniche finali basate su informazioni sia di OpenEvidence che dello strumento di riferimento standard.
6. Rispondi a una domanda nella misura in cui la loro conclusione clinica iniziale è stata modificata dal riferimento standard.
7. Rispondi a una domanda aperta sul fatto che abbiano notato problemi di sicurezza clinici, inesattezze o distorsioni nella produzione di OpenEvidence.

Le domande saranno ordinate per specialità (medicina contro psichiatria) e ogni query riceverà un numero di studio sequenziale.

Sono stati reclutati frequenti esperti in materia medica (PMI) certificata in medicina interna, medicina di famiglia o psichiatria con almeno 5 anni di esperienza clinica post-allenamento. Sono stati scelti cinque anni di esperienza clinica post-allenamento in base al fatto che Malcolm Gladwell, nel suo libro, Outlier, afferma che sono necessarie 10.000 ore di pratica mirata per raggiungere competenze in un campo.

Le PMI verranno chiesto di valutare le domande cliniche iniziali dei residenti e le loro conclusioni basate solo su OpenEvidence. Verrà chiesto loro di valutare l'adeguatezza clinica di tali conclusioni su una scala Likert a 10 punti. Le PMI saranno inoltre fornite con la produzione di OpenEvidence per ogni query e laddove la PMI valuta male l'adeguatezza clinica delle conclusioni dei residenti (<5/10), la PMI verrà inoltre posta una domanda di follow-up per valutare se l'output dello strumento stesso ha fornito una risposta clinicamente inappropriata, al fine di accertare se il tirocinante potrebbe aver interpretato l'uscita dello strumento. La revisione delle PMI includerà una sovrapposizione del 2,5-5% tra i revisori per calcolare un punteggio Kappa per l'affidabilità degli interrater.

Nella seconda parte dello studio, il team di ricerca ordinerà le query OpenEvidence in temi e sceglierà un campionamento casuale di domande da ciascuna specialità e tema per il confronto tra LLM. Il team di ricerca conferma che i suggerimenti non includono alcun PHI secondo il protocollo di studio. Copieranno quindi le istruzioni OpenEvidence inserite dai residenti per le query selezionate e le incollereranno esattamente in Chatgpt, Gemini e Claude.

Gli output di ciascuno dei quattro strumenti (OpenEvidence, Chatgpt, Gemini e Claude) saranno emersi in una forma web di Google. Le PMI verranno chiesto di valutare ogni output su una scala Likert per accuratezza, completezza e distorsione, nonché per rispondere a una domanda qualitativa che identifica eventuali problemi di sicurezza dei pazienti in produzione.

Risultati:

I risultati dell'esito primario saranno riportati come segue:

Appropriatezza clinica della decisione presa dai residenti che utilizzano OpenEvidence (media con SD, mediana), per specialità

• Se, in caso di bassa adeguatezza clinica, le PMI hanno identificato che ciò non era dovuto all'output dello strumento, ma invece a causa dell'interpretazione dello strumento da parte del residente, le metriche saranno anche fornite con questi casi esclusi
• Affidabilità interrater (valore kappa)

I risultati dei risultati secondari saranno riportati come segue:

Per ogni specialità e ogni variabile (precisione, completezza e pregiudizi), gli investigatori riferiranno:

• Il tasso di "vittoria" per ogni LLM e margine medio dal secondo punteggio.
• La dimensione dell'effetto (usando ciascun LLM come riferimento separato) usando il test D di Cohen.
• Affidabilità interrater (valore kappa)