Ragionamento diagnostico con modello GPT-4 personalizzato
Valutazione delle prestazioni di LLM e clinici in casi diagnostici complessi: uno studio controllato randomizzato
Panoramica dello studio
Stato
Condizioni
Descrizione dettagliata
Le tecnologie di intelligenza artificiale (AI), in particolare i modelli di linguaggio di grandi dimensioni avanzati come il chatgpt di Openai, hanno il potenziale per migliorare il processo decisionale medico. Sebbene CHATGPT-4 non sia stato progettato specificamente per applicazioni mediche, ha dimostrato la promessa in vari contesti sanitari, tra cui la scrittura di note mediche, la affrontazione delle indagini dei pazienti e la facilitazione delle consultazioni mediche. Tuttavia, il suo impatto sul ragionamento diagnostico dei medici rimane in gran parte sconosciuto.
Il ragionamento clinico è un processo complesso che prevede il riconoscimento dei modelli, l'applicazione della conoscenza e il ragionamento probabilistico. L'integrazione di strumenti di intelligenza artificiale come CHATGPT-4 nei flussi di lavoro del medico potrebbe aiutare a ridurre il carico di lavoro del medico e ridurre la probabilità di diagnosi mancate. Tuttavia, CHATGPT-4 non è stato né sviluppato né validato per il ragionamento diagnostico e può produrre informazioni fuorvianti, comprese conclusioni plausibili ma errate che potrebbero guidare i medici. Se non utilizzato in modo appropriato, potrebbe non riuscire a migliorare e potrebbe persino ostacolare il processo decisionale clinico. Pertanto, è essenziale studiare come i medici usano modelli di grandi dimensioni per supportare il ragionamento clinico prima di integrarli nella cura di routine dei pazienti.
Questo studio esaminerà come l'accesso immediato a una versione personalizzata di CHATGPT-4 influisca sulle prestazioni sulle attività di ragionamento diagnostico basate sui casi, rispetto a un approccio graduale. Nell'approccio graduale, i partecipanti useranno prima gli strumenti di supporto alle decisioni diagnostiche tradizionali per supportare il ragionamento del caso prima di interagire con un modello CHATGPT-4 personalizzato, a quel punto avranno l'opportunità di rivedere le loro risposte iniziali.
I partecipanti saranno randomizzati in diversi bracci di studio e risponderanno ai casi diagnostici fornendo tre diagnosi differenziali, insieme a risultati di supporto e opposti per ciascuno. Identificheranno anche la loro massima diagnosi e proporranno i prossimi passaggi diagnostici. I revisori indipendenti, accecati dall'assegnazione del trattamento, valuteranno le loro risposte.
Tipo di studio
Iscrizione (Effettivo)
Fase
- Non applicabile
Contatti e Sedi
Luoghi di studio
-
-
California
-
Palo Alto, California, Stati Uniti, 94305
- Stanford University
-
-
Criteri di partecipazione
Criteri di ammissibilità
Età idonea allo studio
- Bambino
- Adulto
- Adulto più anziano
Accetta volontari sani
Descrizione
Criteri di inclusione:
- I partecipanti devono essere medici autorizzati e hanno completato almeno il primo anno post-laurea (PGY1) di formazione medica.
- Formazione in medicina interna, medicina di famiglia o medicina di emergenza.
Criteri di esclusione:
- Attualmente non esercitati clinicamente.
- Ha partecipato a uno dei nostri studi precedenti che utilizzavano gli stessi sei casi diagnostici.
Piano di studio
Come è strutturato lo studio?
Dettagli di progettazione
- Scopo principale: Diagnostico
- Assegnazione: Randomizzato
- Modello interventistico: Assegnazione parallela
- Mascheramento: Separare
Armi e interventi
Gruppo di partecipanti / Arm |
Intervento / Trattamento |
|---|---|
|
Comparatore attivo: Accesso immediato alla versione personalizzata di GPT-4
Il gruppo sarà incoraggiato a utilizzare immediatamente una versione personalizzata di GPT-4.
|
A gruppo viene dato un accesso immediato a una versione personalizzata di GPT-4 per supportare il ragionamento diagnostico per ciascun caso.
|
|
Comparatore attivo: Prima risorse convenzionali, quindi concesso l'accesso alla versione personalizzata di GPT-4.
Il gruppo sarà incoraggiato a utilizzare prima tutte le risorse che desiderano oltre ai modelli di grandi dimensioni (UpTodate, PubMed, Google, ecc.) E quindi riceverà l'accesso a una versione personalizzata di GPT-4.
|
Il gruppo è prima incoraggiato a ragionare attraverso casi diagnostici con il supporto delle risorse convenzionali.
Dopo aver inviato le risposte di un caso, viene quindi assegnato l'accesso a una versione personalizzata di GPT-4 e hanno l'opportunità di modificare le loro risposte iniziali.
|
Cosa sta misurando lo studio?
Misure di risultato primarie
Misura del risultato |
Misura Descrizione |
Lasso di tempo |
|---|---|---|
|
Ragionamento diagnostico
Lasso di tempo: Attraverso il completamento dello studio, una media di 6 mesi
|
Il risultato primario sarà la percentuale di risposte corrette per caso (intervallo: da 0 a 100).
Per ogni caso, ai partecipanti verrà chiesto di fornire le loro prime tre diagnosi differenziali, insieme a risultati di supporto e opposti per ciascuno.
Riceveranno 1 punto per ogni diagnosi plausibile.
I risultati di supporto e avversari saranno classificati in base alla correttezza, con 1 punto per una risposta parzialmente corretta e 2 punti per una risposta completamente corretta.
I partecipanti selezioneranno quindi la loro diagnosi superiore, guadagnando 1 punto per una scelta ragionevole e 2 punti per la diagnosi più accurata.
Infine, elencheranno fino a tre passaggi successivi per un'ulteriore valutazione del paziente, con 1 punto assegnato per una risposta parzialmente corretta e 2 punti per una risposta completamente corretta.
Il risultato primario verrà analizzato a livello di caso, confrontando le prestazioni tra i gruppi di studio randomizzati.
|
Attraverso il completamento dello studio, una media di 6 mesi
|
Misure di risultato secondarie
Misura del risultato |
Misura Descrizione |
Lasso di tempo |
|---|---|---|
|
Tempo trascorso per caso
Lasso di tempo: Attraverso il completamento dello studio, una media di 6 mesi
|
Gli investigatori confronteranno il tempo medio (in pochi minuti) i partecipanti spendono su ciascun caso attraverso i due bracci di studio.
|
Attraverso il completamento dello studio, una media di 6 mesi
|
|
Frequenza rapida
Lasso di tempo: Attraverso il completamento dello studio, una media di 6 mesi
|
Gli investigatori confronteranno la frequenza dei prompt dei partecipanti al modello GPT-4 personalizzato tra i due gruppi di studio.
|
Attraverso il completamento dello studio, una media di 6 mesi
|
|
Sentimento
Lasso di tempo: Attraverso il completamento dello studio, una media di 6 mesi
|
Gli investigatori confronteranno il tono e il sentimento dei suggerimenti dei partecipanti al modello GPT-4 personalizzato tra i due gruppi di studio.
Gli investigatori creeranno un sistema di codifica qualitativo per classificare la natura delle istruzioni dei partecipanti.
|
Attraverso il completamento dello studio, una media di 6 mesi
|
|
Percezioni dei partecipanti dell'IA nel ragionamento clinico
Lasso di tempo: Attraverso il completamento dello studio, una media di 6 mesi
|
Questo risultato sarebbe valutato in entrambi i bracci di studio e comprenderebbe cambiamenti negli atteggiamenti, la fiducia e la volontà di utilizzare strumenti diagnostici di intelligenza artificiale prima e dopo essere stato esposto allo strumento personalizzato.
Valuteremo il numero di partecipanti che erano aperti all'uso dell'IA per aiutare con un ragionamento clinico complesso (pre e post-quiz), se si divertivano a lavorare con lo strumento diagnostico AI, se si sentivano come se lo strumento forniva una preziosa esperienza collaborativa per il ragionamento clinico, se vedessero lo studio clinico in questo studio, se vedevano lo studio della Diagnostica AI.
Questi saranno valutati su una classifica su scala Likert da fortemente in disaccordo a fortemente d'accordo.
|
Attraverso il completamento dello studio, una media di 6 mesi
|
|
Il ragionamento diagnostico di GPT-4 personalizzato
Lasso di tempo: Attraverso il completamento dello studio, una media di 6 mesi
|
Le diagnosi "indipendenti" di GPT-4 personalizzate saranno valutate per l'accuratezza.
Il risultato sarà la percentuale di risposte corrette per caso (intervallo: da 0 a 100).
Per ogni caso, il Meta-PROMPT dirige il GPT-4 personalizzato per fornire le sue prime tre diagnosi differenziali, insieme a risultati di supporto e opposti per ciascuno, una diagnosi finale e i passaggi successivi.
Il GPT-4 personalizzato riceverà 1 punto per ciascuna diagnosi plausibile.
I risultati di supporto e avversari saranno classificati in base alla correttezza, con 1 punto per una risposta parzialmente corretta e 2 punti per una risposta completamente corretta.
La sua diagnosi migliore guadagnerà 1 punto per una scelta ragionevole e 2 punti per la diagnosi più accurata.
Infine, elencherà fino a tre passaggi successivi per un'ulteriore valutazione del paziente, con 1 punto assegnato per una risposta parzialmente corretta e 2 punti per una risposta completamente corretta.
Il risultato verrà analizzato a livello di caso, confrontando le prestazioni con i punteggi dei gruppi di studio randomizzati.
|
Attraverso il completamento dello studio, una media di 6 mesi
|
Collaboratori e investigatori
Sponsor
Collaboratori
Investigatori
- Investigatore principale: Jonathan H Chen, MD, PhD, Stanford University
Studiare le date dei record
Studia le date principali
Inizio studio (Effettivo)
Completamento primario (Effettivo)
Completamento dello studio (Effettivo)
Date di iscrizione allo studio
Primo inviato
Primo inviato che soddisfa i criteri di controllo qualità
Primo Inserito (Effettivo)
Aggiornamenti dei record di studio
Ultimo aggiornamento pubblicato (Effettivo)
Ultimo aggiornamento inviato che soddisfa i criteri QC
Ultimo verificato
Maggiori informazioni
Termini relativi a questo studio
Termini MeSH pertinenti aggiuntivi
Altri numeri di identificazione dello studio
- 71319c
Piano per i dati dei singoli partecipanti (IPD)
Hai intenzione di condividere i dati dei singoli partecipanti (IPD)?
Informazioni su farmaci e dispositivi, documenti di studio
Studia un prodotto farmaceutico regolamentato dalla FDA degli Stati Uniti
Studia un dispositivo regolamentato dalla FDA degli Stati Uniti
prodotto fabbricato ed esportato dagli Stati Uniti
Queste informazioni sono state recuperate direttamente dal sito web clinicaltrials.gov senza alcuna modifica. In caso di richieste di modifica, rimozione o aggiornamento dei dettagli dello studio, contattare register@clinicaltrials.gov. Non appena verrà implementata una modifica su clinicaltrials.gov, questa verrà aggiornata automaticamente anche sul nostro sito web .