L'impatto dei modelli linguistici di grandi dimensioni sul ragionamento diagnostico tra i medici
Panoramica dello studio
Descrizione dettagliata
Gli errori diagnostici rappresentano una delle principali fonti di danni prevenibili ai pazienti. I recenti progressi nei Large Language Models (LLM), in particolare ChatGPT-4o, si sono dimostrati promettenti nel migliorare il processo decisionale medico. Tuttavia, si sa poco riguardo al loro impatto sul ragionamento diagnostico dei medici (ad esempio, medici e chirurghi).
L’accuratezza diagnostica si basa su un ragionamento clinico complesso e su un’attenta valutazione dei dati del paziente. Mentre l’assistenza dell’intelligenza artificiale potrebbe potenzialmente ridurre gli errori e migliorare l’efficienza, ChatGPT-4o manca di validazione medica e potrebbe introdurre nuovi rischi attraverso la generazione di informazioni errate (note anche come allucinazioni). Per mitigare questi rischi, i medici necessitano di una formazione adeguata per comprendere le capacità, i limiti e l'utilizzo corretto di ChatGPT-4o. Date queste incertezze e l’importanza di un’adeguata formazione sull’IA, la valutazione sistematica è essenziale prima dell’implementazione clinica.
Questo studio randomizzato valuterà se l'accesso a ChatGPT-4o migliora le prestazioni diagnostiche dei medici rispetto alle sole risorse convenzionali (ad esempio libri di testo, database medici online). Tutti i medici partecipanti avranno completato almeno un programma di formazione di 10 ore sull'utilizzo di ChatGPT-4o, tecniche di ingegneria rapida e strategie di valutazione dei risultati. I partecipanti forniranno diagnosi differenziali con prove a sostegno e raccomandazioni sui passaggi successivi per i casi clinici, con risposte valutate da revisori in cieco.
Tipo di studio
Iscrizione (Effettivo)
Fase
- Non applicabile
Contatti e Sedi
Luoghi di studio
-
-
Punjab
-
Lahore, Punjab, Pakistan, 54792
- Lahore University of Management Sciences
-
-
Criteri di partecipazione
Criteri di ammissibilità
Età idonea allo studio
- Bambino
- Adulto
- Adulto più anziano
Accetta volontari sani
Descrizione
Criteri di inclusione:
- Professionisti medici registrati a pieno titolo o provvisoriamente presso il Pakistan Medical and Dental Council (PMDC).
- Esame di laurea in medicina e chirurgia (MBBS) completato. Il grado equivalente di MBBS negli Stati Uniti e in Canada è chiamato Doctor of Medicine (MD).
- I partecipanti devono aver completato un programma di formazione strutturato sull'uso di ChatGPT (o un modello linguistico comparabile di grandi dimensioni), per un totale di almeno 10 ore di istruzione. Il programma deve includere pratiche pratiche relative agli aspetti di LLM, in particolare ingegneria tempestiva e valutazione dei contenuti.
Criteri di esclusione:
- Qualsiasi altro medico registrato (a pieno titolo o provvisorio) presso il PMDC (ad esempio, professionisti con laurea in chirurgia dentale o BDS).
Piano di studio
Come è strutturato lo studio?
Dettagli di progettazione
- Scopo principale: Diagnostico
- Assegnazione: Randomizzato
- Modello interventistico: Assegnazione parallela
- Mascheramento: Nessuno (etichetta aperta)
Armi e interventi
Gruppo di partecipanti / Arm |
Intervento / Trattamento |
|---|---|
|
Comparatore attivo: ChatGPT-4o
Il gruppo avrà accesso a ChatGPT-4o.
|
Modello linguistico di grandi dimensioni ChatGPT-4o di OpenAI con interfaccia chat.
|
|
Nessun intervento: Risorse convenzionali
Il gruppo non avrà accesso a ChatGPT-4o ma sarà incoraggiato a utilizzare tutte le risorse che desidera oltre ai modelli linguistici di grandi dimensioni (PubMed, Google senza panoramiche AI, ecc.).
|
Cosa sta misurando lo studio?
Misure di risultato primarie
Misura del risultato |
Misura Descrizione |
Lasso di tempo |
|---|---|---|
|
Ragionamento diagnostico
Lasso di tempo: Valutato in un unico momento per ciascun caso, durante la sessione di valutazione del ragionamento diagnostico programmata, che si svolge tra 0 e 4 giorni dopo l'iscrizione del partecipante.
|
Il risultato primario sarà la percentuale corretta per ciascun caso (intervallo: da 0 a 100).
Per ciascun caso, ai partecipanti verranno chieste le tre diagnosi principali, i risultati del caso che supportano quella diagnosi e i risultati del caso che si oppongono a quella diagnosi.
Per ogni diagnosi plausibile, i partecipanti riceveranno 1 punto.
Anche i risultati a sostegno della diagnosi e quelli contrari alla diagnosi verranno valutati in base alla correttezza, con 1 punto per le risposte parzialmente corrette e 2 punti per le risposte completamente corrette.
Ai partecipanti verrà quindi chiesto di nominare la loro diagnosi migliore, guadagnando un punto per una risposta ragionevole e due punti per la risposta più corretta.
Infine ai partecipanti verrà chiesto di nominare fino a 3 passaggi successivi per valutare ulteriormente il paziente con un punto assegnato per una risposta parzialmente corretta e due punti per una risposta completamente corretta.
L'esito primario sarà confrontato a livello di caso dai gruppi randomizzati.
|
Valutato in un unico momento per ciascun caso, durante la sessione di valutazione del ragionamento diagnostico programmata, che si svolge tra 0 e 4 giorni dopo l'iscrizione del partecipante.
|
Misure di risultato secondarie
Misura del risultato |
Misura Descrizione |
Lasso di tempo |
|---|---|---|
|
Tempo dedicato alla diagnosi
Lasso di tempo: Valutato in un unico momento per ciascun caso, durante la sessione di valutazione del ragionamento diagnostico programmata, che si svolge tra 0 e 4 giorni dopo l'iscrizione del partecipante.
|
Confronteremo quanto tempo (in secondi) i partecipanti trascorrono per caso tra i due bracci di studio.
|
Valutato in un unico momento per ciascun caso, durante la sessione di valutazione del ragionamento diagnostico programmata, che si svolge tra 0 e 4 giorni dopo l'iscrizione del partecipante.
|
Collaboratori e investigatori
Collaboratori
Investigatori
- Investigatore principale: Ihsan Ayyub Qazi, PhD, Lahore University of Management Sciences
- Investigatore principale: Muhammad Asadullah Khawaja, MBBS, King Edward Medical University
- Investigatore principale: Ayesha Ali, PhD, Lahore University of Management Sciences
Studiare le date dei record
Studia le date principali
Inizio studio (Effettivo)
Completamento primario (Effettivo)
Completamento dello studio (Effettivo)
Date di iscrizione allo studio
Primo inviato
Primo inviato che soddisfa i criteri di controllo qualità
Primo Inserito (Effettivo)
Aggiornamenti dei record di studio
Ultimo aggiornamento pubblicato (Effettivo)
Ultimo aggiornamento inviato che soddisfa i criteri QC
Ultimo verificato
Maggiori informazioni
Termini relativi a questo studio
Termini MeSH pertinenti aggiuntivi
Altri numeri di identificazione dello studio
- IRB-0342
Piano per i dati dei singoli partecipanti (IPD)
Hai intenzione di condividere i dati dei singoli partecipanti (IPD)?
Informazioni su farmaci e dispositivi, documenti di studio
Studia un prodotto farmaceutico regolamentato dalla FDA degli Stati Uniti
Studia un dispositivo regolamentato dalla FDA degli Stati Uniti
prodotto fabbricato ed esportato dagli Stati Uniti
Queste informazioni sono state recuperate direttamente dal sito web clinicaltrials.gov senza alcuna modifica. In caso di richieste di modifica, rimozione o aggiornamento dei dettagli dello studio, contattare register@clinicaltrials.gov. Non appena verrà implementata una modifica su clinicaltrials.gov, questa verrà aggiornata automaticamente anche sul nostro sito web .