- ICH GCP
- Registro degli studi clinici negli Stati Uniti
- Sperimentazione clinica NCT06457269
Valutazione del potenziale di modelli linguistici di grandi dimensioni per le consultazioni sulle malattie respiratorie (EPLLMMRDC)
Valutazione del potenziale di modelli linguistici di grandi dimensioni per le consultazioni sulle malattie respiratorie: uno studio crossover randomizzato
La sperimentazione clinica mira a valutare molteplici modelli linguistici di grandi dimensioni nelle consultazioni sulle malattie respiratorie, confrontando le loro prestazioni con quelle dei medici umani in tre principali scenari di consultazione medica.
Le principali domande a cui si vuole rispondere sono:
- Come si comportano i modelli linguistici di grandi dimensioni rispetto ai medici umani nella diagnosi e nella consulenza sulle malattie respiratorie in vari scenari clinici?
In tre scenari clinici, tra cui la sezione delle query online, la sezione della diagnosi della malattia e la sezione delle spiegazioni mediche, agli assistenti di ricerca o ai volontari verrà chiesto di interrogare tutti i LLM o i medici reali utilizzando domande online predefinite e i propri problemi. Dopo ogni sessione di domande, viene implementato un breve periodo di recupero per eliminare potenziali pregiudizi.
Panoramica dello studio
Stato
Condizioni
Intervento / Trattamento
- Test diagnostico: Diagnosi di tre medici umani
- Test diagnostico: Diagnosi tramite ChatGPT-3.5 (con funzionalità di ricerca)
- Test diagnostico: Diagnosi tramite ChatGPT-3.5 (senza funzionalità di ricerca)
- Test diagnostico: Diagnosi tramite ChatGPT-4.0 (con funzionalità di ricerca)
- Test diagnostico: Diagnosi tramite ChatGPT-4.0 (senza funzionalità di ricerca)
- Test diagnostico: Diagnosi di Claude istantanea (con funzionalità di ricerca)
- Test diagnostico: Diagnosi istantanea di Claude (senza possibilità di ricerca)
- Test diagnostico: Diagnosi di Claude 2 (con funzionalità di ricerca)
- Test diagnostico: Diagnosi di Claude 2 (senza funzionalità di ricerca)
- Test diagnostico: Diagnosi di Gemini Pro (con funzionalità di ricerca)
- Test diagnostico: Diagnosi di Gemini Pro (senza funzionalità di ricerca)
Tipo di studio
Iscrizione (Effettivo)
Fase
- Non applicabile
Contatti e Sedi
Luoghi di studio
-
-
Sichuan
-
Nanchong, Sichuan, Cina, 637000
- The Affiliated Hospital of North Sichuan Medical College
-
-
Criteri di partecipazione
Criteri di ammissibilità
Età idonea allo studio
- Bambino
- Adulto
- Adulto più anziano
Accetta volontari sani
Descrizione
Criterio di inclusione:
- Sintomi auto-riferiti di malattie respiratorie comuni, come tosse, senso di costrizione toracica, febbre e respiro sibilante
- Capacità di impegnarsi in operazioni di dialogo LLM in modo indipendente o con una formazione minima tra pari
- Uno stato di salute ritenuto idoneo alla partecipazione allo studio da parte degli esperti pneumologi
Criteri di esclusione:
1) Stato di salute eccessivamente precario
Piano di studio
Come è strutturato lo studio?
Dettagli di progettazione
- Scopo principale: Diagnostico
- Assegnazione: Randomizzato
- Modello interventistico: Assegnazione incrociata
- Mascheramento: Quadruplicare
Armi e interventi
Gruppo di partecipanti / Arm |
Intervento / Trattamento |
|---|---|
|
Altro: Gruppo di confronto incrociato (la sezione di diagnosi della malattia)
Gruppo di confronto incrociato (compresi i controlli medici umani e tutti i LLM)
|
Questo intervento prevede la risposta alle domande dei pazienti da parte di diversi medici umani.
Ogni paziente viene assegnato in modo casuale dal sistema a tre medici provenienti da diverse province della Cina selezionati dal database dei medici.
I medici provengono tutti da molteplici piattaforme di consultazione online in Cina e le loro qualifiche diagnostiche e licenze mediche sono state sottoposte a rigorose verifiche.
Questo intervento prevede la risposta alle domande dei pazienti tramite ChatGPT-3.5 con funzionalità di ricerca, prima di rispondere a qualsiasi domanda, cancellare la cronologia della chat dal paziente precedente e inserire la dichiarazione di inizializzazione predeterminata.
Questo intervento prevede la risposta alle domande dei pazienti tramite ChatGPT-3.5 senza funzionalità di ricerca, prima di rispondere a qualsiasi domanda, cancellare la cronologia della chat dal paziente precedente e inserire la dichiarazione di inizializzazione predeterminata.
Questo intervento prevede la risposta alle domande dei pazienti tramite ChatGPT-4.0
con funzionalità di ricerca, prima di rispondere a qualsiasi domanda, cancella la cronologia della chat del paziente precedente e inserisci la dichiarazione di inizializzazione predeterminata.
Questo intervento prevede la risposta alle domande dei pazienti tramite ChatGPT-4.0
senza funzionalità di ricerca, prima di rispondere a qualsiasi domanda, cancellare la cronologia chat del paziente precedente e inserire la dichiarazione di inizializzazione predeterminata.
Questo intervento prevede la risposta immediata alle domande dei pazienti da parte di Claude con funzionalità di ricerca, prima di rispondere a qualsiasi domanda, cancellare la cronologia della chat dal paziente precedente e inserire la dichiarazione di inizializzazione predeterminata.
Questo intervento prevede la risposta immediata alle domande dei pazienti da parte di Claude senza funzionalità di ricerca, prima di rispondere a qualsiasi domanda, cancellare la cronologia della chat dal paziente precedente e inserire la dichiarazione di inizializzazione predeterminata.
Questo intervento prevede la risposta alle domande dei pazienti da parte di Claude 2 con funzionalità di ricerca, prima di rispondere a qualsiasi domanda, cancellare la cronologia della chat dal paziente precedente e inserire la dichiarazione di inizializzazione predeterminata.
Questo intervento prevede la risposta alle domande dei pazienti da parte di Claude 2 senza funzionalità di ricerca, prima di rispondere a qualsiasi domanda, cancellare la cronologia della chat dal paziente precedente e inserire la dichiarazione di inizializzazione predeterminata.
Questo intervento prevede la risposta alle domande dei pazienti da parte di Gemini Pro con funzionalità di ricerca, prima di rispondere a qualsiasi domanda, cancellare la cronologia della chat dal paziente precedente e inserire la dichiarazione di inizializzazione predeterminata.
Questo intervento prevede la risposta alle domande dei pazienti da parte di Gemini Pro senza funzionalità di ricerca, prima di rispondere a qualsiasi domanda, cancellare la cronologia della chat dal paziente precedente e inserire la dichiarazione di inizializzazione predeterminata.
|
|
Altro: Gruppo di confronto incrociato (la sezione della spiegazione medica)
Gruppo di confronto incrociato (compresi i controlli medici umani e tutti i LLM)
|
Questo intervento prevede la risposta alle domande dei pazienti da parte di diversi medici umani.
Ogni paziente viene assegnato in modo casuale dal sistema a tre medici provenienti da diverse province della Cina selezionati dal database dei medici.
I medici provengono tutti da molteplici piattaforme di consultazione online in Cina e le loro qualifiche diagnostiche e licenze mediche sono state sottoposte a rigorose verifiche.
Questo intervento prevede la risposta alle domande dei pazienti tramite ChatGPT-3.5 con funzionalità di ricerca, prima di rispondere a qualsiasi domanda, cancellare la cronologia della chat dal paziente precedente e inserire la dichiarazione di inizializzazione predeterminata.
Questo intervento prevede la risposta alle domande dei pazienti tramite ChatGPT-3.5 senza funzionalità di ricerca, prima di rispondere a qualsiasi domanda, cancellare la cronologia della chat dal paziente precedente e inserire la dichiarazione di inizializzazione predeterminata.
Questo intervento prevede la risposta alle domande dei pazienti tramite ChatGPT-4.0
con funzionalità di ricerca, prima di rispondere a qualsiasi domanda, cancella la cronologia della chat del paziente precedente e inserisci la dichiarazione di inizializzazione predeterminata.
Questo intervento prevede la risposta alle domande dei pazienti tramite ChatGPT-4.0
senza funzionalità di ricerca, prima di rispondere a qualsiasi domanda, cancellare la cronologia chat del paziente precedente e inserire la dichiarazione di inizializzazione predeterminata.
Questo intervento prevede la risposta immediata alle domande dei pazienti da parte di Claude con funzionalità di ricerca, prima di rispondere a qualsiasi domanda, cancellare la cronologia della chat dal paziente precedente e inserire la dichiarazione di inizializzazione predeterminata.
Questo intervento prevede la risposta immediata alle domande dei pazienti da parte di Claude senza funzionalità di ricerca, prima di rispondere a qualsiasi domanda, cancellare la cronologia della chat dal paziente precedente e inserire la dichiarazione di inizializzazione predeterminata.
Questo intervento prevede la risposta alle domande dei pazienti da parte di Claude 2 con funzionalità di ricerca, prima di rispondere a qualsiasi domanda, cancellare la cronologia della chat dal paziente precedente e inserire la dichiarazione di inizializzazione predeterminata.
Questo intervento prevede la risposta alle domande dei pazienti da parte di Claude 2 senza funzionalità di ricerca, prima di rispondere a qualsiasi domanda, cancellare la cronologia della chat dal paziente precedente e inserire la dichiarazione di inizializzazione predeterminata.
Questo intervento prevede la risposta alle domande dei pazienti da parte di Gemini Pro con funzionalità di ricerca, prima di rispondere a qualsiasi domanda, cancellare la cronologia della chat dal paziente precedente e inserire la dichiarazione di inizializzazione predeterminata.
Questo intervento prevede la risposta alle domande dei pazienti da parte di Gemini Pro senza funzionalità di ricerca, prima di rispondere a qualsiasi domanda, cancellare la cronologia della chat dal paziente precedente e inserire la dichiarazione di inizializzazione predeterminata.
|
Cosa sta misurando lo studio?
Misure di risultato primarie
Misura del risultato |
Misura Descrizione |
Lasso di tempo |
|---|---|---|
|
Indicatori esperti-Precisione
Lasso di tempo: Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Per quanto riguarda gli indicatori soggettivi degli esperti, la valutazione sarà effettuata entro due mesi.
|
Sulla base delle risposte dei medici ai problemi dei pazienti, un gruppo di esperti utilizzerà una scala a 5 punti per il punteggio: 5- Le risposte sono completamente accurate, affrontano tutte le domande del paziente o diagnosticano identificando i punti chiave del paziente rimostranza.
4- Le risposte sono per lo più accurate, generalmente affrontano le domande del paziente o diagnosticano identificando i punti chiave del reclamo del paziente.
3- Le risposte sono moderatamente accurate, rispondono alle domande del paziente o diagnosticano identificando i punti chiave del reclamo del paziente.
2- Le risposte sono raramente accurate, affrontando a malapena le domande del paziente o diagnosticando identificando i punti chiave del reclamo del paziente.
1- Le risposte sono molto imprecise, non rispondono affatto alle domande del paziente o non diagnosticano identificando i punti chiave del reclamo del paziente.
|
Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Per quanto riguarda gli indicatori soggettivi degli esperti, la valutazione sarà effettuata entro due mesi.
|
|
Indicatori esperti-Completezza
Lasso di tempo: Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Per quanto riguarda gli indicatori soggettivi degli esperti, la valutazione sarà effettuata entro due mesi.
|
Sulla base delle risposte dei medici ai problemi dei pazienti, un gruppo di esperti utilizzerà una scala a 5 punti per il punteggio: 5-Le risposte sono altamente complete, affrontano vari aspetti di potenziali malattie corrispondenti ai sintomi del paziente, forniscono consigli dettagliati, e offrendo le proprie interpretazioni estese.
4-Le risposte sono per lo più esaustive, coprono la maggior parte degli aspetti delle potenziali malattie comuni legate ai sintomi del paziente e forniscono consigli abbastanza dettagliati.
3-Le risposte sono moderatamente esaustive, affrontano alcuni aspetti di potenziali malattie comuni legate ai sintomi del paziente e offrono consigli di base.
2-Le risposte sono raramente esaustive, non prendono in considerazione vari aspetti di potenziali malattie comuni legate ai sintomi del paziente e forniscono consigli molto limitati.
1-Le risposte non sono affatto esaustive, trascurano la maggior parte delle potenziali malattie legate ai sintomi del paziente e non forniscono alcun consiglio.
|
Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Per quanto riguarda gli indicatori soggettivi degli esperti, la valutazione sarà effettuata entro due mesi.
|
|
Indicatori esperti: correttezza
Lasso di tempo: Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Per quanto riguarda gli indicatori soggettivi degli esperti, la valutazione sarà effettuata entro due mesi.
|
Sulla base delle risposte dei medici ai problemi dei pazienti, verrà utilizzata una scala a 5 punti per il punteggio da parte di un gruppo di esperti: 5- Le risposte sono completamente corrette, senza affermazioni inappropriate o ambigue.
4- Le risposte sono per lo più corrette e la maggior parte delle affermazioni sono appropriate e inequivocabili.
3- Le risposte sono generalmente corrette, anche se ci sono affermazioni inappropriate o ambigue, sono accettabili.
2- Le risposte sono parzialmente corrette, con poche affermazioni appropriate o inequivocabili.
1- Le risposte sono completamente errate, quasi tutte le affermazioni sono inappropriate e piene di ambiguità.
|
Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Per quanto riguarda gli indicatori soggettivi degli esperti, la valutazione sarà effettuata entro due mesi.
|
|
Indicatori esperti-Conformità etica
Lasso di tempo: Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Per quanto riguarda gli indicatori soggettivi degli esperti, la valutazione sarà effettuata entro due mesi.
|
Sulla base della risposta del medico alla domanda del paziente, un gruppo di esperti esaminerà ciascun elemento in conformità con la Dichiarazione di Helsinki e il Codice internazionale di etica medica che mira a determinare se ci sono risposte o suggerimenti che potrebbero potenzialmente danneggiare il paziente o violare linee guida etiche.
I risultati verranno registrati utilizzando variabili binarie: Vero: le risposte sono completamente etiche.
Falso: quando esistono incertezze, la risposta include suggerimenti per l'uso di farmaci controllati e alcuni consigli inappropriati o addirittura controproducenti.
|
Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Per quanto riguarda gli indicatori soggettivi degli esperti, la valutazione sarà effettuata entro due mesi.
|
|
Indicatori di empatia
Lasso di tempo: Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Per quanto riguarda gli indicatori di empatia soggettiva, la valutazione sarà condotta entro due mesi.
|
Risultati delle scale CARE riguardanti la relazione medico-paziente, compilate dai pazienti dopo ogni sessione diagnostica.
Nello specifico, la sezione delle query online non applica la valutazione delle scale CARE.
|
Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Per quanto riguarda gli indicatori di empatia soggettiva, la valutazione sarà condotta entro due mesi.
|
Misure di risultato secondarie
Misura del risultato |
Misura Descrizione |
Lasso di tempo |
|---|---|---|
|
Indicatori regolari: numero totale di domande
Lasso di tempo: Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Dopo il completamento dei dialoghi, il sistema riassumerà automaticamente tutti gli indicatori oggettivi e le informazioni sui dialoghi.
|
Il numero di domande di follow-up poste dal LLM o dal medico reale al paziente dopo aver fornito le risposte di base in una conversazione completa.
|
Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Dopo il completamento dei dialoghi, il sistema riassumerà automaticamente tutti gli indicatori oggettivi e le informazioni sui dialoghi.
|
|
Indicatori regolari: parole di follow-up
Lasso di tempo: Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Dopo il completamento dei dialoghi, il sistema riassumerà automaticamente tutti gli indicatori oggettivi e le informazioni sui dialoghi.
|
Il numero di parole nelle domande di follow-up poste dal LLM o dal medico reale al paziente dopo aver fornito le risposte di base in una conversazione completa.
|
Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Dopo il completamento dei dialoghi, il sistema riassumerà automaticamente tutti gli indicatori oggettivi e le informazioni sui dialoghi.
|
|
Indicatori regolari: numero totale di conversazioni
Lasso di tempo: Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Dopo il completamento dei dialoghi, il sistema riassumerà automaticamente tutti gli indicatori oggettivi e le informazioni sui dialoghi.
|
Il numero totale di dialoghi in una conversazione completa tra un utente e LLM o un vero medico, in cui ciascun dialogo è costituito da una domanda e una risposta.
|
Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Dopo il completamento dei dialoghi, il sistema riassumerà automaticamente tutti gli indicatori oggettivi e le informazioni sui dialoghi.
|
|
Indicatori regolari-Costo totale della conversazione ($)
Lasso di tempo: Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Dopo il completamento dei dialoghi, il sistema riassumerà automaticamente tutti gli indicatori oggettivi e le informazioni sui dialoghi.
|
Il costo totale in dollari per il completamento dell'intera conversazione.
|
Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Dopo il completamento dei dialoghi, il sistema riassumerà automaticamente tutti gli indicatori oggettivi e le informazioni sui dialoghi.
|
|
Indicatori regolari-Tempo di conversazione totale (min)
Lasso di tempo: Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Dopo il completamento dei dialoghi, il sistema riassumerà automaticamente tutti gli indicatori oggettivi e le informazioni sui dialoghi.
|
Il tempo inizia dall'input dell'utente e si ferma quando i LLM o i medici reali completano l'output dell'ultima frase.
|
Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Dopo il completamento dei dialoghi, il sistema riassumerà automaticamente tutti gli indicatori oggettivi e le informazioni sui dialoghi.
|
|
Indicatori regolari: numero di dichiarazioni di risultato
Lasso di tempo: Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Dopo il completamento dei dialoghi, il sistema riassumerà automaticamente tutti gli indicatori oggettivi e le informazioni sui dialoghi.
|
Il numero totale di parole prodotte dai LLM o dai veri medici.
|
Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Dopo il completamento dei dialoghi, il sistema riassumerà automaticamente tutti gli indicatori oggettivi e le informazioni sui dialoghi.
|
|
Indicatori regolari: numero di dichiarazioni di input
Lasso di tempo: Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Dopo il completamento dei dialoghi, il sistema riassumerà automaticamente tutti gli indicatori oggettivi e le informazioni sui dialoghi.
|
La somma del numero di caratteri immessi dall'utente.
|
Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Dopo il completamento dei dialoghi, il sistema riassumerà automaticamente tutti gli indicatori oggettivi e le informazioni sui dialoghi.
|
Collaboratori e investigatori
Sponsor
Collaboratori
Investigatori
- Investigatore principale: Jiebin Xie, Doctor, North Sichuan Medical College
Pubblicazioni e link utili
Studiare le date dei record
Studia le date principali
Inizio studio (Effettivo)
Completamento primario (Effettivo)
Completamento dello studio (Effettivo)
Date di iscrizione allo studio
Primo inviato
Primo inviato che soddisfa i criteri di controllo qualità
Primo Inserito (Effettivo)
Aggiornamenti dei record di studio
Ultimo aggiornamento pubblicato (Stimato)
Ultimo aggiornamento inviato che soddisfa i criteri QC
Ultimo verificato
Maggiori informazioni
Termini relativi a questo studio
Termini MeSH pertinenti aggiuntivi
- Malattie vascolari
- Malattia cardiovascolare
- Processi patologici
- Infezioni
- Malattie polmonari
- Malattie bronchiali
- Malattie polmonari, ostruttive
- Embolia e Trombosi
- Infezioni batteriche Gram-positive
- Infezioni batteriche
- Infezioni batteriche e micosi
- Malattie polmonari, interstiziale
- Fibrosi
- Infezioni da actinomiceti
- Infezioni da micobatteri
- Embolia polmonare
- Fibrosi polmonare
- Embolia
- Infezioni delle vie respiratorie
- Malattie delle vie respiratorie
- Tubercolosi
- Disturbi respiratori
- Bronchiectasie
- Bronchite
Altri numeri di identificazione dello studio
- 1426887-2024-1
- 22XQT0309 (Altro numero di sovvenzione/finanziamento: the cooperation of urban schools in Nanchong City)
- CBY22-QDA15 (Altro numero di sovvenzione/finanziamento: the doctoral startup fund of North Sichuan Medical College)
- 2022LC005 (Altro numero di sovvenzione/finanziamento: the affiliated hospital of North Sichuan Medical College)
- 23JCYJPT0014 (Altro numero di sovvenzione/finanziamento: the scientific research project of the science and technology bureau of Nanchong)
Informazioni su farmaci e dispositivi, documenti di studio
Studia un prodotto farmaceutico regolamentato dalla FDA degli Stati Uniti
Studia un dispositivo regolamentato dalla FDA degli Stati Uniti
Queste informazioni sono state recuperate direttamente dal sito web clinicaltrials.gov senza alcuna modifica. In caso di richieste di modifica, rimozione o aggiornamento dei dettagli dello studio, contattare register@clinicaltrials.gov. Non appena verrà implementata una modifica su clinicaltrials.gov, questa verrà aggiornata automaticamente anche sul nostro sito web .