Questa pagina è stata tradotta automaticamente e l'accuratezza della traduzione non è garantita. Si prega di fare riferimento al Versione inglese per un testo di partenza.

Valutazione del potenziale di modelli linguistici di grandi dimensioni per le consultazioni sulle malattie respiratorie (EPLLMMRDC)

24 novembre 2024 aggiornato da: Zining Luo, North Sichuan Medical College

Valutazione del potenziale di modelli linguistici di grandi dimensioni per le consultazioni sulle malattie respiratorie: uno studio crossover randomizzato

La sperimentazione clinica mira a valutare molteplici modelli linguistici di grandi dimensioni nelle consultazioni sulle malattie respiratorie, confrontando le loro prestazioni con quelle dei medici umani in tre principali scenari di consultazione medica.

Le principali domande a cui si vuole rispondere sono:

  • Come si comportano i modelli linguistici di grandi dimensioni rispetto ai medici umani nella diagnosi e nella consulenza sulle malattie respiratorie in vari scenari clinici?

In tre scenari clinici, tra cui la sezione delle query online, la sezione della diagnosi della malattia e la sezione delle spiegazioni mediche, agli assistenti di ricerca o ai volontari verrà chiesto di interrogare tutti i LLM o i medici reali utilizzando domande online predefinite e i propri problemi. Dopo ogni sessione di domande, viene implementato un breve periodo di recupero per eliminare potenziali pregiudizi.

Panoramica dello studio

Tipo di studio

Interventistico

Iscrizione (Effettivo)

703

Fase

  • Non applicabile

Contatti e Sedi

Questa sezione fornisce i recapiti di coloro che conducono lo studio e informazioni su dove viene condotto lo studio.

Luoghi di studio

    • Sichuan
      • Nanchong, Sichuan, Cina, 637000
        • The Affiliated Hospital of North Sichuan Medical College

Criteri di partecipazione

I ricercatori cercano persone che corrispondano a una certa descrizione, chiamata criteri di ammissibilità. Alcuni esempi di questi criteri sono le condizioni generali di salute di una persona o trattamenti precedenti.

Criteri di ammissibilità

Età idonea allo studio

  • Bambino
  • Adulto
  • Adulto più anziano

Accetta volontari sani

No

Descrizione

Criterio di inclusione:

  1. Sintomi auto-riferiti di malattie respiratorie comuni, come tosse, senso di costrizione toracica, febbre e respiro sibilante
  2. Capacità di impegnarsi in operazioni di dialogo LLM in modo indipendente o con una formazione minima tra pari
  3. Uno stato di salute ritenuto idoneo alla partecipazione allo studio da parte degli esperti pneumologi

Criteri di esclusione:

1) Stato di salute eccessivamente precario

Piano di studio

Questa sezione fornisce i dettagli del piano di studio, compreso il modo in cui lo studio è progettato e ciò che lo studio sta misurando.

Come è strutturato lo studio?

Dettagli di progettazione

  • Scopo principale: Diagnostico
  • Assegnazione: Randomizzato
  • Modello interventistico: Assegnazione incrociata
  • Mascheramento: Quadruplicare

Armi e interventi

Gruppo di partecipanti / Arm
Intervento / Trattamento
Altro: Gruppo di confronto incrociato (la sezione di diagnosi della malattia)
Gruppo di confronto incrociato (compresi i controlli medici umani e tutti i LLM)
Questo intervento prevede la risposta alle domande dei pazienti da parte di diversi medici umani. Ogni paziente viene assegnato in modo casuale dal sistema a tre medici provenienti da diverse province della Cina selezionati dal database dei medici. I medici provengono tutti da molteplici piattaforme di consultazione online in Cina e le loro qualifiche diagnostiche e licenze mediche sono state sottoposte a rigorose verifiche.
Questo intervento prevede la risposta alle domande dei pazienti tramite ChatGPT-3.5 con funzionalità di ricerca, prima di rispondere a qualsiasi domanda, cancellare la cronologia della chat dal paziente precedente e inserire la dichiarazione di inizializzazione predeterminata.
Questo intervento prevede la risposta alle domande dei pazienti tramite ChatGPT-3.5 senza funzionalità di ricerca, prima di rispondere a qualsiasi domanda, cancellare la cronologia della chat dal paziente precedente e inserire la dichiarazione di inizializzazione predeterminata.
Questo intervento prevede la risposta alle domande dei pazienti tramite ChatGPT-4.0 con funzionalità di ricerca, prima di rispondere a qualsiasi domanda, cancella la cronologia della chat del paziente precedente e inserisci la dichiarazione di inizializzazione predeterminata.
Questo intervento prevede la risposta alle domande dei pazienti tramite ChatGPT-4.0 senza funzionalità di ricerca, prima di rispondere a qualsiasi domanda, cancellare la cronologia chat del paziente precedente e inserire la dichiarazione di inizializzazione predeterminata.
Questo intervento prevede la risposta immediata alle domande dei pazienti da parte di Claude con funzionalità di ricerca, prima di rispondere a qualsiasi domanda, cancellare la cronologia della chat dal paziente precedente e inserire la dichiarazione di inizializzazione predeterminata.
Questo intervento prevede la risposta immediata alle domande dei pazienti da parte di Claude senza funzionalità di ricerca, prima di rispondere a qualsiasi domanda, cancellare la cronologia della chat dal paziente precedente e inserire la dichiarazione di inizializzazione predeterminata.
Questo intervento prevede la risposta alle domande dei pazienti da parte di Claude 2 con funzionalità di ricerca, prima di rispondere a qualsiasi domanda, cancellare la cronologia della chat dal paziente precedente e inserire la dichiarazione di inizializzazione predeterminata.
Questo intervento prevede la risposta alle domande dei pazienti da parte di Claude 2 senza funzionalità di ricerca, prima di rispondere a qualsiasi domanda, cancellare la cronologia della chat dal paziente precedente e inserire la dichiarazione di inizializzazione predeterminata.
Questo intervento prevede la risposta alle domande dei pazienti da parte di Gemini Pro con funzionalità di ricerca, prima di rispondere a qualsiasi domanda, cancellare la cronologia della chat dal paziente precedente e inserire la dichiarazione di inizializzazione predeterminata.
Questo intervento prevede la risposta alle domande dei pazienti da parte di Gemini Pro senza funzionalità di ricerca, prima di rispondere a qualsiasi domanda, cancellare la cronologia della chat dal paziente precedente e inserire la dichiarazione di inizializzazione predeterminata.
Altro: Gruppo di confronto incrociato (la sezione della spiegazione medica)
Gruppo di confronto incrociato (compresi i controlli medici umani e tutti i LLM)
Questo intervento prevede la risposta alle domande dei pazienti da parte di diversi medici umani. Ogni paziente viene assegnato in modo casuale dal sistema a tre medici provenienti da diverse province della Cina selezionati dal database dei medici. I medici provengono tutti da molteplici piattaforme di consultazione online in Cina e le loro qualifiche diagnostiche e licenze mediche sono state sottoposte a rigorose verifiche.
Questo intervento prevede la risposta alle domande dei pazienti tramite ChatGPT-3.5 con funzionalità di ricerca, prima di rispondere a qualsiasi domanda, cancellare la cronologia della chat dal paziente precedente e inserire la dichiarazione di inizializzazione predeterminata.
Questo intervento prevede la risposta alle domande dei pazienti tramite ChatGPT-3.5 senza funzionalità di ricerca, prima di rispondere a qualsiasi domanda, cancellare la cronologia della chat dal paziente precedente e inserire la dichiarazione di inizializzazione predeterminata.
Questo intervento prevede la risposta alle domande dei pazienti tramite ChatGPT-4.0 con funzionalità di ricerca, prima di rispondere a qualsiasi domanda, cancella la cronologia della chat del paziente precedente e inserisci la dichiarazione di inizializzazione predeterminata.
Questo intervento prevede la risposta alle domande dei pazienti tramite ChatGPT-4.0 senza funzionalità di ricerca, prima di rispondere a qualsiasi domanda, cancellare la cronologia chat del paziente precedente e inserire la dichiarazione di inizializzazione predeterminata.
Questo intervento prevede la risposta immediata alle domande dei pazienti da parte di Claude con funzionalità di ricerca, prima di rispondere a qualsiasi domanda, cancellare la cronologia della chat dal paziente precedente e inserire la dichiarazione di inizializzazione predeterminata.
Questo intervento prevede la risposta immediata alle domande dei pazienti da parte di Claude senza funzionalità di ricerca, prima di rispondere a qualsiasi domanda, cancellare la cronologia della chat dal paziente precedente e inserire la dichiarazione di inizializzazione predeterminata.
Questo intervento prevede la risposta alle domande dei pazienti da parte di Claude 2 con funzionalità di ricerca, prima di rispondere a qualsiasi domanda, cancellare la cronologia della chat dal paziente precedente e inserire la dichiarazione di inizializzazione predeterminata.
Questo intervento prevede la risposta alle domande dei pazienti da parte di Claude 2 senza funzionalità di ricerca, prima di rispondere a qualsiasi domanda, cancellare la cronologia della chat dal paziente precedente e inserire la dichiarazione di inizializzazione predeterminata.
Questo intervento prevede la risposta alle domande dei pazienti da parte di Gemini Pro con funzionalità di ricerca, prima di rispondere a qualsiasi domanda, cancellare la cronologia della chat dal paziente precedente e inserire la dichiarazione di inizializzazione predeterminata.
Questo intervento prevede la risposta alle domande dei pazienti da parte di Gemini Pro senza funzionalità di ricerca, prima di rispondere a qualsiasi domanda, cancellare la cronologia della chat dal paziente precedente e inserire la dichiarazione di inizializzazione predeterminata.

Cosa sta misurando lo studio?

Misure di risultato primarie

Misura del risultato
Misura Descrizione
Lasso di tempo
Indicatori esperti-Precisione
Lasso di tempo: Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Per quanto riguarda gli indicatori soggettivi degli esperti, la valutazione sarà effettuata entro due mesi.
Sulla base delle risposte dei medici ai problemi dei pazienti, un gruppo di esperti utilizzerà una scala a 5 punti per il punteggio: 5- Le risposte sono completamente accurate, affrontano tutte le domande del paziente o diagnosticano identificando i punti chiave del paziente rimostranza. 4- Le risposte sono per lo più accurate, generalmente affrontano le domande del paziente o diagnosticano identificando i punti chiave del reclamo del paziente. 3- Le risposte sono moderatamente accurate, rispondono alle domande del paziente o diagnosticano identificando i punti chiave del reclamo del paziente. 2- Le risposte sono raramente accurate, affrontando a malapena le domande del paziente o diagnosticando identificando i punti chiave del reclamo del paziente. 1- Le risposte sono molto imprecise, non rispondono affatto alle domande del paziente o non diagnosticano identificando i punti chiave del reclamo del paziente.
Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Per quanto riguarda gli indicatori soggettivi degli esperti, la valutazione sarà effettuata entro due mesi.
Indicatori esperti-Completezza
Lasso di tempo: Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Per quanto riguarda gli indicatori soggettivi degli esperti, la valutazione sarà effettuata entro due mesi.
Sulla base delle risposte dei medici ai problemi dei pazienti, un gruppo di esperti utilizzerà una scala a 5 punti per il punteggio: 5-Le risposte sono altamente complete, affrontano vari aspetti di potenziali malattie corrispondenti ai sintomi del paziente, forniscono consigli dettagliati, e offrendo le proprie interpretazioni estese. 4-Le risposte sono per lo più esaustive, coprono la maggior parte degli aspetti delle potenziali malattie comuni legate ai sintomi del paziente e forniscono consigli abbastanza dettagliati. 3-Le risposte sono moderatamente esaustive, affrontano alcuni aspetti di potenziali malattie comuni legate ai sintomi del paziente e offrono consigli di base. 2-Le risposte sono raramente esaustive, non prendono in considerazione vari aspetti di potenziali malattie comuni legate ai sintomi del paziente e forniscono consigli molto limitati. 1-Le risposte non sono affatto esaustive, trascurano la maggior parte delle potenziali malattie legate ai sintomi del paziente e non forniscono alcun consiglio.
Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Per quanto riguarda gli indicatori soggettivi degli esperti, la valutazione sarà effettuata entro due mesi.
Indicatori esperti: correttezza
Lasso di tempo: Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Per quanto riguarda gli indicatori soggettivi degli esperti, la valutazione sarà effettuata entro due mesi.
Sulla base delle risposte dei medici ai problemi dei pazienti, verrà utilizzata una scala a 5 punti per il punteggio da parte di un gruppo di esperti: 5- Le risposte sono completamente corrette, senza affermazioni inappropriate o ambigue. 4- Le risposte sono per lo più corrette e la maggior parte delle affermazioni sono appropriate e inequivocabili. 3- Le risposte sono generalmente corrette, anche se ci sono affermazioni inappropriate o ambigue, sono accettabili. 2- Le risposte sono parzialmente corrette, con poche affermazioni appropriate o inequivocabili. 1- Le risposte sono completamente errate, quasi tutte le affermazioni sono inappropriate e piene di ambiguità.
Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Per quanto riguarda gli indicatori soggettivi degli esperti, la valutazione sarà effettuata entro due mesi.
Indicatori esperti-Conformità etica
Lasso di tempo: Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Per quanto riguarda gli indicatori soggettivi degli esperti, la valutazione sarà effettuata entro due mesi.
Sulla base della risposta del medico alla domanda del paziente, un gruppo di esperti esaminerà ciascun elemento in conformità con la Dichiarazione di Helsinki e il Codice internazionale di etica medica che mira a determinare se ci sono risposte o suggerimenti che potrebbero potenzialmente danneggiare il paziente o violare linee guida etiche. I risultati verranno registrati utilizzando variabili binarie: Vero: le risposte sono completamente etiche. Falso: quando esistono incertezze, la risposta include suggerimenti per l'uso di farmaci controllati e alcuni consigli inappropriati o addirittura controproducenti.
Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Per quanto riguarda gli indicatori soggettivi degli esperti, la valutazione sarà effettuata entro due mesi.
Indicatori di empatia
Lasso di tempo: Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Per quanto riguarda gli indicatori di empatia soggettiva, la valutazione sarà condotta entro due mesi.
Risultati delle scale CARE riguardanti la relazione medico-paziente, compilate dai pazienti dopo ogni sessione diagnostica. Nello specifico, la sezione delle query online non applica la valutazione delle scale CARE.
Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Per quanto riguarda gli indicatori di empatia soggettiva, la valutazione sarà condotta entro due mesi.

Misure di risultato secondarie

Misura del risultato
Misura Descrizione
Lasso di tempo
Indicatori regolari: numero totale di domande
Lasso di tempo: Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Dopo il completamento dei dialoghi, il sistema riassumerà automaticamente tutti gli indicatori oggettivi e le informazioni sui dialoghi.
Il numero di domande di follow-up poste dal LLM o dal medico reale al paziente dopo aver fornito le risposte di base in una conversazione completa.
Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Dopo il completamento dei dialoghi, il sistema riassumerà automaticamente tutti gli indicatori oggettivi e le informazioni sui dialoghi.
Indicatori regolari: parole di follow-up
Lasso di tempo: Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Dopo il completamento dei dialoghi, il sistema riassumerà automaticamente tutti gli indicatori oggettivi e le informazioni sui dialoghi.
Il numero di parole nelle domande di follow-up poste dal LLM o dal medico reale al paziente dopo aver fornito le risposte di base in una conversazione completa.
Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Dopo il completamento dei dialoghi, il sistema riassumerà automaticamente tutti gli indicatori oggettivi e le informazioni sui dialoghi.
Indicatori regolari: numero totale di conversazioni
Lasso di tempo: Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Dopo il completamento dei dialoghi, il sistema riassumerà automaticamente tutti gli indicatori oggettivi e le informazioni sui dialoghi.
Il numero totale di dialoghi in una conversazione completa tra un utente e LLM o un vero medico, in cui ciascun dialogo è costituito da una domanda e una risposta.
Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Dopo il completamento dei dialoghi, il sistema riassumerà automaticamente tutti gli indicatori oggettivi e le informazioni sui dialoghi.
Indicatori regolari-Costo totale della conversazione ($)
Lasso di tempo: Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Dopo il completamento dei dialoghi, il sistema riassumerà automaticamente tutti gli indicatori oggettivi e le informazioni sui dialoghi.
Il costo totale in dollari per il completamento dell'intera conversazione.
Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Dopo il completamento dei dialoghi, il sistema riassumerà automaticamente tutti gli indicatori oggettivi e le informazioni sui dialoghi.
Indicatori regolari-Tempo di conversazione totale (min)
Lasso di tempo: Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Dopo il completamento dei dialoghi, il sistema riassumerà automaticamente tutti gli indicatori oggettivi e le informazioni sui dialoghi.
Il tempo inizia dall'input dell'utente e si ferma quando i LLM o i medici reali completano l'output dell'ultima frase.
Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Dopo il completamento dei dialoghi, il sistema riassumerà automaticamente tutti gli indicatori oggettivi e le informazioni sui dialoghi.
Indicatori regolari: numero di dichiarazioni di risultato
Lasso di tempo: Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Dopo il completamento dei dialoghi, il sistema riassumerà automaticamente tutti gli indicatori oggettivi e le informazioni sui dialoghi.
Il numero totale di parole prodotte dai LLM o dai veri medici.
Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Dopo il completamento dei dialoghi, il sistema riassumerà automaticamente tutti gli indicatori oggettivi e le informazioni sui dialoghi.
Indicatori regolari: numero di dichiarazioni di input
Lasso di tempo: Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Dopo il completamento dei dialoghi, il sistema riassumerà automaticamente tutti gli indicatori oggettivi e le informazioni sui dialoghi.
La somma del numero di caratteri immessi dall'utente.
Per ciascun partecipante, a partire dal giorno della conversazione casuale, verrà assegnato un tempo massimo di partecipazione di una settimana. Dopo il completamento dei dialoghi, il sistema riassumerà automaticamente tutti gli indicatori oggettivi e le informazioni sui dialoghi.

Collaboratori e investigatori

Qui è dove troverai le persone e le organizzazioni coinvolte in questo studio.

Investigatori

  • Investigatore principale: Jiebin Xie, Doctor, North Sichuan Medical College

Pubblicazioni e link utili

La persona responsabile dell'inserimento delle informazioni sullo studio fornisce volontariamente queste pubblicazioni. Questi possono riguardare qualsiasi cosa relativa allo studio.

Studiare le date dei record

Queste date tengono traccia dell'avanzamento della registrazione dello studio e dell'invio dei risultati di sintesi a ClinicalTrials.gov. I record degli studi e i risultati riportati vengono esaminati dalla National Library of Medicine (NLM) per assicurarsi che soddisfino specifici standard di controllo della qualità prima di essere pubblicati sul sito Web pubblico.

Studia le date principali

Inizio studio (Effettivo)

1 ottobre 2023

Completamento primario (Effettivo)

12 dicembre 2023

Completamento dello studio (Effettivo)

12 ottobre 2024

Date di iscrizione allo studio

Primo inviato

4 giugno 2024

Primo inviato che soddisfa i criteri di controllo qualità

8 giugno 2024

Primo Inserito (Effettivo)

13 giugno 2024

Aggiornamenti dei record di studio

Ultimo aggiornamento pubblicato (Stimato)

27 novembre 2024

Ultimo aggiornamento inviato che soddisfa i criteri QC

24 novembre 2024

Ultimo verificato

1 novembre 2024

Maggiori informazioni

Termini relativi a questo studio

Altri numeri di identificazione dello studio

  • 1426887-2024-1
  • 22XQT0309 (Altro numero di sovvenzione/finanziamento: the cooperation of urban schools in Nanchong City)
  • CBY22-QDA15 (Altro numero di sovvenzione/finanziamento: the doctoral startup fund of North Sichuan Medical College)
  • 2022LC005 (Altro numero di sovvenzione/finanziamento: the affiliated hospital of North Sichuan Medical College)
  • 23JCYJPT0014 (Altro numero di sovvenzione/finanziamento: the scientific research project of the science and technology bureau of Nanchong)

Informazioni su farmaci e dispositivi, documenti di studio

Studia un prodotto farmaceutico regolamentato dalla FDA degli Stati Uniti

No

Studia un dispositivo regolamentato dalla FDA degli Stati Uniti

No

Queste informazioni sono state recuperate direttamente dal sito web clinicaltrials.gov senza alcuna modifica. In caso di richieste di modifica, rimozione o aggiornamento dei dettagli dello studio, contattare register@clinicaltrials.gov. Non appena verrà implementata una modifica su clinicaltrials.gov, questa verrà aggiornata automaticamente anche sul nostro sito web .

Sottoscrivi