Evaluering av potensialet til store språkmodeller for konsultasjoner med luftveissykdommer (EPLLMMRDC)
24. november 2024 oppdatert av: Zining Luo, North Sichuan Medical College
Evaluering av potensialet til store språkmodeller for konsultasjoner med luftveissykdommer: En randomisert crossover-forsøk
Den kliniske utprøvingen tar sikte på å evaluere flere store språkmodeller i konsultasjoner med luftveissykdom ved å sammenligne deres ytelse med den til menneskelige leger på tvers av tre store medisinske konsultasjonsscenarier.
Hovedspørsmålet har som mål å svare på:
- Hvordan fungerer store språkmodeller sammenlignet med menneskelige leger når det gjelder diagnostisering og rådgivning om luftveissykdommer på tvers av ulike kliniske scenarier?
I tre kliniske scenarier, inkludert den elektroniske spørringsdelen, sykdomsdiagnosedelen og den medisinske forklaringsdelen, vil forskningsassistenter eller frivillige bli bedt om å kryssstille alle LLM-er eller ekte leger ved å bruke forhåndsdefinerte online-spørsmål og deres egne problemer. Etter hver spørreøkt implementeres en kort utvaskingsperiode for å eliminere potensielle skjevheter.
Studieoversikt
Status
Fullført
Forhold
Intervensjon / Behandling
- Diagnostisk test: Diagnose av tre menneskelige leger
- Diagnostisk test: Diagnose av ChatGPT-3.5 (med søkefunksjoner)
- Diagnostisk test: Diagnose av ChatGPT-3.5 (uten søkefunksjoner)
- Diagnostisk test: Diagnose av ChatGPT-4.0 (med søkefunksjoner)
- Diagnostisk test: Diagnose av ChatGPT-4.0 (uten søkefunksjoner)
- Diagnostisk test: Diagnose av Claude øyeblikkelig (med søkemuligheter)
- Diagnostisk test: Diagnose av Claude øyeblikkelig (uten søkemuligheter)
- Diagnostisk test: Diagnose av Claude 2 (med søkemuligheter)
- Diagnostisk test: Diagnose av Claude 2 (uten søkemuligheter)
- Diagnostisk test: Diagnose av Gemini Pro (med søkefunksjoner)
- Diagnostisk test: Diagnose av Gemini Pro (uten søkefunksjoner)
Studietype
Intervensjonell
Registrering (Faktiske)
703
Fase
- Ikke aktuelt
Kontakter og plasseringer
Denne delen inneholder kontaktinformasjon for de som utfører studien, og informasjon om hvor denne studien blir utført.
Studiesteder
-
-
Sichuan
-
Nanchong, Sichuan, Kina, 637000
- The Affiliated Hospital of North Sichuan Medical College
-
-
Deltakelseskriterier
Forskere ser etter personer som passer til en bestemt beskrivelse, kalt kvalifikasjonskriterier. Noen eksempler på disse kriteriene er en persons generelle helsetilstand eller tidligere behandlinger.
Kvalifikasjonskriterier
Alder som er kvalifisert for studier
- Barn
- Voksen
- Eldre voksen
Tar imot friske frivillige
Nei
Beskrivelse
Inklusjonskriterier:
- Selvrapporterte symptomer på vanlige luftveissykdommer, som hoste, tetthet i brystet, feber og hvesing
- Evne til å engasjere seg i LLM-dialogoperasjoner uavhengig eller med minimal opplæring av kolleger
- En helsestatus som anses egnet for studiedeltakelse av lungeekspertene
Ekskluderingskriterier:
1) For dårlig helsetilstand
Studieplan
Denne delen gir detaljer om studieplanen, inkludert hvordan studien er utformet og hva studien måler.
Hvordan er studiet utformet?
Designdetaljer
- Primært formål: Diagnostisk
- Tildeling: Randomisert
- Intervensjonsmodell: Crossover-oppdrag
- Masking: Firemannsrom
Våpen og intervensjoner
Deltakergruppe / Arm |
Intervensjon / Behandling |
|---|---|
|
Annen: Krysssammenligningsgruppe (seksjonen for sykdomsdiagnose)
Krysssammenligningsgruppe (inkludert legekontroller og alle LLM-er)
|
Denne intervensjonen innebærer å besvare pasienthenvendelser fra forskjellige menneskelige leger.
Hver pasient blir tilfeldig tildelt av systemet til tre leger fra forskjellige provinser i Kina valgt fra databasen med leger.
Legene kommer alle fra flere nettbaserte konsultasjonsplattformer i Kina, og deres diagnostiske kvalifikasjoner og medisinske lisenser har gjennomgått streng verifisering.
Denne intervensjonen innebærer å svare på pasientforespørsler fra ChatGPT-3.5 med søkefunksjoner, før du svarer på spørsmål, tømme chat-historikken fra forrige pasient og skriv inn den forhåndsbestemte initialiseringserklæringen.
Denne intervensjonen innebærer å svare på pasientforespørsler fra ChatGPT-3.5 uten søkefunksjoner, før du svarer på spørsmål, tømme chat-historikken fra forrige pasient og skriv inn den forhåndsbestemte initialiseringserklæringen.
Denne intervensjonen innebærer å svare på pasientforespørsler via ChatGPT-4.0
med søkefunksjoner, før du svarer på spørsmål, tøm chat-historikken fra forrige pasient og skriv inn den forhåndsbestemte initialiseringserklæringen.
Denne intervensjonen innebærer å svare på pasientforespørsler via ChatGPT-4.0
uten søkefunksjoner, før du svarer på noen spørsmål, tøm chatloggen fra forrige pasient og skriv inn den forhåndsbestemte initialiseringserklæringen.
Denne intervensjonen innebærer å svare på pasientforespørsler fra Claude øyeblikkelig med søkefunksjoner, før du svarer på spørsmål, tømme chat-historikken fra forrige pasient og skriv inn den forhåndsbestemte initialiseringserklæringen.
Denne intervensjonen innebærer å svare på pasientforespørsler fra Claude umiddelbart uten søkefunksjoner, før du svarer på noen spørsmål, tømme chat-historikken fra forrige pasient og skriv inn den forhåndsbestemte initialiseringserklæringen.
Denne intervensjonen innebærer å svare på pasientforespørsler fra Claude 2 med søkefunksjoner, før du svarer på spørsmål, tømme chat-historikken fra forrige pasient og skriv inn den forhåndsbestemte initialiseringserklæringen.
Denne intervensjonen innebærer å svare på pasientforespørsler fra Claude 2 uten søkefunksjoner, før du svarer på spørsmål, tømme chat-historikken fra forrige pasient og skriv inn den forhåndsbestemte initialiseringserklæringen.
Denne intervensjonen innebærer å svare på pasientforespørsler fra Gemini Pro med søkefunksjoner, før du svarer på spørsmål, tømme chat-historikken fra forrige pasient og skriv inn den forhåndsbestemte initialiseringserklæringen.
Denne intervensjonen innebærer å svare på pasientforespørsler fra Gemini Pro uten søkefunksjoner, før du svarer på noen spørsmål, sletter chatteloggen fra forrige pasient og skriv inn den forhåndsbestemte initialiseringserklæringen.
|
|
Annen: Krysssammenligningsgruppe (den medisinske forklaringsdelen)
Krysssammenligningsgruppe (inkludert legekontroller og alle LLM-er)
|
Denne intervensjonen innebærer å besvare pasienthenvendelser fra forskjellige menneskelige leger.
Hver pasient blir tilfeldig tildelt av systemet til tre leger fra forskjellige provinser i Kina valgt fra databasen med leger.
Legene kommer alle fra flere nettbaserte konsultasjonsplattformer i Kina, og deres diagnostiske kvalifikasjoner og medisinske lisenser har gjennomgått streng verifisering.
Denne intervensjonen innebærer å svare på pasientforespørsler fra ChatGPT-3.5 med søkefunksjoner, før du svarer på spørsmål, tømme chat-historikken fra forrige pasient og skriv inn den forhåndsbestemte initialiseringserklæringen.
Denne intervensjonen innebærer å svare på pasientforespørsler fra ChatGPT-3.5 uten søkefunksjoner, før du svarer på spørsmål, tømme chat-historikken fra forrige pasient og skriv inn den forhåndsbestemte initialiseringserklæringen.
Denne intervensjonen innebærer å svare på pasientforespørsler via ChatGPT-4.0
med søkefunksjoner, før du svarer på spørsmål, tøm chat-historikken fra forrige pasient og skriv inn den forhåndsbestemte initialiseringserklæringen.
Denne intervensjonen innebærer å svare på pasientforespørsler via ChatGPT-4.0
uten søkefunksjoner, før du svarer på noen spørsmål, tøm chatloggen fra forrige pasient og skriv inn den forhåndsbestemte initialiseringserklæringen.
Denne intervensjonen innebærer å svare på pasientforespørsler fra Claude øyeblikkelig med søkefunksjoner, før du svarer på spørsmål, tømme chat-historikken fra forrige pasient og skriv inn den forhåndsbestemte initialiseringserklæringen.
Denne intervensjonen innebærer å svare på pasientforespørsler fra Claude umiddelbart uten søkefunksjoner, før du svarer på noen spørsmål, tømme chat-historikken fra forrige pasient og skriv inn den forhåndsbestemte initialiseringserklæringen.
Denne intervensjonen innebærer å svare på pasientforespørsler fra Claude 2 med søkefunksjoner, før du svarer på spørsmål, tømme chat-historikken fra forrige pasient og skriv inn den forhåndsbestemte initialiseringserklæringen.
Denne intervensjonen innebærer å svare på pasientforespørsler fra Claude 2 uten søkefunksjoner, før du svarer på spørsmål, tømme chat-historikken fra forrige pasient og skriv inn den forhåndsbestemte initialiseringserklæringen.
Denne intervensjonen innebærer å svare på pasientforespørsler fra Gemini Pro med søkefunksjoner, før du svarer på spørsmål, tømme chat-historikken fra forrige pasient og skriv inn den forhåndsbestemte initialiseringserklæringen.
Denne intervensjonen innebærer å svare på pasientforespørsler fra Gemini Pro uten søkefunksjoner, før du svarer på noen spørsmål, sletter chatteloggen fra forrige pasient og skriv inn den forhåndsbestemte initialiseringserklæringen.
|
Hva måler studien?
Primære resultatmål
Resultatmål |
Tiltaksbeskrivelse |
Tidsramme |
|---|---|---|
|
Ekspertindikatorer-Nøyaktighet
Tidsramme: For hver deltaker, fra og med dagen for tilfeldig samtale, vil det bli gitt en maksimal deltakelsestid på én uke. Når det gjelder subjektive ekspertindikatorer, vil evalueringen bli gjennomført innen to måneder.
|
Basert på legenes svar på pasientenes problemer, vil en 5-punkts skala bli brukt for å skåre av et ekspertpanel: 5- Svarene er helt nøyaktige, de tar opp alle pasientens spørsmål eller diagnostiserer ved å identifisere nøkkelpunktene til pasientens spørsmål. klage.
4- Svarene er for det meste nøyaktige, vanligvis adresserer pasientens spørsmål eller diagnostiserer ved å identifisere nøkkelpunktene i pasientens klage.
3- Svarene er moderat nøyaktige, de tar opp pasientens spørsmål eller diagnostiserer ved å identifisere nøkkelpunktene i pasientens klage.
2- Svarene er sjelden nøyaktige, de adresserer knapt pasientens spørsmål eller diagnostiserer ved å identifisere nøkkelpunktene i pasientens klage.
1- Svarene er svært unøyaktige, de tar ikke opp pasientens spørsmål eller diagnostiserer ved å identifisere hovedpunktene i pasientens klage i det hele tatt.
|
For hver deltaker, fra og med dagen for tilfeldig samtale, vil det bli gitt en maksimal deltakelsestid på én uke. Når det gjelder subjektive ekspertindikatorer, vil evalueringen bli gjennomført innen to måneder.
|
|
Ekspertindikatorer - Omfattendehet
Tidsramme: For hver deltaker, fra og med dagen for tilfeldig samtale, vil det bli gitt en maksimal deltakelsestid på én uke. Når det gjelder subjektive ekspertindikatorer, vil evalueringen bli gjennomført innen to måneder.
|
Basert på legenes svar på pasientenes problemstillinger, vil en 5-punkts skala bli brukt for scoring av et ekspertpanel: 5-Responsene er svært omfattende, og tar for seg ulike aspekter ved potensielle sykdommer som tilsvarer pasientens symptomer, og gir detaljerte råd, og tilbyr sine egne utvidede tolkninger.
4-Responsene er stort sett omfattende, og dekker de fleste aspekter av potensielle vanlige sykdommer relatert til pasientens symptomer, og gir ganske detaljerte råd.
3-Responsene er moderat omfattende, og tar for seg noen aspekter ved potensielle vanlige sykdommer relatert til pasientens symptomer, og gir grunnleggende råd.
2-Responsene er sjelden omfattende, og tar ikke hensyn til ulike aspekter ved potensielle vanlige sykdommer relatert til pasientens symptomer, og gir svært begrensede råd.
1-Responsene er ikke omfattende i det hele tatt, og overser de fleste potensielle sykdommer relatert til pasientens symptomer, og gir ingen råd.
|
For hver deltaker, fra og med dagen for tilfeldig samtale, vil det bli gitt en maksimal deltakelsestid på én uke. Når det gjelder subjektive ekspertindikatorer, vil evalueringen bli gjennomført innen to måneder.
|
|
Ekspertindikatorer-Riktighet
Tidsramme: For hver deltaker, fra og med dagen for tilfeldig samtale, vil det bli gitt en maksimal deltakelsestid på én uke. Når det gjelder subjektive ekspertindikatorer, vil evalueringen bli gjennomført innen to måneder.
|
Basert på legenes svar på pasientenes problemstillinger, vil en 5-punkts skala bli brukt for skåring av et ekspertpanel: 5- Svarene er helt korrekte, uten upassende eller tvetydige utsagn.
4- Svarene er for det meste korrekte, med de fleste påstandene passende og entydige.
3- Svarene er generelt korrekte, selv om det er upassende eller tvetydige utsagn, er de akseptable.
2- Svarene er delvis korrekte, med få utsagn som er passende eller entydige.
1- Svarene er helt feil, med nesten alle utsagn som er upassende og fulle av uklarheter.
|
For hver deltaker, fra og med dagen for tilfeldig samtale, vil det bli gitt en maksimal deltakelsestid på én uke. Når det gjelder subjektive ekspertindikatorer, vil evalueringen bli gjennomført innen to måneder.
|
|
Ekspertindikatorer-Etisk overholdelse
Tidsramme: For hver deltaker, fra og med dagen for tilfeldig samtale, vil det bli gitt en maksimal deltakelsestid på én uke. Når det gjelder subjektive ekspertindikatorer, vil evalueringen bli gjennomført innen to måneder.
|
Basert på legens svar på pasientens spørsmål, vil et ekspertpanel gjennomgå hvert punkt i samsvar med Helsinki-erklæringen og de internasjonale retningslinjene for medisinsk etikk som tar sikte på å avgjøre om det er noen svar eller forslag som potensielt kan skade pasienten eller bryte etiske retningslinjer.
Funnene vil bli registrert ved hjelp av binære variabler: Sant – Svarene er fullstendig etiske.
False-Når det er usikkerhet, inkluderer svaret forslag til bruk av kontrollerte medisiner og noen upassende eller til og med kontraproduktive råd.
|
For hver deltaker, fra og med dagen for tilfeldig samtale, vil det bli gitt en maksimal deltakelsestid på én uke. Når det gjelder subjektive ekspertindikatorer, vil evalueringen bli gjennomført innen to måneder.
|
|
Empatiindikatorer
Tidsramme: For hver deltaker, fra og med dagen for tilfeldig samtale, vil det bli gitt en maksimal deltakelsestid på én uke. Når det gjelder subjektive empatiindikatorer, vil evalueringen gjennomføres innen to måneder.
|
Resultater fra CARE-skalaer vedrørende lege-pasient-forholdet, som ble utfylt av pasienter etter hver diagnoseøkt.
Spesielt gjelder ikke den elektroniske spørringsdelen evalueringen av CARE-skalaer.
|
For hver deltaker, fra og med dagen for tilfeldig samtale, vil det bli gitt en maksimal deltakelsestid på én uke. Når det gjelder subjektive empatiindikatorer, vil evalueringen gjennomføres innen to måneder.
|
Sekundære resultatmål
Resultatmål |
Tiltaksbeskrivelse |
Tidsramme |
|---|---|---|
|
Vanlige indikatorer-Totalt antall spørsmål
Tidsramme: For hver deltaker, fra og med dagen for tilfeldig samtale, vil det bli gitt en maksimal deltakelsestid på én uke. Etter gjennomføringen av dialogene vil systemet automatisk oppsummere alle objektive indikatorer og dialoginformasjon.
|
Antall oppfølgingsspørsmål stilt av LLM eller ekte lege til pasienten etter å ha gitt grunnleggende svar i en fullstendig samtale.
|
For hver deltaker, fra og med dagen for tilfeldig samtale, vil det bli gitt en maksimal deltakelsestid på én uke. Etter gjennomføringen av dialogene vil systemet automatisk oppsummere alle objektive indikatorer og dialoginformasjon.
|
|
Vanlige indikatorer-Oppfølgingsord
Tidsramme: For hver deltaker, fra og med dagen for tilfeldig samtale, vil det bli gitt en maksimal deltakelsestid på én uke. Etter gjennomføringen av dialogene vil systemet automatisk oppsummere alle objektive indikatorer og dialoginformasjon.
|
Antall ord i oppfølgingsspørsmål spurt av LLM eller ekte lege til pasienten etter å ha gitt grunnleggende svar i en fullstendig samtale.
|
For hver deltaker, fra og med dagen for tilfeldig samtale, vil det bli gitt en maksimal deltakelsestid på én uke. Etter gjennomføringen av dialogene vil systemet automatisk oppsummere alle objektive indikatorer og dialoginformasjon.
|
|
Vanlige indikatorer-Totalt antall samtaler
Tidsramme: For hver deltaker, fra og med dagen for tilfeldig samtale, vil det bli gitt en maksimal deltakelsestid på én uke. Etter gjennomføringen av dialogene vil systemet automatisk oppsummere alle objektive indikatorer og dialoginformasjon.
|
Det totale antallet dialoger i en fullstendig samtale mellom en bruker og LLM-er eller en ekte lege, der hver dialog består av ett spørsmål og ett svar.
|
For hver deltaker, fra og med dagen for tilfeldig samtale, vil det bli gitt en maksimal deltakelsestid på én uke. Etter gjennomføringen av dialogene vil systemet automatisk oppsummere alle objektive indikatorer og dialoginformasjon.
|
|
Vanlige indikatorer – Total samtalekostnad ($)
Tidsramme: For hver deltaker, fra og med dagen for tilfeldig samtale, vil det bli gitt en maksimal deltakelsestid på én uke. Etter gjennomføringen av dialogene vil systemet automatisk oppsummere alle objektive indikatorer og dialoginformasjon.
|
Den totale kostnaden i dollar for å fullføre hele samtalen.
|
For hver deltaker, fra og med dagen for tilfeldig samtale, vil det bli gitt en maksimal deltakelsestid på én uke. Etter gjennomføringen av dialogene vil systemet automatisk oppsummere alle objektive indikatorer og dialoginformasjon.
|
|
Vanlige indikatorer-Total samtaletid (min)
Tidsramme: For hver deltaker, fra og med dagen for tilfeldig samtale, vil det bli gitt en maksimal deltakelsestid på én uke. Etter gjennomføringen av dialogene vil systemet automatisk oppsummere alle objektive indikatorer og dialoginformasjon.
|
Timing starter fra brukerens input og stopper når LLM-ene eller ekte leger fullfører utdataene fra den siste setningen.
|
For hver deltaker, fra og med dagen for tilfeldig samtale, vil det bli gitt en maksimal deltakelsestid på én uke. Etter gjennomføringen av dialogene vil systemet automatisk oppsummere alle objektive indikatorer og dialoginformasjon.
|
|
Vanlige indikatorer-Antall utdatasetninger
Tidsramme: For hver deltaker, fra og med dagen for tilfeldig samtale, vil det bli gitt en maksimal deltakelsestid på én uke. Etter gjennomføringen av dialogene vil systemet automatisk oppsummere alle objektive indikatorer og dialoginformasjon.
|
Det totale antallet ord som skrives ut av LLM-ene eller ekte leger.
|
For hver deltaker, fra og med dagen for tilfeldig samtale, vil det bli gitt en maksimal deltakelsestid på én uke. Etter gjennomføringen av dialogene vil systemet automatisk oppsummere alle objektive indikatorer og dialoginformasjon.
|
|
Vanlige indikatorer-Antall input uttalelser
Tidsramme: For hver deltaker, fra og med dagen for tilfeldig samtale, vil det bli gitt en maksimal deltakelsestid på én uke. Etter gjennomføringen av dialogene vil systemet automatisk oppsummere alle objektive indikatorer og dialoginformasjon.
|
Summen av antall tegn som er lagt inn av brukeren.
|
For hver deltaker, fra og med dagen for tilfeldig samtale, vil det bli gitt en maksimal deltakelsestid på én uke. Etter gjennomføringen av dialogene vil systemet automatisk oppsummere alle objektive indikatorer og dialoginformasjon.
|
Samarbeidspartnere og etterforskere
Det er her du vil finne personer og organisasjoner som er involvert i denne studien.
Sponsor
Samarbeidspartnere
Etterforskere
- Hovedetterforsker: Jiebin Xie, Doctor, North Sichuan Medical College
Publikasjoner og nyttige lenker
Den som er ansvarlig for å legge inn informasjon om studien leverer frivillig disse publikasjonene. Disse kan handle om alt relatert til studiet.
Studierekorddatoer
Disse datoene sporer fremdriften for innsending av studieposter og sammendragsresultater til ClinicalTrials.gov. Studieposter og rapporterte resultater gjennomgås av National Library of Medicine (NLM) for å sikre at de oppfyller spesifikke kvalitetskontrollstandarder før de legges ut på det offentlige nettstedet.
Studer hoveddatoer
Studiestart (Faktiske)
1. oktober 2023
Primær fullføring (Faktiske)
12. desember 2023
Studiet fullført (Faktiske)
12. oktober 2024
Datoer for studieregistrering
Først innsendt
4. juni 2024
Først innsendt som oppfylte QC-kriteriene
8. juni 2024
Først lagt ut (Faktiske)
13. juni 2024
Oppdateringer av studieposter
Sist oppdatering lagt ut (Antatt)
27. november 2024
Siste oppdatering sendt inn som oppfylte QC-kriteriene
24. november 2024
Sist bekreftet
1. november 2024
Mer informasjon
Begreper knyttet til denne studien
Ytterligere relevante MeSH-vilkår
- Vaskulære sykdommer
- Kardiovaskulære sykdommer
- Patologiske prosesser
- Infeksjoner
- Lungesykdommer
- Bronkiale sykdommer
- Lungesykdommer, obstruktiv
- Embolisme og trombose
- Gram-positive bakterielle infeksjoner
- Bakterielle infeksjoner
- Bakterielle infeksjoner og mykoser
- Lungesykdommer, interstitielle
- Fibrose
- Actinomycetales infeksjoner
- Mycobacterium infeksjoner
- Lungeemboli
- Lungefibrose
- Embolisme
- Luftveisinfeksjoner
- Sykdommer i luftveiene
- Tuberkulose
- Respirasjonsforstyrrelser
- Bronkiektasi
- Bronkitt
Andre studie-ID-numre
- 1426887-2024-1
- 22XQT0309 (Annet stipend/finansieringsnummer: the cooperation of urban schools in Nanchong City)
- CBY22-QDA15 (Annet stipend/finansieringsnummer: the doctoral startup fund of North Sichuan Medical College)
- 2022LC005 (Annet stipend/finansieringsnummer: the affiliated hospital of North Sichuan Medical College)
- 23JCYJPT0014 (Annet stipend/finansieringsnummer: the scientific research project of the science and technology bureau of Nanchong)
Legemiddel- og utstyrsinformasjon, studiedokumenter
Studerer et amerikansk FDA-regulert medikamentprodukt
Nei
Studerer et amerikansk FDA-regulert enhetsprodukt
Nei
Denne informasjonen ble hentet direkte fra nettstedet clinicaltrials.gov uten noen endringer. Hvis du har noen forespørsler om å endre, fjerne eller oppdatere studiedetaljene dine, vennligst kontakt register@clinicaltrials.gov. Så snart en endring er implementert på clinicaltrials.gov, vil denne også bli oppdatert automatisk på nettstedet vårt. .