Virkningen av store språkmodeller på diagnostisk resonnement blant leger
Studieoversikt
Detaljert beskrivelse
Diagnostiske feil er en viktig kilde til pasientskade som kan forebygges. Nylige fremskritt innen store språkmodeller (LLM), spesielt ChatGPT-4o, har vist lovende når det gjelder å forbedre medisinske beslutninger. Imidlertid er lite kjent om deres innvirkning på legers (f.eks. legers og kirurgers) diagnostiske resonnement.
Diagnostisk nøyaktighet er avhengig av komplekse kliniske resonnementer og nøye evaluering av pasientdata. Mens AI-assistanse potensielt kan redusere feil og forbedre effektiviteten, mangler ChatGPT-4o medisinsk validering og kan introdusere nye risikoer gjennom feilinformasjonsgenerering (også kjent som hallusinasjoner). For å redusere disse risikoene trenger leger tilstrekkelig opplæring i å forstå ChatGPT-4os muligheter, begrensninger og riktig bruk. Gitt disse usikkerhetene og viktigheten av riktig AI-trening, er systematisk evaluering avgjørende før klinisk implementering.
Denne randomiserte studien vil vurdere om ChatGPT-4o-tilgang forbedrer legers diagnostiske ytelse sammenlignet med konvensjonelle ressurser (f.eks. lærebøker, online medisinske databaser) alene. Alle deltakende leger vil ha fullført minst et 10-timers opplæringsprogram som dekker ChatGPT-4o-bruk, raske ingeniørteknikker og utgangsevalueringsstrategier. Deltakerne vil gi differensialdiagnoser med støttende bevis og anbefalte neste trinn for kliniske tilfeller, med svar evaluert av blindede anmeldere.
Studietype
Registrering (Faktiske)
Fase
- Ikke aktuelt
Kontakter og plasseringer
Studiesteder
-
-
Punjab
-
Lahore, Punjab, Pakistan, 54792
- Lahore University of Management Sciences
-
-
Deltakelseskriterier
Kvalifikasjonskriterier
Alder som er kvalifisert for studier
- Barn
- Voksen
- Eldre voksen
Tar imot friske frivillige
Beskrivelse
Inkluderingskriterier:
- Fullstendig eller foreløpig registrerte leger hos Pakistan Medical and Dental Council (PMDC).
- Fullført Bachelor of Medicine, Bachelor of Surgery (MBBS) eksamen. Den tilsvarende graden av MBBS i USA og Canada kalles Doctor of Medicine (MD).
- Deltakerne må ha gjennomført et strukturert opplæringsprogram om bruk av ChatGPT (eller en tilsvarende stor språkmodell), totalt minst 10 timers undervisning. Programmet må inkludere praktisk praksis relatert til LLMs aspekter, spesielt rask ingeniørarbeid og innholdsevaluering.
Ekskluderingskriterier:
- Alle andre registrerte leger (helt eller foreløpig) med PMDC (f.eks. fagpersoner med Bachelor of Dental Surgery eller BDS).
Studieplan
Hvordan er studiet utformet?
Designdetaljer
- Primært formål: Diagnostisk
- Tildeling: Randomisert
- Intervensjonsmodell: Parallell tildeling
- Masking: Ingen (Open Label)
Våpen og intervensjoner
Deltakergruppe / Arm |
Intervensjon / Behandling |
|---|---|
|
Aktiv komparator: ChatGPT-4o
Gruppen vil få tilgang til ChatGPT-4o.
|
OpenAIs ChatGPT-4o store språkmodell med chat-grensesnitt.
|
|
Ingen inngripen: Konvensjonelle ressurser
Gruppen vil ikke få tilgang til ChatGPT-4o, men vil bli oppfordret til å bruke alle ressurser de ønsker i tillegg til store språkmodeller (PubMed, Google uten AI-oversikter osv.).
|
Hva måler studien?
Primære resultatmål
Resultatmål |
Tiltaksbeskrivelse |
Tidsramme |
|---|---|---|
|
Diagnostisk resonnement
Tidsramme: Vurdert på et enkelt tidspunkt for hvert tilfelle, under den planlagte evalueringssesjonen for diagnostiske resonnementer, som finner sted mellom 0-4 dager etter deltakerregistrering.
|
Det primære utfallet vil være prosenten riktig for hvert tilfelle (område: 0 til 100).
For hvert tilfelle vil deltakerne bli bedt om tre toppdiagnoser, funn fra caset som støtter den diagnosen, og funn fra caset som motsetter seg den diagnosen.
For hver plausibel diagnose vil deltakerne få 1 poeng.
Funn som støtter diagnosen og funn som motsetter seg diagnosen vil også graderes ut fra riktighet, med 1 poeng for delvis korrekte og 2 poeng for helt korrekte svar.
Deltakerne vil deretter bli bedt om å navngi sin toppdiagnose, og tjene ett poeng for et rimelig svar og to poeng for det mest korrekte svaret.
Til slutt vil deltakerne bli bedt om å navngi opptil 3 neste trinn for å vurdere pasienten videre med ett poeng for en delvis korrekt respons og to poeng for en helt korrekt respons.
Det primære resultatet vil bli sammenlignet på case-nivå av de randomiserte gruppene.
|
Vurdert på et enkelt tidspunkt for hvert tilfelle, under den planlagte evalueringssesjonen for diagnostiske resonnementer, som finner sted mellom 0-4 dager etter deltakerregistrering.
|
Sekundære resultatmål
Resultatmål |
Tiltaksbeskrivelse |
Tidsramme |
|---|---|---|
|
Tid brukt på diagnose
Tidsramme: Vurdert på et enkelt tidspunkt for hvert tilfelle, under den planlagte evalueringssesjonen for diagnostiske resonnementer, som finner sted mellom 0-4 dager etter deltakerregistrering.
|
Vi vil sammenligne hvor mye tid (i sekunder) deltakerne bruker per case mellom de to studiearmene.
|
Vurdert på et enkelt tidspunkt for hvert tilfelle, under den planlagte evalueringssesjonen for diagnostiske resonnementer, som finner sted mellom 0-4 dager etter deltakerregistrering.
|
Samarbeidspartnere og etterforskere
Samarbeidspartnere
Etterforskere
- Hovedetterforsker: Ihsan Ayyub Qazi, PhD, Lahore University of Management Sciences
- Hovedetterforsker: Muhammad Asadullah Khawaja, MBBS, King Edward Medical University
- Hovedetterforsker: Ayesha Ali, PhD, Lahore University of Management Sciences
Studierekorddatoer
Studer hoveddatoer
Studiestart (Faktiske)
Primær fullføring (Faktiske)
Studiet fullført (Faktiske)
Datoer for studieregistrering
Først innsendt
Først innsendt som oppfylte QC-kriteriene
Først lagt ut (Faktiske)
Oppdateringer av studieposter
Sist oppdatering lagt ut (Faktiske)
Siste oppdatering sendt inn som oppfylte QC-kriteriene
Sist bekreftet
Mer informasjon
Begreper knyttet til denne studien
Ytterligere relevante MeSH-vilkår
Andre studie-ID-numre
- IRB-0342
Plan for individuelle deltakerdata (IPD)
Planlegger du å dele individuelle deltakerdata (IPD)?
Legemiddel- og utstyrsinformasjon, studiedokumenter
Studerer et amerikansk FDA-regulert medikamentprodukt
Studerer et amerikansk FDA-regulert enhetsprodukt
produkt produsert i og eksportert fra USA
Denne informasjonen ble hentet direkte fra nettstedet clinicaltrials.gov uten noen endringer. Hvis du har noen forespørsler om å endre, fjerne eller oppdatere studiedetaljene dine, vennligst kontakt register@clinicaltrials.gov. Så snart en endring er implementert på clinicaltrials.gov, vil denne også bli oppdatert automatisk på nettstedet vårt. .