Denne siden ble automatisk oversatt og nøyaktigheten av oversettelsen er ikke garantert. Vennligst referer til engelsk versjon for en kildetekst.

Lege resonnerer om diagnostiske tilfeller med store språkmodeller

15. februar 2024 oppdatert av: Jonathan Chen, Stanford University

Diagnostisk resonnement med store språkmodell-chatroboter

Denne studien vil evaluere effekten av å gi tilgang til GPT-4, en stor språkmodell, sammenlignet med tradisjonelle diagnostiske beslutningsstøtteverktøy på ytelse på saksbaserte diagnostiske resonneringsoppgaver.

Studieoversikt

Status

Fullført

Forhold

Intervensjon / Behandling

Detaljert beskrivelse

Kunstig intelligens (AI)-teknologier, spesielt avanserte store språkmodeller som OpenAIs ChatGPT, har potensialet til å forbedre medisinske beslutninger. Selv om ChatGPT-4 ikke ble utviklet for bruk i medisinske spesifikke applikasjoner, har den vist lovende i ulike helsevesenkontekster, inkludert skriving av medisinske notater, adressering av pasienthenvendelser og tilrettelegging for medisinsk konsultasjon. Det er imidlertid lite kjent om hvordan ChatGPT forsterker de kliniske resonneringsevnene til klinikere.

Klinisk resonnement er en kompleks prosess som involverer mønstergjenkjenning, kunnskapsanvendelse og sannsynlighetsresonnement. Å integrere AI-verktøy som ChatGPT-4 i legearbeidsflyter kan potensielt bidra til å redusere klinikerens arbeidsmengde og redusere sannsynligheten for tapte diagnoser. ChatGPT-4 ble imidlertid ikke utviklet for klinisk resonnement og har heller ikke blitt validert for dette formålet. Videre kan det være gjenstand for desinformasjon, inkludert overbevisende konfabulasjoner som kan villede klinikere. Hvis klinikere misbruker dette verktøyet, kan det hende at det ikke forbedrer diagnostisk resonnement og kan til og med forårsake skade. Derfor er det viktig å studere hvordan klinikere bruker store språkmodeller for å forsterke klinisk resonnement før rutinemessig inkorporering i pasientbehandling.

I denne studien vil vi randomisere deltakerne til å svare på diagnostiske tilfeller med eller uten tilgang til ChatGPT-4. Deltakerne vil bli bedt om å gi tre differensialdiagnoser for hvert tilfelle, med støttende og motstridende funn for hver diagnose. I tillegg vil de bli bedt om å gi sin toppdiagnose sammen med neste diagnostiske trinn. Svarene vil bli vurdert av uavhengige anmeldere som er blindet for behandlingsoppdrag.

Studietype

Intervensjonell

Registrering (Faktiske)

50

Fase

  • Ikke aktuelt

Kontakter og plasseringer

Denne delen inneholder kontaktinformasjon for de som utfører studien, og informasjon om hvor denne studien blir utført.

Studiekontakt

Studer Kontakt Backup

Studiesteder

    • California
      • Palo Alto, California, Forente stater, 94304
        • Stanford University

Deltakelseskriterier

Forskere ser etter personer som passer til en bestemt beskrivelse, kalt kvalifikasjonskriterier. Noen eksempler på disse kriteriene er en persons generelle helsetilstand eller tidligere behandlinger.

Kvalifikasjonskriterier

Alder som er kvalifisert for studier

  • Barn
  • Voksen
  • Eldre voksen

Tar imot friske frivillige

Ja

Beskrivelse

Inklusjonskriterier:

  • Deltakere må være autorisert leger og ha fullført minst postgraduate år 2 (PGY2) av medisinsk opplæring.
  • Opplæring i indremedisin, familiemedisin eller akuttmedisin.

Ekskluderingskriterier:

  • Trener ikke klinisk for øyeblikket.

Studieplan

Denne delen gir detaljer om studieplanen, inkludert hvordan studien er utformet og hva studien måler.

Hvordan er studiet utformet?

Designdetaljer

  • Primært formål: Diagnostisk
  • Tildeling: Randomisert
  • Intervensjonsmodell: Parallell tildeling
  • Masking: Enkelt

Våpen og intervensjoner

Deltakergruppe / Arm
Intervensjon / Behandling
Aktiv komparator: GPT-4
Gruppen vil få tilgang til GPT-4.
OpenAIs GPT-4 store språkmodell med chat-grensesnitt.
Ingen inngripen: Vanlige ressurser
Gruppen vil ikke få tilgang til GPT-4, men vil bli oppfordret til å bruke alle ressurser de ønsker i tillegg til store språkmodeller (UpToDate, Dynamed, google, etc).

Hva måler studien?

Primære resultatmål

Resultatmål
Tiltaksbeskrivelse
Tidsramme
Diagnostisk resonnement
Tidsramme: Under evaluering
Det primære utfallet vil være prosenten riktig (område: 0 til 100) for hvert tilfelle. For hvert tilfelle vil deltakerne bli bedt om tre toppdiagnoser og funn fra caset som støtter den diagnosen og motsetter seg den diagnosen. Deltakerne får 1 poeng for hver plausibel diagnose. Funn som støtter diagnosen og funn som motsetter seg diagnosen vil også graderes ut fra riktighet, med 1 poeng for delvis korrekte og 2 poeng for helt korrekte svar. Deltakerne vil deretter bli bedt om å navngi sin toppdiagnose, og tjene ett poeng for et rimelig svar og to poeng for det mest korrekte svaret. Til slutt vil deltakerne bli bedt om å nevne opptil 3 neste trinn for å vurdere pasienten videre med ett poeng for en delvis korrekt respons og to poeng for en helt korrekt respons. Det primære resultatet vil bli sammenlignet på case-nivå av de randomiserte gruppene.
Under evaluering

Sekundære resultatmål

Resultatmål
Tiltaksbeskrivelse
Tidsramme
Tid brukt på diagnose
Tidsramme: Under evaluering
Vi vil sammenligne hvor mye tid (i minutter) deltakerne bruker per case mellom de to studiearmene.
Under evaluering

Samarbeidspartnere og etterforskere

Det er her du vil finne personer og organisasjoner som er involvert i denne studien.

Etterforskere

  • Hovedetterforsker: Jonathan H Chen, MD, PhD, Stanford University
  • Hovedetterforsker: Adam Rodman, MD, Beth Israel Deaconess Medical Center
  • Hovedetterforsker: Andrew Olson, MD, University of Minnesota

Studierekorddatoer

Disse datoene sporer fremdriften for innsending av studieposter og sammendragsresultater til ClinicalTrials.gov. Studieposter og rapporterte resultater gjennomgås av National Library of Medicine (NLM) for å sikre at de oppfyller spesifikke kvalitetskontrollstandarder før de legges ut på det offentlige nettstedet.

Studer hoveddatoer

Studiestart (Faktiske)

29. november 2023

Primær fullføring (Faktiske)

30. desember 2023

Studiet fullført (Faktiske)

30. desember 2023

Datoer for studieregistrering

Først innsendt

27. november 2023

Først innsendt som oppfylte QC-kriteriene

27. november 2023

Først lagt ut (Faktiske)

6. desember 2023

Oppdateringer av studieposter

Sist oppdatering lagt ut (Faktiske)

20. februar 2024

Siste oppdatering sendt inn som oppfylte QC-kriteriene

15. februar 2024

Sist bekreftet

1. februar 2024

Mer informasjon

Begreper knyttet til denne studien

Ytterligere relevante MeSH-vilkår

Andre studie-ID-numre

  • 71319

Plan for individuelle deltakerdata (IPD)

Planlegger du å dele individuelle deltakerdata (IPD)?

NEI

Legemiddel- og utstyrsinformasjon, studiedokumenter

Studerer et amerikansk FDA-regulert medikamentprodukt

Nei

Studerer et amerikansk FDA-regulert enhetsprodukt

Nei

Denne informasjonen ble hentet direkte fra nettstedet clinicaltrials.gov uten noen endringer. Hvis du har noen forespørsler om å endre, fjerne eller oppdatere studiedetaljene dine, vennligst kontakt register@clinicaltrials.gov. Så snart en endring er implementert på clinicaltrials.gov, vil denne også bli oppdatert automatisk på nettstedet vårt. .

Kliniske studier på Diagnose

Kliniske studier på GPT-4

3
Abonnere