Denna sida har översatts automatiskt och översättningens korrekthet kan inte garanteras. Vänligen se engelsk version för en källtext.

Läkare resonerar om diagnostiska fall med stora språkmodeller

15 februari 2024 uppdaterad av: Jonathan Chen, Stanford University

Diagnostiska resonemang med stora språkmodellchattbotar

Denna studie kommer att utvärdera effekten av att ge tillgång till GPT-4, en stor språkmodell, jämfört med traditionella diagnostiska beslutsstödsverktyg på prestanda på fallbaserade diagnostiska resonemangsuppgifter.

Studieöversikt

Status

Avslutad

Betingelser

Intervention / Behandling

Detaljerad beskrivning

Artificiell intelligens (AI)-teknologier, speciellt avancerade stora språkmodeller som OpenAI:s ChatGPT, har potential att förbättra medicinskt beslutsfattande. Även om ChatGPT-4 inte utvecklades för användning i medicinskt specifika applikationer, har det visat sig lovande i olika vårdsammanhang, inklusive att skriva medicinska anteckningar, ta itu med patientförfrågningar och underlätta medicinsk konsultation. Det är dock lite känt om hur ChatGPT förstärker klinikernas kliniska resonemangsförmåga.

Kliniskt resonemang är en komplex process som involverar mönsterigenkänning, kunskapstillämpning och probabilistiska resonemang. Att integrera AI-verktyg som ChatGPT-4 i läkares arbetsflöden kan potentiellt hjälpa till att minska klinikernas arbetsbelastning och minska sannolikheten för missade diagnoser. ChatGPT-4 utvecklades dock inte för kliniska resonemang och har inte heller validerats för detta ändamål. Vidare kan det vara föremål för desinformation, inklusive övertygande konfabulationer som kan vilseleda läkare. Om läkare missbrukar det här verktyget kanske det inte förbättrar diagnostiska resonemang och kan till och med orsaka skada. Därför är det viktigt att studera hur kliniker använder stora språkmodeller för att förstärka kliniska resonemang inför rutinmässig inkorporering i patientvården.

I denna studie kommer vi att randomisera deltagare för att svara på diagnostiska fall med eller utan tillgång till ChatGPT-4. Deltagarna kommer att ombes ge tre differentialdiagnoser för varje fall, med stödjande och motsatta fynd för varje diagnos. Dessutom kommer de att bli ombedda att ge sin högsta diagnos tillsammans med nästa diagnostiska steg. Svaren kommer att betygsättas av oberoende granskare som är blinda för behandlingsuppgiften.

Studietyp

Interventionell

Inskrivning (Faktisk)

50

Fas

  • Inte tillämpbar

Kontakter och platser

Det här avsnittet innehåller kontaktuppgifter för dem som genomför studien och information om var denna studie genomförs.

Studieorter

    • California
      • Palo Alto, California, Förenta staterna, 94304
        • Stanford University

Deltagandekriterier

Forskare letar efter personer som passar en viss beskrivning, så kallade behörighetskriterier. Några exempel på dessa kriterier är en persons allmänna hälsotillstånd eller tidigare behandlingar.

Urvalskriterier

Åldrar som är berättigade till studier

  • Barn
  • Vuxen
  • Äldre vuxen

Tar emot friska volontärer

Ja

Beskrivning

Inklusionskriterier:

  • Deltagarna måste vara legitimerade läkare och ha genomfört minst efterexamen år 2 (PGY2) i medicinsk utbildning.
  • Utbildning i internmedicin, familjemedicin eller akutmedicin.

Exklusions kriterier:

  • Utövar inte kliniskt för närvarande.

Studieplan

Det här avsnittet ger detaljer om studieplanen, inklusive hur studien är utformad och vad studien mäter.

Hur är studien utformad?

Designdetaljer

  • Primärt syfte: Diagnostisk
  • Tilldelning: Randomiserad
  • Interventionsmodell: Parallellt uppdrag
  • Maskning: Enda

Vapen och interventioner

Deltagargrupp / Arm
Intervention / Behandling
Aktiv komparator: GPT-4
Gruppen kommer att få tillgång till GPT-4.
OpenAI:s GPT-4 stora språkmodell med chattgränssnitt.
Inget ingripande: Vanliga resurser
Gruppen kommer inte att ges tillgång till GPT-4 men kommer att uppmuntras att använda alla resurser de önskar förutom stora språkmodeller (UpToDate, Dynamed, google, etc).

Vad mäter studien?

Primära resultatmått

Resultatmått
Åtgärdsbeskrivning
Tidsram
Diagnostiska resonemang
Tidsram: Under utvärdering
Det primära resultatet kommer att vara procenten korrekt (intervall: 0 till 100) för varje fall. För varje fall kommer deltagarna att tillfrågas om tre toppdiagnoser och fynd från fallet som stödjer den diagnosen och motsätter sig den diagnosen. Deltagarna får 1 poäng för varje rimlig diagnos. Fynd som stöder diagnosen och fynd som motsätter sig diagnosen kommer också att betygsättas utifrån riktighet, med 1 poäng för delvis korrekt och 2 poäng för helt korrekta svar. Deltagarna kommer sedan att bli ombedda att namnge sin högsta diagnos och tjäna en poäng för ett rimligt svar och två poäng för det mest korrekta svaret. Slutligen kommer deltagarna att uppmanas att namnge upp till 3 nästa steg för att ytterligare utvärdera patienten med en poäng för ett delvis korrekt svar och två poäng för ett helt korrekt svar. Det primära resultatet kommer att jämföras på fallnivå av de randomiserade grupperna.
Under utvärdering

Sekundära resultatmått

Resultatmått
Åtgärdsbeskrivning
Tidsram
Tid spenderad på diagnos
Tidsram: Under utvärdering
Vi kommer att jämföra hur mycket tid (i minuter) deltagarna spenderar per fall mellan de två studiearmarna.
Under utvärdering

Samarbetspartners och utredare

Det är här du hittar personer och organisationer som är involverade i denna studie.

Utredare

  • Huvudutredare: Jonathan H Chen, MD, PhD, Stanford University
  • Huvudutredare: Adam Rodman, MD, Beth Israel Deaconess Medical Center
  • Huvudutredare: Andrew Olson, MD, University of Minnesota

Studieavstämningsdatum

Dessa datum spårar framstegen för inlämningar av studieposter och sammanfattande resultat till ClinicalTrials.gov. Studieposter och rapporterade resultat granskas av National Library of Medicine (NLM) för att säkerställa att de uppfyller specifika kvalitetskontrollstandarder innan de publiceras på den offentliga webbplatsen.

Studera stora datum

Studiestart (Faktisk)

29 november 2023

Primärt slutförande (Faktisk)

30 december 2023

Avslutad studie (Faktisk)

30 december 2023

Studieregistreringsdatum

Först inskickad

27 november 2023

Först inskickad som uppfyllde QC-kriterierna

27 november 2023

Första postat (Faktisk)

6 december 2023

Uppdateringar av studier

Senaste uppdatering publicerad (Faktisk)

20 februari 2024

Senaste inskickade uppdateringen som uppfyllde QC-kriterierna

15 februari 2024

Senast verifierad

1 februari 2024

Mer information

Termer relaterade till denna studie

Ytterligare relevanta MeSH-villkor

Andra studie-ID-nummer

  • 71319

Plan för individuella deltagardata (IPD)

Planerar du att dela individuella deltagardata (IPD)?

NEJ

Läkemedels- och apparatinformation, studiedokument

Studerar en amerikansk FDA-reglerad läkemedelsprodukt

Nej

Studerar en amerikansk FDA-reglerad produktprodukt

Nej

Denna information hämtades direkt från webbplatsen clinicaltrials.gov utan några ändringar. Om du har några önskemål om att ändra, ta bort eller uppdatera dina studieuppgifter, vänligen kontakta register@clinicaltrials.gov. Så snart en ändring har implementerats på clinicaltrials.gov, kommer denna att uppdateras automatiskt även på vår webbplats .

Prenumerera