Artsen redeneren over diagnostische gevallen met grote taalmodellen
Diagnostisch redeneren met chatbots met grote taalmodellen
Studie Overzicht
Gedetailleerde beschrijving
Technologieën voor kunstmatige intelligentie (AI), met name geavanceerde grote taalmodellen zoals ChatGPT van OpenAI, hebben het potentieel om de medische besluitvorming te verbeteren. Hoewel ChatGPT-4 niet is ontwikkeld voor gebruik in medisch-specifieke toepassingen, is het veelbelovend gebleken in verschillende gezondheidszorgcontexten, waaronder het schrijven van medische notities, het beantwoorden van vragen van patiënten en het faciliteren van medisch advies. Er is echter weinig bekend over de manier waarop ChatGPT het klinische redeneervermogen van artsen vergroot.
Klinisch redeneren is een complex proces waarbij patroonherkenning, kennistoepassing en probabilistisch redeneren betrokken zijn. Het integreren van AI-tools zoals ChatGPT-4 in de workflows van artsen kan mogelijk de werkdruk van artsen helpen verminderen en de kans op gemiste diagnoses verkleinen. ChatGPT-4 is echter niet ontwikkeld voor klinisch redeneren en is ook niet voor dit doel gevalideerd. Bovendien kan er sprake zijn van desinformatie, waaronder overtuigende confabulaties die artsen kunnen misleiden. Als artsen dit hulpmiddel misbruiken, verbetert dit mogelijk het diagnostisch redeneren niet en kan het zelfs schade veroorzaken. Daarom is het belangrijk om te bestuderen hoe artsen grote taalmodellen gebruiken om het klinische redeneren te verbeteren voordat ze routinematig in de patiëntenzorg worden opgenomen.
In dit onderzoek zullen we deelnemers willekeurig verdelen om diagnostische gevallen te beantwoorden, met of zonder toegang tot ChatGPT-4. De deelnemers wordt gevraagd om voor elk geval drie differentiële diagnoses te geven, met ondersteunende en tegengestelde bevindingen voor elke diagnose. Daarnaast wordt hen gevraagd hun belangrijkste diagnose te geven, samen met de volgende diagnostische stappen. De antwoorden worden beoordeeld door onafhankelijke beoordelaars die blind zijn voor de behandelingstoewijzing.
Studietype
Inschrijving (Werkelijk)
Fase
- Niet toepasbaar
Contacten en locaties
Studie Locaties
-
-
California
-
Palo Alto, California, Verenigde Staten, 94304
- Stanford University
-
-
Deelname Criteria
Geschiktheidscriteria
Leeftijden die in aanmerking komen voor studie
- Kind
- Volwassen
- Oudere volwassene
Accepteert gezonde vrijwilligers
Beschrijving
Inclusiecriteria:
- Deelnemers moeten gediplomeerde artsen zijn en ten minste een postdoctorale medische opleiding van jaar 2 (PGY2) hebben afgerond.
- Opleiding in interne geneeskunde, huisartsgeneeskunde of spoedeisende geneeskunde.
Uitsluitingscriteria:
- Momenteel niet klinisch werkzaam.
Studie plan
Hoe is de studie opgezet?
Ontwerpdetails
- Primair doel: Diagnostisch
- Toewijzing: Gerandomiseerd
- Interventioneel model: Parallelle opdracht
- Masker: Enkel
Wapens en interventies
Deelnemersgroep / Arm |
Interventie / Behandeling |
|---|---|
|
Actieve vergelijker: GPT-4
Groep krijgt toegang tot GPT-4.
|
OpenAI's GPT-4 grote taalmodel met chatinterface.
|
|
Geen tussenkomst: Gebruikelijke middelen
De groep krijgt geen toegang tot GPT-4, maar wordt aangemoedigd om alle gewenste bronnen te gebruiken, naast grote taalmodellen (UpToDate, Dynamed, Google, enz.).
|
Wat meet het onderzoek?
Primaire uitkomstmaten
Uitkomstmaat |
Maatregel Beschrijving |
Tijdsspanne |
|---|---|---|
|
Diagnostisch redeneren
Tijdsspanne: Tijdens evaluatie
|
De primaire uitkomst is het percentage correct (bereik: 0 tot 100) voor elk geval.
Voor elke casus wordt aan de deelnemers gevraagd om drie topdiagnoses en bevindingen uit de casus die die diagnose ondersteunen en tegenspreken.
Voor elke plausibele diagnose krijgen deelnemers 1 punt.
Bevindingen die de diagnose ondersteunen en bevindingen die de diagnose tegenspreken, worden ook beoordeeld op basis van correctheid, met 1 punt voor gedeeltelijk correcte en 2 punten voor volledig correcte antwoorden.
Vervolgens wordt de deelnemers gevraagd hun belangrijkste diagnose te noemen, waarbij ze één punt verdienen voor een redelijk antwoord en twee punten voor het meest correcte antwoord.
Ten slotte wordt de deelnemers gevraagd om maximaal 3 volgende stappen te noemen om de patiënt verder te evalueren, waarbij één punt wordt toegekend voor een gedeeltelijk correct antwoord en twee punten voor een volledig correct antwoord.
De primaire uitkomst zal door de gerandomiseerde groepen op casusniveau worden vergeleken.
|
Tijdens evaluatie
|
Secundaire uitkomstmaten
Uitkomstmaat |
Maatregel Beschrijving |
Tijdsspanne |
|---|---|---|
|
Tijd besteed aan diagnose
Tijdsspanne: Tijdens evaluatie
|
We zullen vergelijken hoeveel tijd (in minuten) deelnemers per casus besteden tussen de twee onderzoeksarmen.
|
Tijdens evaluatie
|
Medewerkers en onderzoekers
Sponsor
Onderzoekers
- Hoofdonderzoeker: Jonathan H Chen, MD, PhD, Stanford University
- Hoofdonderzoeker: Adam Rodman, MD, Beth Israel Deaconess Medical Center
- Hoofdonderzoeker: Andrew Olson, MD, University of Minnesota
Studie record data
Bestudeer belangrijke data
Studie start (Werkelijk)
Primaire voltooiing (Werkelijk)
Studie voltooiing (Werkelijk)
Studieregistratiedata
Eerst ingediend
Eerst ingediend dat voldeed aan de QC-criteria
Eerst geplaatst (Werkelijk)
Updates van studierecords
Laatste update geplaatst (Werkelijk)
Laatste update ingediend die voldeed aan QC-criteria
Laatst geverifieerd
Meer informatie
Termen gerelateerd aan deze studie
Aanvullende relevante MeSH-voorwaarden
Andere studie-ID-nummers
- 71319
Plan Individuele Deelnemersgegevens (IPD)
Bent u van plan om gegevens van individuele deelnemers (IPD) te delen?
Informatie over medicijnen en apparaten, studiedocumenten
Bestudeert een door de Amerikaanse FDA gereguleerd geneesmiddel
Bestudeert een door de Amerikaanse FDA gereguleerd apparaatproduct
Deze informatie is zonder wijzigingen rechtstreeks van de website clinicaltrials.gov gehaald. Als u verzoeken heeft om uw onderzoeksgegevens te wijzigen, te verwijderen of bij te werken, neem dan contact op met register@clinicaltrials.gov. Zodra er een wijziging wordt doorgevoerd op clinicaltrials.gov, wordt deze ook automatisch bijgewerkt op onze website .