De impact van grote taalmodellen op diagnostisch redeneren onder artsen
Studie Overzicht
Gedetailleerde beschrijving
Diagnostische fouten zijn een belangrijke bron van vermijdbare schade voor patiënten. Recente ontwikkelingen op het gebied van Large Language Models (LLM), met name ChatGPT-4o, zijn veelbelovend gebleken bij het verbeteren van de medische besluitvorming. Er is echter weinig bekend over de impact ervan op het diagnostische redeneren van artsen (bijvoorbeeld artsen en chirurgen).
Diagnostische nauwkeurigheid is afhankelijk van complexe klinische redeneringen en zorgvuldige evaluatie van patiëntgegevens. Hoewel AI-ondersteuning potentieel fouten zou kunnen verminderen en de efficiëntie zou kunnen verbeteren, ontbeert ChatGPT-4o medische validatie en zou het nieuwe risico’s kunnen introduceren door het genereren van onjuiste informatie (ook wel hallucinaties genoemd). Om deze risico's te beperken hebben artsen adequate training nodig in het begrijpen van de mogelijkheden, beperkingen en het juiste gebruik van ChatGPT-4o. Gezien deze onzekerheden en het belang van goede AI-training is systematische evaluatie essentieel vóór klinische implementatie.
Deze gerandomiseerde studie zal beoordelen of ChatGPT-4o-toegang de diagnostische prestaties van artsen verbetert in vergelijking met conventionele bronnen (bijvoorbeeld studieboeken, online medische databases) alleen. Alle deelnemende artsen hebben een trainingsprogramma van ten minste 10 uur gevolgd waarin het gebruik van ChatGPT-4o, snelle technische technieken en outputevaluatiestrategieën aan bod komen. Deelnemers zullen differentiële diagnoses stellen met ondersteunend bewijs en aanbevolen volgende stappen voor klinische gevallen, waarbij de antwoorden worden geëvalueerd door geblindeerde beoordelaars.
Studietype
Inschrijving (Werkelijk)
Fase
- Niet toepasbaar
Contacten en locaties
Studie Locaties
-
-
Punjab
-
Lahore, Punjab, Pakistan, 54792
- Lahore University of Management Sciences
-
-
Deelname Criteria
Geschiktheidscriteria
Leeftijden die in aanmerking komen voor studie
- Kind
- Volwassen
- Oudere volwassene
Accepteert gezonde vrijwilligers
Beschrijving
Inclusiecriteria:
- Volledige of voorlopig geregistreerde artsen bij de Pakistan Medical and Dental Council (PMDC).
- Het examen Bachelor of Medicine en Bachelor of Surgery (MBBS) afgerond. De gelijkwaardige graad van MBBS in de VS en Canada wordt Doctor of Medicine (MD) genoemd.
- Deelnemers moeten een gestructureerd trainingsprogramma hebben gevolgd over het gebruik van ChatGPT (of een vergelijkbaar groot taalmodel), van in totaal minimaal 10 uur instructie. Het programma moet praktijkgerichte oefeningen omvatten met betrekking tot de aspecten van LLM, met name snelle engineering en inhoudsevaluatie.
Uitsluitingscriteria:
- Alle andere geregistreerde artsen (volledig of voorlopig) met PMDC (bijvoorbeeld professionals met een bachelor in tandheelkunde of BDS).
Studie plan
Hoe is de studie opgezet?
Ontwerpdetails
- Primair doel: Diagnostisch
- Toewijzing: Gerandomiseerd
- Interventioneel model: Parallelle opdracht
- Masker: Geen (open label)
Wapens en interventies
Deelnemersgroep / Arm |
Interventie / Behandeling |
|---|---|
|
Actieve vergelijker: ChatGPT-4o
Groep krijgt toegang tot ChatGPT-4o.
|
OpenAI's ChatGPT-4o grote taalmodel met chatinterface.
|
|
Geen tussenkomst: Conventionele hulpbronnen
De groep krijgt geen toegang tot ChatGPT-4o, maar wordt aangemoedigd om alle gewenste bronnen te gebruiken, naast grote taalmodellen (PubMed, Google zonder AI-overzichten, enz.).
|
Wat meet het onderzoek?
Primaire uitkomstmaten
Uitkomstmaat |
Maatregel Beschrijving |
Tijdsspanne |
|---|---|---|
|
Diagnostisch redeneren
Tijdsspanne: Wordt voor elk geval op één tijdstip beoordeeld tijdens de geplande evaluatiesessie voor diagnostisch redeneren, die plaatsvindt tussen 0-4 dagen na de inschrijving van de deelnemer.
|
De primaire uitkomst is het percentage dat voor elk geval correct is (bereik: 0 tot 100).
Voor elke casus wordt aan de deelnemers gevraagd om drie topdiagnoses, bevindingen uit de casus die die diagnose ondersteunen, en bevindingen uit de casus die die diagnose tegenspreken.
Voor elke plausibele diagnose krijgen de deelnemers 1 punt.
Bevindingen die de diagnose ondersteunen en bevindingen die de diagnose tegenspreken, worden ook beoordeeld op basis van correctheid, met 1 punt voor gedeeltelijk correcte en 2 punten voor volledig correcte antwoorden.
Vervolgens wordt de deelnemers gevraagd hun belangrijkste diagnose te noemen, waarbij ze één punt verdienen voor een redelijk antwoord en twee punten voor het meest correcte antwoord.
Ten slotte wordt de deelnemers gevraagd om maximaal 3 volgende stappen te noemen om de patiënt verder te evalueren, waarbij één punt wordt toegekend voor een gedeeltelijk correct antwoord en twee punten voor een volledig correct antwoord.
De primaire uitkomst zal door de gerandomiseerde groepen op casusniveau worden vergeleken.
|
Wordt voor elk geval op één tijdstip beoordeeld tijdens de geplande evaluatiesessie voor diagnostisch redeneren, die plaatsvindt tussen 0-4 dagen na de inschrijving van de deelnemer.
|
Secundaire uitkomstmaten
Uitkomstmaat |
Maatregel Beschrijving |
Tijdsspanne |
|---|---|---|
|
Tijd besteed aan diagnose
Tijdsspanne: Wordt voor elk geval op één tijdstip beoordeeld tijdens de geplande evaluatiesessie voor diagnostisch redeneren, die plaatsvindt tussen 0-4 dagen na de inschrijving van de deelnemer.
|
We zullen vergelijken hoeveel tijd (in seconden) deelnemers per casus besteden tussen de twee onderzoeksarmen.
|
Wordt voor elk geval op één tijdstip beoordeeld tijdens de geplande evaluatiesessie voor diagnostisch redeneren, die plaatsvindt tussen 0-4 dagen na de inschrijving van de deelnemer.
|
Medewerkers en onderzoekers
Medewerkers
Onderzoekers
- Hoofdonderzoeker: Ihsan Ayyub Qazi, PhD, Lahore University of Management Sciences
- Hoofdonderzoeker: Muhammad Asadullah Khawaja, MBBS, King Edward Medical University
- Hoofdonderzoeker: Ayesha Ali, PhD, Lahore University of Management Sciences
Studie record data
Bestudeer belangrijke data
Studie start (Werkelijk)
Primaire voltooiing (Werkelijk)
Studie voltooiing (Werkelijk)
Studieregistratiedata
Eerst ingediend
Eerst ingediend dat voldeed aan de QC-criteria
Eerst geplaatst (Werkelijk)
Updates van studierecords
Laatste update geplaatst (Werkelijk)
Laatste update ingediend die voldeed aan QC-criteria
Laatst geverifieerd
Meer informatie
Termen gerelateerd aan deze studie
Aanvullende relevante MeSH-voorwaarden
Andere studie-ID-nummers
- IRB-0342
Plan Individuele Deelnemersgegevens (IPD)
Bent u van plan om gegevens van individuele deelnemers (IPD) te delen?
Informatie over medicijnen en apparaten, studiedocumenten
Bestudeert een door de Amerikaanse FDA gereguleerd geneesmiddel
Bestudeert een door de Amerikaanse FDA gereguleerd apparaatproduct
product vervaardigd in en geëxporteerd uit de V.S.
Deze informatie is zonder wijzigingen rechtstreeks van de website clinicaltrials.gov gehaald. Als u verzoeken heeft om uw onderzoeksgegevens te wijzigen, te verwijderen of bij te werken, neem dan contact op met register@clinicaltrials.gov. Zodra er een wijziging wordt doorgevoerd op clinicaltrials.gov, wordt deze ook automatisch bijgewerkt op onze website .