Indvirkningen af store sprogmodeller på diagnostisk ræsonnement blandt læger
Studieoversigt
Detaljeret beskrivelse
Diagnostiske fejl er en væsentlig kilde til patientskade, der kan forebygges. Nylige fremskridt inden for store sprogmodeller (LLM), især ChatGPT-4o, har vist lovende med hensyn til at forbedre medicinsk beslutningstagning. Der er dog lidt kendt om deres indvirkning på lægers (f.eks. lægers og kirurgers) diagnostiske ræsonnement.
Diagnostisk nøjagtighed er afhængig af komplekse kliniske ræsonnementer og omhyggelig evaluering af patientdata. Mens AI-assistance potentielt kan reducere fejl og forbedre effektiviteten, mangler ChatGPT-4o medicinsk validering og kan introducere nye risici gennem ukorrekt informationsgenerering (også kendt som hallucinationer). For at afbøde disse risici har læger brug for tilstrækkelig træning i at forstå ChatGPT-4o's muligheder, begrænsninger og korrekt brug. I betragtning af disse usikkerheder og vigtigheden af korrekt AI-træning er systematisk evaluering afgørende før klinisk implementering.
Denne randomiserede undersøgelse vil vurdere, om ChatGPT-4o adgang forbedrer lægers diagnostiske ydeevne sammenlignet med konventionelle ressourcer (f.eks. lærebøger, online medicinske databaser) alene. Alle deltagende læger vil have gennemført mindst et 10-timers træningsprogram, der dækker ChatGPT-4o-brug, hurtige ingeniørteknikker og output-evalueringsstrategier. Deltagerne vil give differentialdiagnoser med understøttende beviser og anbefalede næste trin for kliniske tilfælde, med svar evalueret af blindede anmeldere.
Undersøgelsestype
Tilmelding (Faktiske)
Fase
- Ikke anvendelig
Kontakter og lokationer
Studiesteder
-
-
Punjab
-
Lahore, Punjab, Pakistan, 54792
- Lahore University of Management Sciences
-
-
Deltagelseskriterier
Berettigelseskriterier
Aldre berettiget til at studere
- Barn
- Voksen
- Ældre voksen
Tager imod sunde frivillige
Beskrivelse
Inklusionskriterier:
- Fuldstændige eller foreløbigt registrerede læger hos Pakistan Medical and Dental Council (PMDC).
- Afsluttet Bachelor of Medicine, Bachelor of Surgery (MBBS) eksamen. Den tilsvarende grad af MBBS i USA og Canada kaldes Doctor of Medicine (MD).
- Deltagerne skal have gennemført et struktureret træningsprogram i brugen af ChatGPT (eller en sammenlignelig stor sprogmodel), der i alt har mindst 10 timers undervisning. Programmet skal omfatte praktisk praksis relateret til LLMs aspekter, specifikt hurtig ingeniørarbejde og indholdsevaluering.
Ekskluderingskriterier:
- Alle andre registrerede læger (helt eller midlertidigt) med PMDC (f.eks. fagfolk med bachelor i tandkirurgi eller BDS).
Studieplan
Hvordan er undersøgelsen tilrettelagt?
Design detaljer
- Primært formål: Diagnostisk
- Tildeling: Randomiseret
- Interventionel model: Parallel tildeling
- Maskning: Ingen (Åben etiket)
Våben og indgreb
Deltagergruppe / Arm |
Intervention / Behandling |
|---|---|
|
Aktiv komparator: ChatGPT-4o
Gruppen vil få adgang til ChatGPT-4o.
|
OpenAIs ChatGPT-4o store sprogmodel med chatgrænseflade.
|
|
Ingen indgriben: Konventionelle ressourcer
Gruppen vil ikke få adgang til ChatGPT-4o, men vil blive opfordret til at bruge de ressourcer, de ønsker udover store sprogmodeller (PubMed, Google uden AI-oversigter osv.).
|
Hvad måler undersøgelsen?
Primære resultatmål
Resultatmål |
Foranstaltningsbeskrivelse |
Tidsramme |
|---|---|---|
|
Diagnostisk ræsonnement
Tidsramme: Vurderet på et enkelt tidspunkt for hvert tilfælde under den planlagte diagnostiske ræsonnementevalueringssession, som finder sted mellem 0-4 dage efter deltagertilmelding.
|
Det primære resultat vil være procenten korrekt for hvert tilfælde (interval: 0 til 100).
For hver case vil deltagerne blive bedt om tre topdiagnoser, fund fra casen, der understøtter denne diagnose, og fund fra casen, der modsætter sig denne diagnose.
For hver plausibel diagnose får deltagerne 1 point.
Fund, der understøtter diagnosen og fund, der modsætter sig diagnosen, vil ligeledes blive bedømt ud fra rigtigheden, med 1 point for delvist korrekte og 2 point for helt korrekte svar.
Deltagerne vil derefter blive bedt om at navngive deres topdiagnose, hvor de tjener et point for et rimeligt svar og to point for det mest korrekte svar.
Til sidst vil deltagerne blive bedt om at nævne op til 3 næste trin for yderligere at evaluere patienten med et point for et delvist korrekt svar og to point for et fuldstændigt korrekt svar.
Det primære resultat vil blive sammenlignet på case-niveau af de randomiserede grupper.
|
Vurderet på et enkelt tidspunkt for hvert tilfælde under den planlagte diagnostiske ræsonnementevalueringssession, som finder sted mellem 0-4 dage efter deltagertilmelding.
|
Sekundære resultatmål
Resultatmål |
Foranstaltningsbeskrivelse |
Tidsramme |
|---|---|---|
|
Tid brugt på diagnose
Tidsramme: Vurderet på et enkelt tidspunkt for hvert tilfælde under den planlagte diagnostiske ræsonnementevalueringssession, som finder sted mellem 0-4 dage efter deltagertilmelding.
|
Vi vil sammenligne, hvor meget tid (i sekunder) deltagerne bruger pr. case mellem de to undersøgelsesarme.
|
Vurderet på et enkelt tidspunkt for hvert tilfælde under den planlagte diagnostiske ræsonnementevalueringssession, som finder sted mellem 0-4 dage efter deltagertilmelding.
|
Samarbejdspartnere og efterforskere
Samarbejdspartnere
Efterforskere
- Ledende efterforsker: Ihsan Ayyub Qazi, PhD, Lahore University of Management Sciences
- Ledende efterforsker: Muhammad Asadullah Khawaja, MBBS, King Edward Medical University
- Ledende efterforsker: Ayesha Ali, PhD, Lahore University of Management Sciences
Datoer for undersøgelser
Studer store datoer
Studiestart (Faktiske)
Primær færdiggørelse (Faktiske)
Studieafslutning (Faktiske)
Datoer for studieregistrering
Først indsendt
Først indsendt, der opfyldte QC-kriterier
Først opslået (Faktiske)
Opdateringer af undersøgelsesjournaler
Sidste opdatering sendt (Faktiske)
Sidste opdatering indsendt, der opfyldte kvalitetskontrolkriterier
Sidst verificeret
Mere information
Begreber relateret til denne undersøgelse
Yderligere relevante MeSH-vilkår
Andre undersøgelses-id-numre
- IRB-0342
Plan for individuelle deltagerdata (IPD)
Planlægger du at dele individuelle deltagerdata (IPD)?
Lægemiddel- og udstyrsoplysninger, undersøgelsesdokumenter
Studerer et amerikansk FDA-reguleret lægemiddelprodukt
Studerer et amerikansk FDA-reguleret enhedsprodukt
produkt fremstillet i og eksporteret fra U.S.A.
Disse oplysninger blev hentet direkte fra webstedet clinicaltrials.gov uden ændringer. Hvis du har nogen anmodninger om at ændre, fjerne eller opdatere dine undersøgelsesoplysninger, bedes du kontakte register@clinicaltrials.gov. Så snart en ændring er implementeret på clinicaltrials.gov, vil denne også blive opdateret automatisk på vores hjemmeside .