Diagnostické uvažování s přizpůsobeným modelem GPT-4
Vyhodnocení výkonu LLM a kliniků ve složitých diagnostických případech: randomizovaná kontrolovaná studie
Přehled studie
Postavení
Podmínky
Detailní popis
Technologie umělé inteligence (AI), zejména pokročilé modely velkých jazyků, jako je OpenAi's Chatgpt, mají potenciál zlepšit lékařské rozhodování. Zatímco ChatGPT-4 nebyl speciálně navržen pro lékařské aplikace, prokázal slib v různých zdravotních kontextech, včetně lékařské poznámky, řešení dotazů na pacienta a usnadnění lékařských konzultací. Jeho dopad na diagnostické uvažování lékařů však zůstává do značné míry neznámý.
Klinické uvažování je složitý proces, který zahrnuje rozpoznávání vzorů, aplikaci znalostí a pravděpodobnostní uvažování. Integrace nástrojů AI, jako je CHATGPT-4 do pracovních postupů lékaře, může pomoci snížit pracovní zátěž klinického lékaře a snížit pravděpodobnost zmeškaných diagnóz. ChatGPT-4 však nebyl vyvinut ani ověřen pro diagnostické uvažování a může poskytnout zavádějící informace, včetně věrohodných, ale nesprávných závěrů, které by mohly kliničtí lékaře nesprávné. Pokud nebude použito vhodně, může se to zlepšit a mohlo by to dokonce bránit klinickému rozhodování. Proto je nezbytné studovat, jak kliničtí lékaři používají velké jazykové modely k podpoře klinického uvažování před jejich integrací do rutinní péče o pacienty.
Tato studie prozkoumá, jak okamžitý přístup k přizpůsobené verzi CHATGPT-4 ovlivňuje výkon na případové diagnostické uvažování ve srovnání s postupným přístupem. V postupném přístupu budou účastníci nejprve použít tradiční nástroje pro podporu diagnostického rozhodování na podporu jejich případu před interakcí s přizpůsobeným modelem CHATGPT-4, kdy budou mít příležitost revidovat své počáteční odpovědi.
Účastníci budou randomizováni do různých studijních ramen a budou reagovat na diagnostické případy poskytnutím tří diferenciálních diagnóz, spolu s podpůrnými a nepřátelskými nálezy pro každou z nich. Rovněž identifikují svou nejvyšší diagnózu a navrhnou další diagnostické kroky. Nezávislí recenzenti, oslepení při přiřazení léčby, vyhodnotí jejich odpovědi.
Typ studie
Zápis (Aktuální)
Fáze
- Nelze použít
Kontakty a umístění
Studijní místa
-
-
California
-
Palo Alto, California, Spojené státy, 94305
- Stanford University
-
-
Kritéria účasti
Kritéria způsobilosti
Věk způsobilý ke studiu
- Dítě
- Dospělý
- Starší dospělý
Přijímá zdravé dobrovolníky
Popis
Kritéria pro zařazení:
- Účastníci musí být lékaři licencovaní a dokončili alespoň postgraduální rok 1 (PGY1) lékařského vzdělávání.
- Školení interního lékařství, rodinné medicíny nebo pohotovostní medicíny.
Kritéria pro vyloučení:
- V současné době nepraktikuje klinicky.
- Zúčastnil se jedné z našich předchozích studií, které používaly stejných šesti diagnostických případů.
Studijní plán
Jak je studie koncipována?
Detaily designu
- Primární účel: Diagnostický
- Přidělení: Randomizované
- Intervenční model: Paralelní přiřazení
- Maskování: Singl
Zbraně a zásahy
Skupina účastníků / Arm |
Intervence / Léčba |
|---|---|
|
Aktivní komparátor: Okamžitý přístup k přizpůsobené verzi GPT-4
Skupina bude povzbuzována, aby okamžitě použila přizpůsobenou verzi GPT-4.
|
Skupině má okamžitý přístup k přizpůsobené verzi GPT-4 na podporu jejich diagnostického uvažování pro každý případ.
|
|
Aktivní komparátor: Konvenční zdroje nejprve udělily přístup k přizpůsobené verzi GPT-4.
Skupina bude povzbuzována, aby nejprve využila jakékoli zdroje, které si přejí, kromě velkých jazykových modelů (Uptodate, PubMed, Google atd.) A poté bude poskytnut přístup k přizpůsobené verzi GPT-4.
|
Skupina je nejprve povzbuzována k rozumu prostřednictvím diagnostických případů s podporou konvenčních zdrojů.
Poté, co předloží odpovědi případu, dostanou přístup k přizpůsobené verzi GPT-4 a mají příležitost změnit své počáteční odpovědi.
|
Co je měření studie?
Primární výstupní opatření
Měření výsledku |
Popis opatření |
Časové okno |
|---|---|---|
|
Diagnostické uvažování
Časové okno: Dokončení studie v průměru 6 měsíců
|
Primárním výsledkem bude procento správných odpovědí na případ (rozmezí: 0 až 100).
V každém případě budou účastníci požádáni, aby poskytli své tři nejlepší diferenciální diagnózy spolu s podpůrnými a protikladnými zjištěními pro každou z nich.
Za každou věrohodnou diagnózu obdrží 1 bod.
Podpůrné a protichůdné zjištění budou hodnoceny na základě správnosti, s 1 bodem pro částečně správnou odpověď a 2 body pro zcela správnou odpověď.
Účastníci si poté vyberou svou nejvyšší diagnózu, vydělávají 1 bod za rozumnou volbu a 2 body za nejpřesnější diagnózu.
Nakonec uvedou až tři další kroky pro další vyhodnocení pacienta, přičemž 1 bod udělí částečně správnou odpověď a 2 body za zcela správnou odpověď.
Primární výsledek bude analyzován na úrovni případu, porovnávat výkon mezi randomizovanými studijními skupinami.
|
Dokončení studie v průměru 6 měsíců
|
Sekundární výstupní opatření
Měření výsledku |
Popis opatření |
Časové okno |
|---|---|---|
|
Čas strávený na případ
Časové okno: Dokončení studie v průměru 6 měsíců
|
Vyšetřovatelé porovná průměrnou dobu (v minutách), které účastníci tráví za každý případ napříč dvěma studijními zbraněmi.
|
Dokončení studie v průměru 6 měsíců
|
|
Rychlá frekvence
Časové okno: Dokončení studie v průměru 6 měsíců
|
Vyšetřovatelé porovná frekvenci výzev účastníka k přizpůsobenému modelu GPT-4 mezi oběma studijními skupinami.
|
Dokončení studie v průměru 6 měsíců
|
|
Sentiment
Časové okno: Dokončení studie v průměru 6 měsíců
|
Vyšetřovatelé porovná tón a sentiment účastníků výzev k přizpůsobenému modelu GPT-4 napříč oběma studijními skupinami.
Vyšetřovatelé vytvoří kvalitativní kódovací systém, který kategorizuje povahu výzev účastníků.
|
Dokončení studie v průměru 6 měsíců
|
|
Vnímání AI účastníka v klinickém uvažování
Časové okno: Dokončení studie v průměru 6 měsíců
|
Tento výsledek by byl posouzen v obou studijních ramenech a zahrnoval by změny postojů, důvěry a ochoty používat diagnostické nástroje AI před a po vystavení přizpůsobenému nástroji.
Posoudíme počet účastníků, kteří byli otevřeni používání AI, aby pomohli s komplexním klinickým uvažováním (před a po Quiz), pokud by se jim líbilo práci s diagnostickým nástrojem AI, pokud by se cítili, jako by tento nástroj poskytl cennou spolupráci pro klinické uvažování, jako je diagnostika ai v této denní hodnotě, jako je v této studii, jako je tato studie v této studii v této studii v této studii v této studii v této studii v této studii v této studii v této studii v této studii v této studii v této studii, jejich každodenní práce v této studii v této studii v této studii v této studii v této studii, jejich každodenní práce.
Ty budou vyhodnoceny na žebříčku Likertovy stupnice od silně nesouhlasu k silně souhlasit.
|
Dokončení studie v průměru 6 měsíců
|
|
Přizpůsobené diagnostické uvažování GPT-4
Časové okno: Dokončení studie v průměru 6 měsíců
|
„Nezávislé“ diagnózy GPT-4 budou hodnoceny z hlediska přesnosti.
Výsledkem bude procento správných odpovědí na případ (rozmezí: 0 až 100).
Pro každý případ nařídí meta-prompt přizpůsobené GPT-4 tak, aby poskytovalo své tři nejlepší diferenciální diagnózy, spolu s podpůrnými a nepřátelskými nálezy pro každou, konečnou diagnózu a dalšími kroky.
Přizpůsobený GPT-4 obdrží 1 bod za každou věrohodnou diagnózu.
Podpůrné a protichůdné zjištění budou hodnoceny na základě správnosti, s 1 bodem pro částečně správnou odpověď a 2 body pro zcela správnou odpověď.
Jeho nejvyšší diagnóza získá 1 bod za rozumnou volbu a 2 body za nejpřesnější diagnózu.
Nakonec bude uveden na seznamu až tři další kroky pro další vyhodnocení pacienta, přičemž 1 bod byl udělen za částečně správnou odpověď a 2 body za zcela správnou odpověď.
Výsledek bude analyzován na úrovni případu, porovnáním výkonu se skóre randomizovaných studijních skupin.
|
Dokončení studie v průměru 6 měsíců
|
Spolupracovníci a vyšetřovatelé
Sponzor
Spolupracovníci
Vyšetřovatelé
- Vrchní vyšetřovatel: Jonathan H Chen, MD, PhD, Stanford University
Termíny studijních záznamů
Hlavní termíny studia
Začátek studia (Aktuální)
Primární dokončení (Aktuální)
Dokončení studie (Aktuální)
Termíny zápisu do studia
První předloženo
První předloženo, které splnilo kritéria kontroly kvality
První zveřejněno (Aktuální)
Aktualizace studijních záznamů
Poslední zveřejněná aktualizace (Aktuální)
Odeslaná poslední aktualizace, která splnila kritéria kontroly kvality
Naposledy ověřeno
Více informací
Termíny související s touto studií
Další relevantní podmínky MeSH
Další identifikační čísla studie
- 71319c
Plán pro data jednotlivých účastníků (IPD)
Plánujete sdílet data jednotlivých účastníků (IPD)?
Informace o lécích a zařízeních, studijní dokumenty
Studuje lékový produkt regulovaný americkým FDA
Studuje produkt zařízení regulovaný americkým úřadem FDA
produkt vyrobený a vyvážený z USA
Tyto informace byly beze změn načteny přímo z webu clinicaltrials.gov. Máte-li jakékoli požadavky na změnu, odstranění nebo aktualizaci podrobností studie, kontaktujte prosím register@clinicaltrials.gov. Jakmile bude změna implementována na clinicaltrials.gov, bude automaticky aktualizována i na našem webu .