Vliv velkých jazykových modelů na diagnostické uvažování mezi lékaři
Přehled studie
Detailní popis
Diagnostické chyby jsou hlavním zdrojem poškození pacienta, kterému lze předejít. Nedávné pokroky ve velkých jazykových modelech (LLM), zejména ChatGPT-4o, se ukázaly jako slibné při zlepšování lékařského rozhodování. O jejich vlivu na diagnostické uvažování lékařů (např. lékařů a chirurgů) je však známo jen málo.
Diagnostická přesnost závisí na komplexním klinickém zdůvodnění a pečlivém vyhodnocení údajů o pacientech. Zatímco asistence AI by mohla potenciálně snížit chyby a zlepšit efektivitu, ChatGPT-4o postrádá lékařské ověření a mohla by představovat nová rizika prostřednictvím nesprávného generování informací (také známé jako halucinace). Ke zmírnění těchto rizik potřebují lékaři odpovídající školení v porozumění schopnostem, omezením a správnému použití ChatGPT-4o. Vzhledem k těmto nejistotám a důležitosti řádného výcviku AI je systematické hodnocení před klinickou implementací nezbytné.
Tato randomizovaná studie posoudí, zda přístup ChatGPT-4o zlepšuje diagnostický výkon lékařů ve srovnání se samotnými konvenčními zdroji (např. učebnicemi, online lékařskými databázemi). Všichni zúčastnění lékaři absolvují alespoň 10hodinový školicí program zahrnující použití ChatGPT-4o, techniky rychlého inženýrství a strategie hodnocení výstupů. Účastníci poskytnou diferenciální diagnózy s podpůrnými důkazy a doporučené další kroky pro klinické případy, přičemž odpovědi budou hodnoceny zaslepenými recenzenty.
Typ studie
Zápis (Aktuální)
Fáze
- Nelze použít
Kontakty a umístění
Studijní místa
-
-
Punjab
-
Lahore, Punjab, Pákistán, 54792
- Lahore University of Management Sciences
-
-
Kritéria účasti
Kritéria způsobilosti
Věk způsobilý ke studiu
- Dítě
- Dospělý
- Starší dospělý
Přijímá zdravé dobrovolníky
Popis
Kritéria zahrnutí:
- Plně nebo dočasně registrovaní lékaři u Pákistánské lékařské a zubní rady (PMDC).
- Absolvoval bakalářskou zkoušku medicíny, bakalář chirurgie (MBBS). Ekvivalentní stupeň MBBS v USA a Kanadě se nazývá doktor medicíny (MD).
- Účastníci musí absolvovat strukturovaný školicí program o používání ChatGPT (nebo srovnatelného velkého jazykového modelu), v celkovém rozsahu nejméně 10 hodin výuky. Program musí zahrnovat praktickou praxi související s aspekty LLM, konkrétně rychlé inženýrství a hodnocení obsahu.
Kritéria vyloučení:
- Všichni ostatní registrovaní lékaři (plní nebo provizorní) s PMDC (např. profesionálové s bakalářem zubní chirurgie nebo BDS).
Studijní plán
Jak je studie koncipována?
Detaily designu
- Primární účel: Diagnostický
- Přidělení: Randomizované
- Intervenční model: Paralelní přiřazení
- Maskování: Žádné (otevřený štítek)
Zbraně a zásahy
Skupina účastníků / Arm |
Intervence / Léčba |
|---|---|
|
Aktivní komparátor: ChatGPT-4o
Skupina bude mít přístup k ChatGPT-4o.
|
Velký jazykový model ChatGPT-4o OpenAI s rozhraním chatu.
|
|
Žádný zásah: Konvenční zdroje
Skupina nebude mít přístup k ChatGPT-4o, ale bude vyzvána, aby kromě velkých jazykových modelů (PubMed, Google without AI Overviews atd.) používala jakékoli zdroje, které si přeje.
|
Co je měření studie?
Primární výstupní opatření
Měření výsledku |
Popis opatření |
Časové okno |
|---|---|---|
|
Diagnostické uvažování
Časové okno: Posouzeno v jednom časovém bodě pro každý případ, během plánovaného hodnocení diagnostického uvažování, které se koná mezi 0-4 dny po přihlášení účastníka.
|
Primárním výsledkem bude procentuální správnost pro každý případ (rozsah: 0 až 100).
Pro každý případ budou účastníci požádáni o tři hlavní diagnózy, nálezy z případu, které tuto diagnózu podporují, a nálezy z případu, které jsou proti této diagnóze.
Za každou přijatelnou diagnózu obdrží účastníci 1 bod.
Nálezy podporující diagnózu a nálezy odporující diagnóze budou rovněž hodnoceny na základě správnosti, přičemž 1 bod za částečně správné a 2 body za zcela správné odpovědi.
Účastníci budou poté požádáni, aby pojmenovali svou nejlepší diagnózu, přičemž získají jeden bod za rozumnou odpověď a dva body za nejsprávnější odpověď.
Nakonec budou účastníci požádáni, aby jmenovali až 3 další kroky k dalšímu hodnocení pacienta s jedním bodem uděleným za částečně správnou odpověď a dvěma body za zcela správnou odpověď.
Primární výsledek bude porovnán na úrovni případu randomizovanými skupinami.
|
Posouzeno v jednom časovém bodě pro každý případ, během plánovaného hodnocení diagnostického uvažování, které se koná mezi 0-4 dny po přihlášení účastníka.
|
Sekundární výstupní opatření
Měření výsledku |
Popis opatření |
Časové okno |
|---|---|---|
|
Čas strávený diagnostikou
Časové okno: Posouzeno v jednom časovém bodě pro každý případ, během plánovaného hodnocení diagnostického uvažování, které se koná mezi 0-4 dny po přihlášení účastníka.
|
Porovnáme, kolik času (v sekundách) účastníci stráví na jeden případ mezi dvěma rameny studie.
|
Posouzeno v jednom časovém bodě pro každý případ, během plánovaného hodnocení diagnostického uvažování, které se koná mezi 0-4 dny po přihlášení účastníka.
|
Spolupracovníci a vyšetřovatelé
Spolupracovníci
Vyšetřovatelé
- Vrchní vyšetřovatel: Ihsan Ayyub Qazi, PhD, Lahore University of Management Sciences
- Vrchní vyšetřovatel: Muhammad Asadullah Khawaja, MBBS, King Edward Medical University
- Vrchní vyšetřovatel: Ayesha Ali, PhD, Lahore University of Management Sciences
Termíny studijních záznamů
Hlavní termíny studia
Začátek studia (Aktuální)
Primární dokončení (Aktuální)
Dokončení studie (Aktuální)
Termíny zápisu do studia
První předloženo
První předloženo, které splnilo kritéria kontroly kvality
První zveřejněno (Aktuální)
Aktualizace studijních záznamů
Poslední zveřejněná aktualizace (Aktuální)
Odeslaná poslední aktualizace, která splnila kritéria kontroly kvality
Naposledy ověřeno
Více informací
Termíny související s touto studií
Další relevantní podmínky MeSH
Další identifikační čísla studie
- IRB-0342
Plán pro data jednotlivých účastníků (IPD)
Plánujete sdílet data jednotlivých účastníků (IPD)?
Informace o lécích a zařízeních, studijní dokumenty
Studuje lékový produkt regulovaný americkým FDA
Studuje produkt zařízení regulovaný americkým úřadem FDA
produkt vyrobený a vyvážený z USA
Tyto informace byly beze změn načteny přímo z webu clinicaltrials.gov. Máte-li jakékoli požadavky na změnu, odstranění nebo aktualizaci podrobností studie, kontaktujte prosím register@clinicaltrials.gov. Jakmile bude změna implementována na clinicaltrials.gov, bude automaticky aktualizována i na našem webu .