Diagnostická a triážní kapacita spolupráce laiků a velkých jazykových modelů v Číně
Diagnostická a triážní schopnost spolupráce laiků a velkých jazykových modelů: národní randomizovaný kontrolovaný experiment s předtestem a potestem v Číně
Cílem této randomizované kontrolované studie je vyhodnotit roli velkých jazykových modelů při zlepšování schopnosti laiků samostatně diagnostikovat a třídit běžná onemocnění. Hlavní otázky, na které si klade za cíl odpovědět, jsou:
- Pomáhá použití LLM účastníkům při přesnějších vlastních diagnózách a rozhodnutích o péči u běžných onemocnění ve srovnání s jejich prvním odhadem bez jakékoli pomoci?
- O kolik je to lepší, když lidé spolupracují s LLM, ve srovnání s použitím běžného vyhledávače, použitím samotného LLM nebo jak by se rozhodovali lékaři? Výzkumníci porovnají účastníky, kteří byli náhodně zařazeni do skupiny LLM (používající DeepSeek) nebo do skupiny vyhledávače, aby zjistili, zda přístup s asistencí LLM vede k lepším klinickým úsudkům.
Účastníci budou:
- Přečtou si jeden z 48 krátkých, realistických zdravotních vignet;
- Udělají počáteční odhad o tom, co by mohlo být špatně, uvedením až tří možných příčin seřazených od nejpravděpodobnější po nejméně pravděpodobnou, a zvolí úroveň péče: vyhledat okamžitou péči, navštívit lékaře do jednoho dne, navštívit lékaře do jednoho týdne nebo zvládnout doma bez lékařské péče.
- Použijí jim přidělený nástroj (buď DeepSeek nebo standardní vyhledávač) k vyhledání informací a aktualizují svůj odhad a rozhodnutí o péči;
- Po použití nástroje odešlou svou konečnou diagnózu a volbu péče. Kromě toho studijní tým vyhodnotil výkonnost čtyř dalších modelů AI (GPT-4o, GPT-o1, DeepSeek-v3 a DeepSeek-r1) a 33 zkušených praktických lékařů na stejných vignetách.
Přehled studie
Postavení
Postavení
Podmínky
Podmínky
Intervence / Léčba
Intervence / Léčba
Typ studie
Typ studie
Zápis (Aktuální)
Zápis
Fáze
Fáze
- Nelze použít
Kontakty a umístění
Studijní místa
-
-
Hubei
-
Wuhan, Hubei, Čína
- Tongji Medical College of Huazhong University of Science & Technology School of Medicine and Health Management
-
-
Kritéria účasti
Kritéria způsobilosti
Kritéria způsobilosti
Věk způsobilý ke studiu
- Dospělý
- Starší dospělý
Přijímá zdravé dobrovolníky
Popis
Kritéria pro zařazení:
- Věk 18 let nebo starší
- Aktuální obyvatel pevninské Číny
- Historie kvalitní účasti v online průzkumech na platformě Credamo (historická míra přijetí průzkumu ≥ 80 % a osobní kreditní skóre ≥ 70)
Kritéria pro vyloučení:
- Neúplné odpovědi v průzkumu
- Selhání na vestavěných kontrolních otázkách kvality
- Nevěřitelně krátká doba dokončení (< 180 sekund pro skupinu vyhledávače; < 360 sekund pro skupinu LLM)
- Poskytnutí nediagnostických nebo irelevantních odpovědí (např. "neznámé", "nevím")
- Konzistentní vzorek identických odpovědí napříč všemi položkami
Studijní plán
Jak je studie koncipována?
Detaily designu
- Primární účel: Výzkum zdravotnických služeb
- Přidělení: Randomizované
- Intervenční model: Paralelní přiřazení
- Maskování: Singl
Počet zbraní
Zbraně a zásahy
Skupina účastníků / ArmSkupina účastníků / Arm |
Intervence / LéčbaIntervence / Léčba |
|---|---|
|
Experimentální: skupina integrovaná s laiky a LLM
Počáteční odpověď na klinickou diagnostiku a triážní otázku bez pomoci nástrojů byla následována požadavkem na účastníky, aby použili velký jazykový model (Deepseek v3 nebo r1) k získání zdravotních informací a poté znovu odpověděli na stejnou otázku.
|
Účastníci v této skupině použili velký jazykový model (DeepSeek) k vyhledání lékařských informací souvisejících s klinickou vinětou poté, co poskytli počáteční diagnostická a triážní rozhodnutí.
Byli instruováni, aby s modelem volně komunikovali a shromažďovali poznatky, a poté aktualizovali své diagnózy a doporučení pro triáž.
Intervence simuluje reálné používání nástrojů umělé inteligence pro osobní zdravotní rozhodování
|
|
Aktivní komparátor: skupina pro vyhledávače pro laiky
Po počátečním zodpovězení otázky klinické diagnózy a triáže bez použití nástrojů byli účastníci vyzváni k použití vyhledávače pro získání zdravotních informací a následně k opětovnému zodpovězení stejné otázky
|
Účastníci v této skupině používali mainstreamové internetové vyhledávače (např. Baidu, Google, Bing) k vyhledání informací o klinické vinětě po provedení počátečních diagnostických a triážních rozhodnutí.
Měli povoleno volně vyhledávat, ale nesměli používat žádné pojmenované platformy AI chatbotů nebo velkých jazykových modelů.
Tato skupina představuje typické chování při samostatném vyhledávání zdravotních informací online.
|
Co je měření studie?
Primární výstupní opatření
Primární výstupní opatření
Měření výsledku |
Popis opatření |
Časové okno |
|---|---|---|
|
Top-3 Diagnostická Přesnost
Časové okno: Bezprostředně po zásahu (v rámci stejné sezení průzkumu)
|
Hlavním diagnostickým výsledkem byl definován podíl účastníků, kteří zařadili správnou diagnózu mezi své tři hlavní diferenciální diagnózy po použití přiřazeného nástroje (LLM nebo vyhledávač).
Přesnost byla hodnocena pro každý z 48 klinických případů a agregována napříč všemi účastníky v každé skupině.
|
Bezprostředně po zásahu (v rámci stejné sezení průzkumu)
|
|
Přesnost triáže (přesná shoda 4 tříd)
Časové okno: Bezprostředně po zákroku (v rámci stejného sezení průzkumu)
|
Přesnost triage byla definována jako podíl účastníků, kteří zvolili správnou úroveň triage (neodkladná péče, do jednoho dne, do jednoho týdne nebo samoléčba), která odpovídala referenčnímu standardu.
Bylo 12 vinět na každou kategorii triage.
|
Bezprostředně po zákroku (v rámci stejného sezení průzkumu)
|
Sekundární výstupní opatření
Sekundární výstupní opatření
Měření výsledku |
Popis opatření |
Časové okno |
|---|---|---|
|
Nejlepší 1 diagnostická přesnost
Časové okno: Ihned po intervenci (během stejného sezení průzkumu)
|
Podíl účastníků, kteří po použití přiděleného nástroje vybrali správnou diagnózu jako svou hlavní (první) diagnózu.
Toto měří přesnost závěrečného diagnostického úsudku laiků. |
Ihned po intervenci (během stejného sezení průzkumu)
|
|
Přesnost triáže (2-třídní binární shoda)
Časové okno: Bezprostředně po zásahu (v rámci stejné relace průzkumu)
|
Bezprostředně po zásahu (v rámci stejné relace průzkumu)
|
Spolupracovníci a vyšetřovatelé
Sponzor
Sponzor
Vyšetřovatelé
Vyšetřovatelé
- Vrchní vyšetřovatel: Chenxi Liu, Huazhong University of Science and Technology
Termíny studijních záznamů
Hlavní termíny studia
Začátek studia (Aktuální)
Začátek studia
Primární dokončení (Aktuální)
Primární dokončení
Dokončení studie (Aktuální)
Dokončení studie
Termíny zápisu do studia
První předloženo
První předloženo
První předloženo, které splnilo kritéria kontroly kvality
První předloženo, které splnilo kritéria kontroly kvality
První zveřejněno (Aktuální)
První zveřejněno
Aktualizace studijních záznamů
Poslední zveřejněná aktualizace (Aktuální)
Poslední zveřejněná aktualizace
Odeslaná poslední aktualizace, která splnila kritéria kontroly kvality
Odeslaná poslední aktualizace, která splnila kritéria kontroly kvality
Naposledy ověřeno
Naposledy ověřeno
Více informací
Termíny související s touto studií
Další identifikační čísla studie
Další identifikační čísla studie
- JCYJ20240813115806009
Plán pro data jednotlivých účastníků (IPD)
Plánujete sdílet data jednotlivých účastníků (IPD)?
Popis plánu IPD
Informace o lécích a zařízeních, studijní dokumenty
Studuje lékový produkt regulovaný americkým FDA
Studuje produkt zařízení regulovaný americkým úřadem FDA
Tyto informace byly beze změn načteny přímo z webu clinicaltrials.gov. Máte-li jakékoli požadavky na změnu, odstranění nebo aktualizaci podrobností studie, kontaktujte prosím register@clinicaltrials.gov. Jakmile bude změna implementována na clinicaltrials.gov, bude automaticky aktualizována i na našem webu .