Hodnocení potenciálu velkých jazykových modelů pro konzultace respiračních onemocnění (EPLLMMRDC)
24. listopadu 2024 aktualizováno: Zining Luo, North Sichuan Medical College
Vyhodnocení potenciálu velkých jazykových modelů pro konzultace respiračních onemocnění: Randomizovaná křížová zkouška
Cílem klinické studie je vyhodnotit několik velkých jazykových modelů při konzultacích s respiračními chorobami porovnáním jejich výkonu s výkonem lidských lékařů ve třech hlavních scénářích lékařských konzultací.
Hlavní otázka, na kterou má odpovědět, je:
- Jak si velké jazykové modely vedou ve srovnání s lidskými lékaři při diagnostice a konzultaci respiračních onemocnění v různých klinických scénářích?
Ve třech klinických scénářích, včetně sekce online dotazů, sekce diagnostiky onemocnění a sekce lékařského vysvětlení, budou výzkumní asistenti nebo dobrovolníci požádáni, aby se zeptali všech LLM nebo skutečných lékařů pomocí předem definovaných online otázek a jejich vlastních problémů. Po každém dotazování je implementována krátká promývací perioda, aby se eliminovaly potenciální předsudky.
Přehled studie
Postavení
Dokončeno
Podmínky
Intervence / Léčba
- Diagnostický test: Diagnóza třemi lidskými lékaři
- Diagnostický test: Diagnostika pomocí ChatGPT-3.5 (s možností vyhledávání)
- Diagnostický test: Diagnostika pomocí ChatGPT-3.5 (bez možností vyhledávání)
- Diagnostický test: Diagnostika pomocí ChatGPT-4.0 (s možností vyhledávání)
- Diagnostický test: Diagnostika pomocí ChatGPT-4.0 (bez možností vyhledávání)
- Diagnostický test: Okamžitá diagnostika Claude (s možností vyhledávání)
- Diagnostický test: Okamžitá diagnostika Claude (bez možností vyhledávání)
- Diagnostický test: Diagnostika Claude 2 (s možností vyhledávání)
- Diagnostický test: Diagnosis by Claude 2 (bez možností vyhledávání)
- Diagnostický test: Diagnostika pomocí Gemini Pro (s možností vyhledávání)
- Diagnostický test: Diagnostika pomocí Gemini Pro (bez možností vyhledávání)
Typ studie
Intervenční
Zápis (Aktuální)
703
Fáze
- Nelze použít
Kontakty a umístění
Tato část poskytuje kontaktní údaje pro ty, kteří studii provádějí, a informace o tom, kde se tato studie provádí.
Studijní místa
-
-
Sichuan
-
Nanchong, Sichuan, Čína, 637000
- The Affiliated Hospital of North Sichuan Medical College
-
-
Kritéria účasti
Výzkumníci hledají lidi, kteří odpovídají určitému popisu, kterému se říká kritéria způsobilosti. Některé příklady těchto kritérií jsou celkový zdravotní stav osoby nebo předchozí léčba.
Kritéria způsobilosti
Věk způsobilý ke studiu
- Dítě
- Dospělý
- Starší dospělý
Přijímá zdravé dobrovolníky
Ne
Popis
Kritéria pro zařazení:
- Samostatně hlášené příznaky běžných respiračních onemocnění, jako je kašel, tlak na hrudi, horečka a sípání
- Schopnost zapojit se do dialogových operací LLM nezávisle nebo s minimálním školením kolegů
- Zdravotní stav považovaný za vhodný pro účast na studii pneumologickými odborníky
Kritéria vyloučení:
1) Příliš špatný zdravotní stav
Studijní plán
Tato část poskytuje podrobnosti o studijním plánu, včetně toho, jak je studie navržena a co studie měří.
Jak je studie koncipována?
Detaily designu
- Primární účel: Diagnostický
- Přidělení: Randomizované
- Intervenční model: Crossover Assignment
- Maskování: Čtyřnásobek
Zbraně a zásahy
Skupina účastníků / Arm |
Intervence / Léčba |
|---|---|
|
Jiný: Křížová srovnávací skupina (část diagnostiky onemocnění)
Skupina pro křížové srovnání (včetně lidských lékařských kontrol a všech LLM)
|
Tento zásah zahrnuje zodpovězení dotazů pacientů různými lidskými lékaři.
Každý pacient je systémem náhodně přidělen třem lékařům z různých provincií v Číně vybraným z databáze lékařů.
Všichni lékaři pocházejí z různých online konzultačních platforem v Číně a jejich diagnostická kvalifikace a lékařské licence prošly přísným ověřováním.
Tento zásah zahrnuje zodpovězení dotazů pacienta pomocí ChatGPT-3.5 s možností vyhledávání, před zodpovězením jakýchkoliv otázek vymažte historii chatu od předchozího pacienta a zadejte předem určené inicializační prohlášení.
Tento zásah zahrnuje zodpovězení dotazů pacienta pomocí ChatGPT-3.5 bez možnosti vyhledávání, před zodpovězením jakýchkoliv otázek vymažte historii chatu od předchozího pacienta a zadejte předem určené inicializační prohlášení.
Tento zásah zahrnuje zodpovězení dotazů pacientů pomocí ChatGPT-4.0
s možností vyhledávání, než odpovíte na jakékoli otázky, vymažte historii chatu od předchozího pacienta a zadejte předem určený inicializační příkaz.
Tento zásah zahrnuje zodpovězení dotazů pacientů pomocí ChatGPT-4.0
bez možnosti vyhledávání, před zodpovězením jakýchkoliv otázek vymažte historii chatu od předchozího pacienta a zadejte předem určený inicializační příkaz.
Tento zásah zahrnuje okamžité zodpovězení dotazů pacienta Claudem s možností vyhledávání, před zodpovězením jakýchkoliv otázek vymaže historii chatu od předchozího pacienta a vloží předem určené inicializační prohlášení.
Tento zásah zahrnuje okamžité zodpovězení dotazů pacienta Claudem bez možnosti vyhledávání, před zodpovězením jakýchkoliv otázek vymaže historii chatu od předchozího pacienta a vloží předem určené inicializační prohlášení.
Tento zásah zahrnuje zodpovězení dotazů pacienta od Clauda 2 s možností vyhledávání, před zodpovězením jakýchkoliv otázek vymažte historii chatu od předchozího pacienta a zadejte předem určené inicializační prohlášení.
Tento zásah zahrnuje zodpovězení dotazů pacienta Claudem 2 bez možnosti vyhledávání, před zodpovězením jakýchkoliv otázek vymažte historii chatu od předchozího pacienta a zadejte předem určené inicializační prohlášení.
Tento zásah zahrnuje zodpovězení dotazů pacienta pomocí Gemini Pro s možností vyhledávání, před zodpovězením jakýchkoliv otázek vymažte historii chatu od předchozího pacienta a zadejte předem určené inicializační prohlášení.
Tento zásah zahrnuje zodpovězení dotazů pacienta pomocí Gemini Pro bez možnosti vyhledávání, před zodpovězením jakýchkoliv otázek vymažte historii chatu od předchozího pacienta a zadejte předem určené inicializační prohlášení.
|
|
Jiný: Křížová srovnávací skupina (část lékařského vysvětlení)
Skupina pro křížové srovnání (včetně lidských lékařských kontrol a všech LLM)
|
Tento zásah zahrnuje zodpovězení dotazů pacientů různými lidskými lékaři.
Každý pacient je systémem náhodně přidělen třem lékařům z různých provincií v Číně vybraným z databáze lékařů.
Všichni lékaři pocházejí z různých online konzultačních platforem v Číně a jejich diagnostická kvalifikace a lékařské licence prošly přísným ověřováním.
Tento zásah zahrnuje zodpovězení dotazů pacienta pomocí ChatGPT-3.5 s možností vyhledávání, před zodpovězením jakýchkoliv otázek vymažte historii chatu od předchozího pacienta a zadejte předem určené inicializační prohlášení.
Tento zásah zahrnuje zodpovězení dotazů pacienta pomocí ChatGPT-3.5 bez možnosti vyhledávání, před zodpovězením jakýchkoliv otázek vymažte historii chatu od předchozího pacienta a zadejte předem určené inicializační prohlášení.
Tento zásah zahrnuje zodpovězení dotazů pacientů pomocí ChatGPT-4.0
s možností vyhledávání, než odpovíte na jakékoli otázky, vymažte historii chatu od předchozího pacienta a zadejte předem určený inicializační příkaz.
Tento zásah zahrnuje zodpovězení dotazů pacientů pomocí ChatGPT-4.0
bez možnosti vyhledávání, před zodpovězením jakýchkoliv otázek vymažte historii chatu od předchozího pacienta a zadejte předem určený inicializační příkaz.
Tento zásah zahrnuje okamžité zodpovězení dotazů pacienta Claudem s možností vyhledávání, před zodpovězením jakýchkoliv otázek vymaže historii chatu od předchozího pacienta a vloží předem určené inicializační prohlášení.
Tento zásah zahrnuje okamžité zodpovězení dotazů pacienta Claudem bez možnosti vyhledávání, před zodpovězením jakýchkoliv otázek vymaže historii chatu od předchozího pacienta a vloží předem určené inicializační prohlášení.
Tento zásah zahrnuje zodpovězení dotazů pacienta od Clauda 2 s možností vyhledávání, před zodpovězením jakýchkoliv otázek vymažte historii chatu od předchozího pacienta a zadejte předem určené inicializační prohlášení.
Tento zásah zahrnuje zodpovězení dotazů pacienta Claudem 2 bez možnosti vyhledávání, před zodpovězením jakýchkoliv otázek vymažte historii chatu od předchozího pacienta a zadejte předem určené inicializační prohlášení.
Tento zásah zahrnuje zodpovězení dotazů pacienta pomocí Gemini Pro s možností vyhledávání, před zodpovězením jakýchkoliv otázek vymažte historii chatu od předchozího pacienta a zadejte předem určené inicializační prohlášení.
Tento zásah zahrnuje zodpovězení dotazů pacienta pomocí Gemini Pro bez možnosti vyhledávání, před zodpovězením jakýchkoliv otázek vymažte historii chatu od předchozího pacienta a zadejte předem určené inicializační prohlášení.
|
Co je měření studie?
Primární výstupní opatření
Měření výsledku |
Popis opatření |
Časové okno |
|---|---|---|
|
Odborné ukazatele-Přesnost
Časové okno: Pro každého účastníka bude počínaje dnem náhodné konverzace poskytnuta maximální doba účasti jeden týden. U subjektivních expertních ukazatelů bude hodnocení provedeno do dvou měsíců.
|
Na základě odpovědí lékařů na problémy pacientů bude 5-bodová stupnice použita pro bodování panelem odborníků: 5- Odpovědi jsou zcela přesné, řeší všechny pacientovy otázky nebo diagnostikují identifikací klíčových bodů pacientových problémů. stížnost.
4- Odpovědi jsou většinou přesné, obecně se týkají pacientových otázek nebo diagnostiky identifikováním klíčových bodů pacientovy stížnosti.
3- Odpovědi jsou středně přesné, řeší pacientovy otázky nebo diagnostikují identifikaci klíčových bodů pacientovy stížnosti.
2- Odpovědi jsou zřídka přesné, stěží se týkají pacientových otázek nebo diagnostiky identifikací klíčových bodů pacientovy stížnosti.
1- Odpovědi jsou velmi nepřesné, neřeší otázky pacienta nebo vůbec nediagnostikují identifikací klíčových bodů pacientovy stížnosti.
|
Pro každého účastníka bude počínaje dnem náhodné konverzace poskytnuta maximální doba účasti jeden týden. U subjektivních expertních ukazatelů bude hodnocení provedeno do dvou měsíců.
|
|
Odborné ukazatele-komplexnost
Časové okno: Pro každého účastníka bude počínaje dnem náhodné konverzace poskytnuta maximální doba účasti jeden týden. U subjektivních expertních ukazatelů bude hodnocení provedeno do dvou měsíců.
|
Na základě odpovědí lékařů na problémy pacientů bude 5-bodová stupnice použita pro bodování panelem odborníků: 5-Odpovědi jsou vysoce komplexní, řeší různé aspekty potenciálních onemocnění odpovídajících symptomům pacienta, poskytují podrobné rady, a nabízí své vlastní rozšířené výklady.
4-Odpovědi jsou většinou komplexní, pokrývají většinu aspektů potenciálních běžných onemocnění souvisejících se symptomy pacienta a poskytují poměrně podrobné rady.
3-Odpovědi jsou středně komplexní, zabývají se některými aspekty potenciálních běžných onemocnění souvisejících s příznaky pacienta a nabízejí základní rady.
2-Odpovědi jsou zřídka komplexní, nezohledňují různé aspekty potenciálních běžných onemocnění souvisejících se symptomy pacienta a poskytují velmi omezené rady.
1-Odpovědi nejsou vůbec vyčerpávající, přehlížejí většinu potenciálních onemocnění souvisejících se symptomy pacienta a neposkytují žádnou radu.
|
Pro každého účastníka bude počínaje dnem náhodné konverzace poskytnuta maximální doba účasti jeden týden. U subjektivních expertních ukazatelů bude hodnocení provedeno do dvou měsíců.
|
|
Odborné ukazatele-Správnost
Časové okno: Pro každého účastníka bude počínaje dnem náhodné konverzace poskytnuta maximální doba účasti jeden týden. U subjektivních expertních ukazatelů bude hodnocení provedeno do dvou měsíců.
|
Na základě odpovědí lékařů na problémy pacientů bude 5bodová stupnice použita pro hodnocení panelem odborníků: 5- Odpovědi jsou zcela správné, bez nevhodných nebo nejednoznačných výroků.
4- Odpovědi jsou většinou správné, přičemž většina tvrzení je vhodná a jednoznačná.
3- Odpovědi jsou obecně správné, i když existují nevhodná nebo nejednoznačná prohlášení, jsou přijatelné.
2- Odpovědi jsou částečně správné, jen málo výroků je vhodných nebo jednoznačných.
1- Odpovědi jsou zcela nesprávné, téměř všechny výroky jsou nevhodné a plné nejasností.
|
Pro každého účastníka bude počínaje dnem náhodné konverzace poskytnuta maximální doba účasti jeden týden. U subjektivních expertních ukazatelů bude hodnocení provedeno do dvou měsíců.
|
|
Expertní indikátory-Etické dodržování
Časové okno: Pro každého účastníka bude počínaje dnem náhodné konverzace poskytnuta maximální doba účasti jeden týden. U subjektivních expertních ukazatelů bude hodnocení provedeno do dvou měsíců.
|
Na základě odpovědi lékaře na pacientovu otázku posoudí odborná komise každou položku v souladu s Helsinskou deklarací a Mezinárodním kodexem lékařské etiky, jehož cílem je určit, zda existují nějaké reakce nebo návrhy, které by mohly pacienta poškodit nebo porušit. etické pokyny.
Zjištění budou zaznamenána pomocí binárních proměnných: Pravda – Odpovědi jsou zcela etické.
Nepravda – Pokud existují nejistoty, odpověď zahrnuje návrhy na použití kontrolovaných léků a některé nevhodné nebo dokonce kontraproduktivní rady.
|
Pro každého účastníka bude počínaje dnem náhodné konverzace poskytnuta maximální doba účasti jeden týden. U subjektivních expertních ukazatelů bude hodnocení provedeno do dvou měsíců.
|
|
Indikátory empatie
Časové okno: Pro každého účastníka bude počínaje dnem náhodné konverzace poskytnuta maximální doba účasti jeden týden. Pokud jde o indikátory subjektivní empatie, hodnocení bude provedeno do dvou měsíců.
|
Výsledky ze škál CARE týkající se vztahu lékař-pacient, které pacienti vyplnili po každém diagnostickém sezení.
Konkrétně sekce online dotazů neuplatňuje hodnocení škál CARE.
|
Pro každého účastníka bude počínaje dnem náhodné konverzace poskytnuta maximální doba účasti jeden týden. Pokud jde o indikátory subjektivní empatie, hodnocení bude provedeno do dvou měsíců.
|
Sekundární výstupní opatření
Měření výsledku |
Popis opatření |
Časové okno |
|---|---|---|
|
Pravidelné ukazatele-Celkový počet otázek
Časové okno: Pro každého účastníka bude počínaje dnem náhodné konverzace poskytnuta maximální doba účasti jeden týden. Po dokončení dialogů systém automaticky shrne všechny objektivní indikátory a dialogové informace.
|
Počet následných otázek, které LLM nebo skutečný lékař položil pacientovi po poskytnutí základních odpovědí v úplném rozhovoru.
|
Pro každého účastníka bude počínaje dnem náhodné konverzace poskytnuta maximální doba účasti jeden týden. Po dokončení dialogů systém automaticky shrne všechny objektivní indikátory a dialogové informace.
|
|
Pravidelné ukazatele-Navazující slova
Časové okno: Pro každého účastníka bude počínaje dnem náhodné konverzace poskytnuta maximální doba účasti jeden týden. Po dokončení dialogů systém automaticky shrne všechny objektivní indikátory a dialogové informace.
|
Počet slov v následných otázkách, které LLM nebo skutečný lékař položil pacientovi po poskytnutí základních odpovědí v úplné konverzaci.
|
Pro každého účastníka bude počínaje dnem náhodné konverzace poskytnuta maximální doba účasti jeden týden. Po dokončení dialogů systém automaticky shrne všechny objektivní indikátory a dialogové informace.
|
|
Pravidelné ukazatele – celkový počet konverzací
Časové okno: Pro každého účastníka bude počínaje dnem náhodné konverzace poskytnuta maximální doba účasti jeden týden. Po dokončení dialogů systém automaticky shrne všechny objektivní indikátory a dialogové informace.
|
Celkový počet dialogů v kompletní konverzaci mezi uživatelem a LLM nebo skutečným lékařem, kde každý dialog se skládá z jedné otázky a jedné odpovědi.
|
Pro každého účastníka bude počínaje dnem náhodné konverzace poskytnuta maximální doba účasti jeden týden. Po dokončení dialogů systém automaticky shrne všechny objektivní indikátory a dialogové informace.
|
|
Pravidelné ukazatele – celkové náklady na konverzaci ($)
Časové okno: Pro každého účastníka bude počínaje dnem náhodné konverzace poskytnuta maximální doba účasti jeden týden. Po dokončení dialogů systém automaticky shrne všechny objektivní indikátory a dialogové informace.
|
Celková cena v dolarech za dokončení celé konverzace.
|
Pro každého účastníka bude počínaje dnem náhodné konverzace poskytnuta maximální doba účasti jeden týden. Po dokončení dialogů systém automaticky shrne všechny objektivní indikátory a dialogové informace.
|
|
Pravidelné indikátory - Celková doba konverzace (min)
Časové okno: Pro každého účastníka bude počínaje dnem náhodné konverzace poskytnuta maximální doba účasti jeden týden. Po dokončení dialogů systém automaticky shrne všechny objektivní indikátory a dialogové informace.
|
Časování začíná od vstupu uživatele a končí, když LLM nebo skuteční lékaři dokončí výstup poslední věty.
|
Pro každého účastníka bude počínaje dnem náhodné konverzace poskytnuta maximální doba účasti jeden týden. Po dokončení dialogů systém automaticky shrne všechny objektivní indikátory a dialogové informace.
|
|
Pravidelné ukazatele-Počet výstupních výkazů
Časové okno: Pro každého účastníka bude počínaje dnem náhodné konverzace poskytnuta maximální doba účasti jeden týden. Po dokončení dialogů systém automaticky shrne všechny objektivní indikátory a dialogové informace.
|
Celkový počet slov vydaných LLM nebo skutečnými lékaři.
|
Pro každého účastníka bude počínaje dnem náhodné konverzace poskytnuta maximální doba účasti jeden týden. Po dokončení dialogů systém automaticky shrne všechny objektivní indikátory a dialogové informace.
|
|
Pravidelné ukazatele-Počet vstupních výkazů
Časové okno: Pro každého účastníka bude počínaje dnem náhodné konverzace poskytnuta maximální doba účasti jeden týden. Po dokončení dialogů systém automaticky shrne všechny objektivní indikátory a dialogové informace.
|
Součet počtu znaků zadaných uživatelem.
|
Pro každého účastníka bude počínaje dnem náhodné konverzace poskytnuta maximální doba účasti jeden týden. Po dokončení dialogů systém automaticky shrne všechny objektivní indikátory a dialogové informace.
|
Spolupracovníci a vyšetřovatelé
Zde najdete lidi a organizace zapojené do této studie.
Sponzor
Spolupracovníci
Vyšetřovatelé
- Vrchní vyšetřovatel: Jiebin Xie, Doctor, North Sichuan Medical College
Publikace a užitečné odkazy
Osoba odpovědná za zadávání informací o studiu tyto publikace poskytuje dobrovolně. Mohou se týkat čehokoli, co souvisí se studiem.
Termíny studijních záznamů
Tato data sledují průběh záznamů studie a předkládání souhrnných výsledků na ClinicalTrials.gov. Záznamy ze studií a hlášené výsledky jsou před zveřejněním na veřejné webové stránce přezkoumány Národní lékařskou knihovnou (NLM), aby se ujistily, že splňují specifické standardy kontroly kvality.
Hlavní termíny studia
Začátek studia (Aktuální)
1. října 2023
Primární dokončení (Aktuální)
12. prosince 2023
Dokončení studie (Aktuální)
12. října 2024
Termíny zápisu do studia
První předloženo
4. června 2024
První předloženo, které splnilo kritéria kontroly kvality
8. června 2024
První zveřejněno (Aktuální)
13. června 2024
Aktualizace studijních záznamů
Poslední zveřejněná aktualizace (Odhadovaný)
27. listopadu 2024
Odeslaná poslední aktualizace, která splnila kritéria kontroly kvality
24. listopadu 2024
Naposledy ověřeno
1. listopadu 2024
Více informací
Termíny související s touto studií
Další relevantní podmínky MeSH
- Cévní onemocnění
- Kardiovaskulární choroby
- Patologické procesy
- Infekce
- Plicní onemocnění
- Bronchiální onemocnění
- Plicní onemocnění, obstrukční
- Embolie a trombóza
- Gram-pozitivní bakteriální infekce
- Bakteriální infekce
- Bakteriální infekce a mykózy
- Onemocnění plic, intersticiální
- Fibróza
- Infekce Actinomycetales
- Infekce Mycobacterium
- Plicní embolie
- Plicní fibróza
- Embolie
- Infekce dýchacích cest
- Nemoci dýchacích cest
- Tuberkulóza
- Poruchy dýchání
- Bronchiektázie
- Bronchitida
Další identifikační čísla studie
- 1426887-2024-1
- 22XQT0309 (Jiné číslo grantu/financování: the cooperation of urban schools in Nanchong City)
- CBY22-QDA15 (Jiné číslo grantu/financování: the doctoral startup fund of North Sichuan Medical College)
- 2022LC005 (Jiné číslo grantu/financování: the affiliated hospital of North Sichuan Medical College)
- 23JCYJPT0014 (Jiné číslo grantu/financování: the scientific research project of the science and technology bureau of Nanchong)
Informace o lécích a zařízeních, studijní dokumenty
Studuje lékový produkt regulovaný americkým FDA
Ne
Studuje produkt zařízení regulovaný americkým úřadem FDA
Ne
Tyto informace byly beze změn načteny přímo z webu clinicaltrials.gov. Máte-li jakékoli požadavky na změnu, odstranění nebo aktualizaci podrobností studie, kontaktujte prosím register@clinicaltrials.gov. Jakmile bude změna implementována na clinicaltrials.gov, bude automaticky aktualizována i na našem webu .