Obohacení uvažování pomocí zpětné vazby od AI v nefrologické studii (REFINe)

Tato studie vyhodnocuje, zda poskytnutí klinickým lékařům diagnostických návrhů v reálném čase z modelu velkého jazykového modelu s vysokou schopností uvažování (GPT-5) zlepšuje diagnostickou přesnost, sebevědomí a efektivitu při řešení klinických vinět z nefrologie. Před výběrem modelu pro zkoušku výzkumný tým porovnal několik špičkových modelů na pilotní sadě nefrologických případů, včetně: GPT-5, GPT-5-mini, O3, GPT-4o, Llama-4 Maverick-17B, Gemini-2.5-Pro, Qwen-3 VL-235B Thinking, DeepSeek-V3.2-Exp, MedGEMMA-27B, Claude Sonnet-4.5 a Magistral-Medium-2509. GPT-5 (s vysokou schopností uvažování) prokázal nejvyšší diagnostickou výkonnost, stabilitu a interpretovatelnost a byl vybrán jako systém umělé inteligence používaný v intervenční skupině.

Účastníci zahrnují studenty medicíny, rezidenty, fellowy a praktikující lékaře. Po vytvoření účtu účastníci vyplní demografický dotazník (specializace, roky zkušeností, typ praxe, věková kategorie, obeznámenost s AI) a musí výslovně souhlasit s použitím těchto dat pro výzkumné účely před přístupem k vinětám. Nesbírají se žádné přímo identifikující informace.

Účastníci jsou randomizováni (se stratifikací podle profesního statusu) buď do skupiny s podporou AI, nebo do kontrolní skupiny. Každý účastník dostane přiděleno 10 nefrologických vinět ve francouzštině nebo angličtině a může je dokončit v několika sezeních. Jakmile je viněta odeslána, nelze se k ní vrátit ("žádné vracení"). Čas dokončení na jednu vinětu je automaticky zaznamenáván.

Kontrolní skupina

Účastníci si prohlédnou každou vinětu a poskytnou až tři diagnózy ("Top-3"), následované hodnocením sebevědomí (0-10).

Skupina s podporou AI

Účastníci nejprve zadají počáteční Top-3 diagnózu a hodnocení sebevědomí bez pomoci AI. Systém poté zobrazí diagnostické návrhy GPT-5, po kterých mohou účastníci jednou revidovat své diagnózy. Viněta je po odeslání uzamčena.

Studie sbírá:

• počáteční a konečné diagnózy,
• hodnocení sebevědomí před a (pokud je to možné) po návrzích AI,
• časy dokončení,
• demografické proměnné účastníků,
• a vlastní diagnostické výstupy modelu AI.

Částečné dokončení je povoleno; všechny dokončené viněty přispívají k analýze.

Primární a sekundární výsledky zahrnují diagnostickou přesnost (Top-3 a Top-1), zlepšení přesnosti před vs. po AI, změny v diagnostickém sebevědomí, diagnostické chyby vyvolané AI, benchmarkování člověk versus AI, metriky efektivity času dokončení a podíl přiřazených vinět dokončených.

Primární analýza bude porovnávat diagnostickou přesnost mezi kontrolní skupinou (lékaři sami) a experimentální skupinou (lékaři asistovaní modelem AI). Přesnost je analyzována jako binární výsledek (správná vs nesprávná diagnóza). Protože každý účastník hodnotí více klinických vinět, přesnost bude modelována pomocí smíšené logistické regrese s fixním efektem pro studijní skupinu a náhodnými úrovněmi pro účastníka i vinětu. Tento přístup zohledňuje shlukování a různou obtížnost případů. Primární test hypotézy používá oboustranné α = 0,05. Velikosti efektů budou hlášeny jako poměry šancí s 95% intervaly spolehlivosti. Sekundární analýzy budou zkoumat, zda se přesnost liší podle demografických faktorů (např. úroveň zkušeností, specializace) pomocí interakčních členů.

Protože každý účastník hodnotí více vinět, tým také provedl analýzy síly založené na simulacích pomocí modelů smíšené logistické regrese s náhodnými úrovněmi pro účastníka i vinětu, za předpokladu intra-participantského ICC 0,10. Za těchto předpokladů celkový vzorek 100 účastníků (50 na skupinu) s 10 vinětami na účastníka poskytuje >99% sílu k detekci klinicky významného zlepšení diagnostické přesnosti. Zkoumatelé proto plánují zařadit přibližně 100 účastníků celkem.

Tato studie si klade za cíl kvantifikovat, zda rozšířené uvažování pomocí AI významně zlepšuje diagnostický výkon a rozhodování, když klinici hodnotí složité nefrologické případy.