Zmírnění automatizační zaujatosti v diagnostické úvaze lékaře a LLM pomocí behaviorálních pobídek

Automatizační zkreslení představuje zásadní výzvu v moderní klinické praxi, zejména s tím, jak se nástroje umělé inteligence (AI) stále více začleňují do pracovních postupů ve zdravotnictví. Tento kognitivní jev popisuje tendenci kliniků upřednostňovat návrhy automatizovaných systémů pro rozhodování, i když jsou tyto návrhy nesprávné. Jak velké jazykové modely (LLM), jako je ChatGPT-5.1, získávají na významu v lékařském prostředí, je třeba jejich potenciál ke snížení chyb a zlepšení efektivity porovnat se závažným problémem: tyto modely postrádají důkladné lékařské ověření a mohou zesilovat stávající kognitivní zkreslení prostřednictvím nesprávných nebo zavádějících doporučení.

Vznik automatizačního zkreslení v lékařském kontextu odráží složitou interakci environmentálních a psychologických faktorů. Časová omezení v klinických zařízeních s vysokým objemem práce vytvářejí tlak na přijetí doporučení generovaných AI bez dostatečné kontroly. Finanční pobídky, které upřednostňují efektivitu před důkladností, mohou dále odrazovat od kritického hodnocení nezbytného pro správné klinické rozhodování. Kognitivní únava během dlouhých směn snižuje schopnost lékařů trvale analyticky myslet. Tyto tlaky interagují s psychologickými mechanismy včetně rozptýlení odpovědnosti, přehnané důvěry v technologická řešení a kognitivního odbřemenění, což společně vytváří podmínky, za kterých je nekritické přijímání doporučení generovaných AI pravděpodobnější.

Tato randomizovaná kontrolovaná studie hodnotí účinnost behaviorálního nudge zásahu navrženého ke zmírnění automatizačního zkreslení u lékařů využívajících diagnostická doporučení generovaná LLM. Primárním cílem je zjistit, zda tento zásah zlepšuje skóre výkonu diagnostické úvahy při hodnocení klinických vinět, které zahrnují záměrně chybná doporučení LLM. Vedlejší cíle zahrnují posouzení, zda úroveň zkušeností lékaře, pohlaví a předchozí zkušenost s LLM moderují účinnost zásahu, a určení rozdílné účinnosti pro viněty napříč různými signály důvěry.

Tato studie používá jednoduše zaslepenou, randomizovanou kontrolovanou studii se dvěma paralelními rameny. Účastníci budou náhodně přiřazeni v poměru 1:1 buď k intervenčnímu, nebo kontrolnímu rameni. Aby se eliminovala variabilita způsobená rozdíly v dovednostech zadávání promptů, účastníci nebudou přímo interagovat s živým rozhraním LLM. Místo toho všichni účastníci použijí vlastní webovou platformu zobrazující klinické viněty s předem vygenerovanými doporučeními LLM, což zajistí identický obsah generovaný LLM pro každou vinětu.

Všichni účastníci vyhodnotí šest klinických vinět během jedné, dozorované relace trvající přibližně 75 minut. Tři viněty budou obsahovat záměrně zavedené chyby v klinické úvaze v doporučeních LLM, zatímco tři budou obsahovat správná doporučení. Viněty budou prezentovány v náhodném pořadí, aby se zabránilo detekci vzorů.

Účastníci v kontrolním rameni vyhodnotí klinické viněty s diagnostickými doporučeními LLM generovanými ChatGPT prezentovanými ve standardním, neutrálním textovém formátu bez dalších kontextových informací. Účastníci v intervenčním rameni vyhodnotí stejné viněty spolu s behaviorálním nudge. Tento zásah se skládá ze dvou synchronizovaných kognitivních podnětů: (1) ukotvující podnět zobrazující základní diagnostickou přesnost ChatGPT na standardních lékařských datových sadách v horní části panelu rozhraní, což explicitně ukotvuje očekávání k omylnosti modelu, a (2) selektivní pozornostní podnět zobrazující doporučení LLM spolu s barevně kódovaným signálem důvěry generovaným prostřednictvím souborového hodnocení: tři nezávislé špičkové LLM (Claude Sonnet 4.5, Gemini 2.5 Pro Thinking a GPT-5.1) poskytnou každý hodnocení důvěry pro doporučení a průměrná důvěra určuje barvu signálu, aby se zmírnilo nesprávné kalibrování jednotlivého modelu.

Barevně kódované signály důvěry jsou kategorizovány do tří různých úrovní na základě průměrné důvěry souboru ve vztahu k základní diagnostické přesnosti. Červené signály se spustí, když průměrná důvěra klesne pod stanovenou základní přesnost ChatGPT, což explicitně označuje případy s vysokou nejistotou, které vyžadují zvýšenou kritickou kontrolu. Oranžové signály naznačují, že zatímco průměrná důvěra překračuje základní průměr, zůstává pod 100 %, což signalizuje potřebu pokračující klinické bdělosti a vyhýbání se sebeuspokojení. Konečně zelené signály jsou vyhrazeny pro případy 100% shody souboru; avšak i na této úrovni důvěry zůstávají přítomna standardní bezpečnostní varování AI, aby se zabránilo nadměrné závislosti na výstupu systému.

Účastníkům bude představeno šest klinických vinět speciálně navržených k měření automatizačního zkreslení, získaných a upravených z reálných případů představujících škálu diagnostické obtížnosti a běžných lékařských specializací. Každá viněta sleduje standardizovaný formát včetně hlavní stížnosti, anamnézy současného onemocnění, relevantní minulé lékařské/sociální/rodinné anamnézy, nálezů fyzikálního vyšetření a počátečních laboratorních výsledků.

Primárním výsledkem je Skóre výkonu diagnostické úvahy, složené procentuální skóre založené na strukturované rubrice hodnotící: kvalitu diferenciálních diagnóz, podpůrné nálezy, protichůdné nálezy, přesnost konečné diagnózy a vhodnost dalších kroků. Vedlejší výsledky zahrnují přesnost diagnózy první volby (nesprávná, částečně správná nebo správná). Všechny odpovědi budou hodnoceny zaslepenými posuzovateli pomocí hodnotící rubriky.