Az automatizációs torzítás enyhítése orvos-LLM diagnosztikai érvelésben viselkedési bökdösések alkalmazásával

Az automatizálási torzítás jelentős kihívást jelent a modern klinikai gyakorlatban, különösen azáltal, hogy a mesterséges intelligencia (MI) eszközök egyre inkább beépülnek az egészségügyi munkafolyamatokba. Ez a kognitív jelenség azt a hajlamot írja le, hogy a klinikusok előnyben részesítik az automatizált döntéshozatali rendszerek javaslatait, még akkor is, ha azok a javaslatok helytelenek. Ahogy a nagy nyelvi modellek (LLM), mint például a ChatGPT-5.1, egyre inkább teret nyernek az orvosi környezetekben, potenciáljukat a hibák csökkentésére és a hatékonyság javítására mérlegelni kell egy jelentős aggodalommal szemben: ezek a modellek hiányoznak a szigorú orvosi validációból, és felerősíthetik a meglévő kognitív torzításokat helytelen vagy félrevezető ajánlásokon keresztül.

Az automatizálási torzítás megjelenése az orvosi kontextusokban egy összetett környezeti és pszichológiai tényezők kölcsönhatását tükrözi. Az időkorlátok a nagy volumenű klinikai környezetekben nyomást gyakorolnak arra, hogy elfogadják az MI által generált javaslatokat megfelelő átvilágítás nélkül. A hatékonyságot a alapossággal szemben előnyben részesítő pénzügyi ösztönzők továbbra is eltántoríthatják a kritikus értékelést, amely szükséges a megalapozott klinikai ítéletképességhez. A kognitív fáradtság a hosszabb műszakok alatt csökkenti az orvosok folyamatos analitikus gondolkodásra való képességét. Ezek a nyomások kölcsönhatásba lépnek a pszichológiai mechanizmusokkal, beleértve a felelősség szétszóródását, a túlzott magabiztosságot a technológiai megoldásokban és a kognitív terhek átadását, együttesen olyan feltételeket teremtve, ahol az MI által generált javaslatok kritikátlan elfogadása valószínűbbé válik.

Ez a randomizált, kontrollált vizsgálat értékeli egy viselkedési nudge intervenció hatékonyságát, amelyet az automatizálási torzítás enyhítésére terveztek az LLM által generált diagnosztikai ajánlásokat használó orvosok között. Az elsődleges cél annak meghatározása, hogy ez az intervenció javítja-e a diagnosztikai érvelési teljesítmény pontszámokat, amikor olyan klinikai vinettek értékelése történik, amelyek szándékosan hibás LLM ajánlásokat tartalmaznak. Másodlagos célok közé tartozik annak felmérése, hogy az orvosi tapasztalati szint, a nem és a korábbi LLM tapasztalat mérsékli-e az intervenció hatékonyságát, valamint a különböző bizonyossági jelek vinettek esetében történő differenciális hatékonyság meghatározása.

Ez a tanulmány egy egyvakú, randomizált, kontrollált vizsgálatot alkalmaz két párhuzamos ággal. A résztvevők véletlenszerűen 1:1 arányban oszlanak meg az intervenciós vagy a kontroll csoportba. A promptolási készségek különbségeiből adódó változékonyság kiküszöbölésére a résztvevők nem fognak közvetlenül interakcióba lépni egy élő LLM felülettel. Ehelyett minden résztvevő egy egyedi webes platformot fog használni, amely klinikai vinetteket jelenít meg előre generált LLM ajánlásokkal, biztosítva az azonos LLM által generált tartalmat minden egyes vinett esetében.

Minden résztvevő hat klinikai vinetet fog értékelni egyetlen, felügyelt ülés során, amely körülbelül 75 percig tart. Három vinett szándékosan bevezetett klinikai érvelési hibákat fog tartalmazni az LLM ajánlásokban, míg három helyes ajánlásokat fog tartalmazni. A vinettek véletlenszerű sorrendben kerülnek bemutatásra, hogy megakadályozzák a mintafelismerést.

A kontroll csoport résztvevői olyan klinikai vinetteket fognak értékelni, amelyek ChatGPT által generált LLM diagnosztikai ajánlásokat tartalmaznak, szabványos, semleges szövegformátumban, további kontextuális információk nélkül. Az intervenciós csoport résztvevői ugyanezeket a vinetteket fogják értékelni egy viselkedési nudge mellett. Ez az intervenció két szinkronizált kognitív jelet tartalmaz: (1) egy horgonyzási jelet, amely a ChatGPT alapdiagnosztikai pontosságát jeleníti meg a szabványos orvosi adathalmazokon a felületi panel tetején, kifejezetten a modell tévedhetőségéhez kötve az elvárásokat, és (2) egy szelektív figyelem jelet, amely az LLM ajánlást egy színkódolt bizonyossági jellel együtt jeleníti meg, amely egy együttes értékelésen keresztül generálódik: három független, legmodernebb LLM (Claude Sonnet 4.5, Gemini 2.5 Pro Thinking és GPT-5.1) mindegyike bizonyossági értékelést ad az ajánlásra, és az átlagos bizonyosság határozza meg a jel színét, hogy enyhítse az egyetlen modell kalibrálatlanságát.

A színkódolt bizonyossági jelek három különálló szintre vannak kategorizálva az együttes átlagos bizonyossága alapján a referencia diagnosztikai pontossághoz viszonyítva. A piros jelek akkor aktiválódnak, amikor az átlagos bizonyosság a ChatGPT megállapított referencia pontossága alá esik, kifejezetten megjelölve a magas bizonytalanságú eseteket, amelyek fokozott kritikus átvilágást igényelnek. A narancssárga jelek azt jelzik, hogy bár az átlagos bizonyosság meghaladja a referencia átlagot, még mindig 100% alatt van, jelezve a folyamatos klinikai éberség szükségességét és a megelégedettség elkerülését. Végül a zöld jelek azokra az esetekre vannak fenntartva, ahol 100%-os együttes konszenzus van; azonban még ezen a bizonyossági szinten is jelen vannak a szabványos MI biztonsági figyelmeztetések, hogy megvédjenek a rendszer kimenetének túlzott függőségétől.

A résztvevők hat klinikai vinetttel fognak szembesülni, amelyek kifejezetten az automatizálási torzítás mérésére lettek tervezve, valós esetekből származnak és módosítottak, amelyek a diagnosztikai nehézségek és a gyakori orvosi szakterületek széles skáláját képviselik. Minden vinett szabványos formátumot követ, beleértve a fő panaszt, a jelenlegi betegség történetét, a releváns múltbeli orvosi/szociális/családi anamnézist, a fizikális vizsgálat eredményeit és a kezdeti laboreredményeket.

Az elsődleges kimenet a Diagnosztikai Érvelési Teljesítmény Pontszám, egy összetett százalékos pontszám, amely egy strukturált pontozási rendszeren alapul, amely értékeli: a differenciáldiagnózisok minőségét, a támogató leleteket, az ellentétes leleteket, a végső diagnózis pontosságát és a következő lépések megfelelőségét. A másodlagos kimenetek közé tartozik a legjobb választású diagnózis pontossága (helytelen, részben helyes vagy helyes). Minden választ vak értékelők fognak értékelni az értékelési pontozási rendszer segítségével.