Mildrande av automatiseringsbias i läkare-LLM-diagnostisk resonemang genom beteendestyrning

Automatiseringsbias utgör en kritisk utmaning i modern klinisk praxis, särskilt när artificiell intelligens (AI) verktyg blir allt mer integrerade i hälso- och sjukvårdsarbetsflöden. Detta kognitiva fenomen beskriver klinikers tendens att föredra förslag från automatiserade beslutsstödssystem, även när dessa förslag är felaktiga. När stora språkmodeller (LLM) som ChatGPT-5.1 får fäste i medicinska sammanhang måste deras potential att minska fel och förbättra effektiviteten vägas mot en betydande oro: dessa modeller saknar rigorös medicinsk validering och kan förstärka befintliga kognitiva bias genom felaktiga eller vilseledande rekommendationer.

Förekomsten av automatiseringbias i medicinska sammanhang återspeglar en komplex samverkan mellan miljömässiga och psykologiska faktorer. Tidsbegränsningar i högvolymskliniska miljöer skapar press att acceptera AI-genererade rekommendationer utan tillräcklig granskning. Finansiella incitament som prioriterar effektivitet framför noggrannhet kan ytterligare avskräcka från den kritiska utvärdering som krävs för sund klinisk bedömning. Kognitiv trötthet under långa skift minskar läkares kapacitet för ihållande analytiskt tänkande. Dessa påfrestningar samverkar med psykologiska mekanismer inklusive ansvarsfördelning, övermod i tekniska lösningar och kognitiv avlastning, vilket kollektivt skapar förutsättningar där okritiskt godtagande av AI-genererade rekommendationer blir mer sannolikt.

Denna randomiserade kontrollerade studie utvärderar effektiviteten av en beteendepåverkande intervention utformad för att minska automatiseringbias bland läkare som använder LLM-genererade diagnostiska rekommendationer. Det primära målet är att avgöra om denna intervention förbättrar diagnostiska resonemangsprestationspoäng vid utvärdering av kliniska vignetter som inkluderar medvetet felaktiga LLM-rekommendationer. Sekundära mål inkluderar att bedöma om läkares erfarenhetsnivå, kön och tidigare LLM-erfarenhet modererar interventionens effektivitet, samt att fastställa differentiell effektivitet för vignetter med olika konfidenssignaler.

Denna studie använder en enkelblindad, randomiserad kontrollerad studie med två parallella armar. Deltagare kommer att slumpmässigt fördelas 1:1 till antingen interventionsarmen eller kontrollarmen. För att eliminera variation från skillnader i promptfärdigheter kommer deltagarna inte att interagera direkt med ett live LLM-gränssnitt. Istället kommer alla deltagare att använda en specialbyggd webbplattform som visar kliniska vignetter med förgenererade LLM-rekommendationer, vilket säkerställer identiskt LLM-genererat innehåll för varje vignett.

Alla deltagare kommer att utvärdera sex kliniska vignetter under en enda, övervakad session som varar cirka 75 minuter. Tre vignetter kommer att innehålla medvetet införda kliniska resonemangsbrister i LLM-rekommendationerna, medan tre kommer att innehålla korrekta rekommendationer. Vignetter kommer att presenteras i slumpmässig ordning för att förhindra mönsterigenkänning.

Deltagare i kontrollarmen kommer att utvärdera kliniska vignetter med LLM-diagnostiska rekommendationer genererade av ChatGPT presenterade i standard, neutral textformat utan ytterligare kontextuell information. Deltagare i interventionsarmen kommer att utvärdera samma vignetter tillsammans med en beteendepåverkande intervention. Denna intervention består av två synkroniserade kognitiva ledtrådar: (1) en förankringsledtråd som visar ChatGPT:s baslinjediagnostiska noggrannhet på standard medicinska dataset högst upp i gränssnittspanelen, vilket explicit förankrar förväntningar till modellens felbarhet, och (2) en selektiv uppmärksamhetsledtråd som visar LLM-rekommendationen tillsammans med en färgkodad konfidenssignal genererad genom en ensemblebedömning: tre oberoende toppmoderna LLM (Claude Sonnet 4.5, Gemini 2.5 Pro Thinking och GPT-5.1) ger var och en konfidensbetyg för rekommendationen, och medelkonfidensen bestämmer signalens färg för att mildra enskild modells felkalibrering.

De färgkodade konfidenssignalerna kategoriseras i tre distinkta nivåer baserat på ensemblets medelkonfidens i förhållande till baslinjediagnostisk noggrannhet. Röda signaler utlöses när medelkonfidensen faller under ChatGPT:s etablerade baslinjenoggrannhet, vilket explicit flaggar hög-osäkerhetsfall som kräver förhöjd kritisk granskning. Orangea signaler indikerar att medan medelkonfidensen överskrider baslinjemedelvärdet, förblir den under 100%, vilket signalerar behovet av fortsatt klinisk vaksamhet och undvikande av självbelåtenhet. Slutligen är gröna signaler reserverade för instanser av 100% ensemblekonsensus; dock, även vid denna konfidensnivå, förblir standard AI-säkerhetsvarningar närvarande för att skydda mot överförlitlighet på systemets utdata.

Deltagarna kommer att presenteras med sex kliniska vignetter specifikt utformade för att mäta automatiseringbias, hämtade och modifierade från verkliga fall som representerar ett spektrum av diagnostisk svårighetsgrad och vanliga medicinska specialiteter. Varje vignett följer ett standardiserat format inklusive huvudbesvär, sjukdomshistoria, relevant medicinsk/social/familjehistoria, fynd vid fysisk undersökning och initiala laboratorieresultat.

Det primära utfallsmåttet är Diagnostic Reasoning Performance Score, ett sammansatt procentuellt poäng baserat på en strukturerad bedömningsmatris som utvärderar: kvalitet på differentialdiagnoser, stödjande fynd, motstridiga fynd, slutlig diagnosnoggrannhet och lämplighet av nästa steg. Sekundära utfallsmått inkluderar noggrannhet i förstahandsdiagnos (felaktig, delvis korrekt eller korrekt). Alla svar kommer att utvärderas av blindade granskare med hjälp av bedömningsmatrisen.