Redusere automatiseringsbias i lege-LLM-diagnostisk resonnering ved hjelp av atferdsmessige dytt

Automatiseringsbias representerer en kritisk utfordring i moderne klinisk praksis, spesielt ettersom kunstig intelligens (AI)-verktøy blir stadig mer integrert i helsearbeidsflyter. Denne kognitive fenomenet beskriver klinikeres tendens til å favorisere forslag fra automatiserte beslutningsstøttesystemer, selv når disse forslagene er feil. Ettersom store språkmodeller (LLM) som ChatGPT-5.1 får fotfeste i medisinske miljøer, må deres potensiale for å redusere feil og forbedre effektivitet vurderes opp mot en betydelig bekymring: disse modellene mangler streng medisinsk validering og kan forsterke eksisterende kognitive biaser gjennom feilaktige eller villedende anbefalinger.

Fremveksten av automatiseringsbias i medisinske kontekster reflekterer et komplekst samspill mellom miljømessige og psykologiske faktorer. Tidsbegrensninger i kliniske settinger med høyt volum skaper press for å akseptere AI-genererte anbefalinger uten tilstrekkelig granskning. Økonomiske insentiver som prioriterer effektivitet over grundighet kan ytterligere fraråde kritisk vurdering som er nødvendig for god klinisk dømmekraft. Kognitiv utmattelse under lange skift reduserer legers kapasitet for vedvarende analytisk tenkning. Disse påvirkningene samhandler med psykologiske mekanismer inkludert ansvarsdiffusjon, overmot i teknologiske løsninger og kognitiv avlasting, og skaper kollektivt forhold hvor ukritisk aksept av AI-genererte anbefalinger blir mer sannsynlig.

Denne randomiserte kontrollerte studien evaluerer effektiviteten av en atferdsnudge-intervensjon designet for å redusere automatiseringsbias blant leger som bruker LLM-genererte diagnostiske anbefalinger. Det primære målet er å avgjøre om denne intervensjonen forbedrer diagnostisk resonneringsprestasjonsskår når man evaluerer kliniske vignetter som inkluderer bevisst feilaktige LLM-anbefalinger. Sekundære mål inkluderer å vurdere om legers erfaring, kjønn og tidligere LLM-erfaring modererer intervensjonens effektivitet, og å fastslå differensiell effektivitet for vignetter med ulike konfidenssignaler.

Denne studien benytter en enkeltblind, randomisert kontrollert studie med to parallelle grupper. Deltakere vil bli tilfeldig tildelt 1:1 til enten intervensjons- eller kontrollgruppen. For å eliminere variasjon fra forskjeller i promptingferdigheter, vil deltakerne ikke interagere direkte med et levende LLM-grensesnitt. I stedet vil alle deltakere bruke en spesialbygd nettplattform som viser kliniske vignetter med forhåndsgenererte LLM-anbefalinger, noe som sikrer identisk LLM-generert innhold for hver vignett.

Alle deltakere vil evaluere seks kliniske vignetter i løpet av en enkelt, overvåket økt som varer omtrent 75 minutter. Tre vignetter vil inneholde bevisst innførte kliniske resonneringsfeil i LLM-anbefalingene, mens tre vil inneholde korrekte anbefalinger. Vignetter vil bli presentert i tilfeldig rekkefølge for å forhindre mønstergjenkjenning.

Deltakere i kontrollgruppen vil evaluere kliniske vignetter med LLM-diagnostiske anbefalinger generert av ChatGPT presentert i standard, nøytral tekstformat uten ytterligere kontekstuell informasjon. Deltakere i intervensjonsgruppen vil evaluere de samme vignettene sammen med en atferdsnudge. Denne intervensjonen består av to synkroniserte kognitive signaler: (1) et forankringssignal som viser ChatGPTs basisdiagnostiske nøyaktighet på standard medisinske datasett øverst i grensesnittpanelet, som eksplisitt foranker forventninger til modellens feilbarhet, og (2) et selektivt oppmerksomhetssignal som viser LLM-anbefalingen sammen med et fargekodet konfidenssignal generert gjennom en ensemblevurdering: tre uavhengige toppmoderne LLM-er (Claude Sonnet 4.5, Gemini 2.5 Pro Thinking og GPT-5.1) gir hver sin konfidensvurdering for anbefalingen, og gjennomsnittskonfidensen bestemmer signalets farge for å redusere enkeltmodell-feilkalibrering.

De fargekodede konfidenssignalene er kategorisert i tre distinkte nivåer basert på ensemblets gjennomsnittskonfidens i forhold til basisdiagnostisk nøyaktighet. Røde signaler utløses når gjennomsnittskonfidensen faller under ChatGPTs etablerte basisnøyaktighet, og flagger eksplisitt høyt usikre tilfeller som krever økt kritisk granskning. Oransje signaler indikerer at mens gjennomsnittskonfidensen overstiger basisgjennomsnittet, forblir den under 100%, noe som signaliserer behovet for vedvarende klinisk årvåkenhet og unngåelse av selvtilfredshet. Til slutt er grønne signaler reservert for tilfeller med 100% ensemblekonsensus; imidlertid, selv på dette konfidensnivået, forblir standard AI-sikkerhetsadvarsler til stede for å beskytte mot overavhengighet av systemets output.

Deltakere vil bli presentert med seks kliniske vignetter spesielt designet for å måle automatiseringsbias, hentet og modifisert fra virkelige tilfeller som representerer et spekter av diagnostisk vanskelighetsgrad og vanlige medisinske spesialiteter. Hver vignett følger et standardisert format inkludert hovedklage, sykdomshistorikk, relevant tidligere medisinsk/sosial/familiehistorie, fysiske undersøkelsesfunn og initielle laboratorieresultater.

Det primære utfallsmålet er Diagnostic Reasoning Performance Score, en sammensatt prosentskår basert på en strukturert rubrikk som evaluerer: kvalitet på differensialdiagnoser, støttende funn, motstridende funn, nøyaktighet av endelig diagnose og egnethet av neste skritt. Sekundære utfallsmål inkluderer toppvalg-diagnosenøyaktighet (feil, delvis korrekt eller korrekt). Alle svar vil bli evaluert av blindede vurderere ved bruk av vurderingsrubrikken.